把 location /mesos/ 改为 location ~/mesos/(.)*
把 location /marathon/ 改为 location ~/marathon/(.)*
试试

结论：楼主应该是把代理后的路径搞错了，代理后的访问路径是http://10.18.35.158:8080/meso...
所以楼主试试访问这个路径是不是404，然后在查是不是别的原因。

upstream mesos_servers {
    server  192.168.0.2:5050;
}
upstream marathon_servers {
    server  127.0.0.1:8080;
}

server {

    listen 80;
    server_name xxx.com;

    location /mesos/ {
        proxy_pass http://mesos_servers/;
    }

    location /marathon/ {
        proxy_pass http://marathon_servers/;
    }
    location ~ ^/static/  {
        proxy_pass http://mesos_servers;
    }

}

/mesos/ 把后面的斜杠去掉 -> /mesos