Nginx反向代理支持长连接

Nginx upstream与后端的连接默认为短连接,通过HTTP/1.0向后端发起连接,并把请求的"Connection" header设为"close"。Nginx与前端的连接默认为长连接,一个用户跟Nginx建立连接之后,通过这个长连接发送多个请求。如果Nginx只是作为reverse proxy的话,可能一个用户连接就需要多个向后端的短连接。如果后端的服务器(源站或是缓存服务器)处理并发连接能力不强的话,就可能导致瓶颈的出现。

 

Nginx目前的upstream连接建立和获取的机制如下图。Nginx会在一开始创建connection pool(进程间不共享,可以避免锁),提供给所有向前/后的连接。


Nginx反向代理支持长连接

 

如果要实现upstream长连接,则每个进程需要另外一个connection pool,里面都是长连接。一旦与后端服务器建立连接,则在当前请求连接结束之后不会立即关闭连接,而是把用完的连接保存在一个keepalive connection pool里面,以后每次需要建立向后连接的时候,只需要从这个连接池里面找,如果找到合适的连接的话,就可以直接来用这个连接,不需要重新创建socket或者发起connect()。这样既省下建立连接时三次握手的时间消耗,又可以避免TCP连接的slow start。如果在keepalive连接池找不到合适的连接,那就按照原来的步骤重新建立连接。假设连接查找时间可以忽略不计,那么这种方法肯定是有益而无害的(当然,需要少量额外的内存)。


Nginx反向代理支持长连接

 

具体如何来设计这个keepalive connection pool,不同人有不同的选择。比如Nginx目前的第三方模块upstream keepalive(作者Maxim Dounin)使用了一个queue来做。因为upstream的服务器很可能是多个,所以可能当保持的连接数多的时候,查找的时间可能会较长。可以给每个upstream服务器都分配一个pool(queue),缩短查找时间。但是总体来说内存操作很快,影响不会很大。upstream keepalive模块目前只支持memcached,但是可以重用其代码来达到对http upstream的长连接。由于Nginx作者之前没有考虑upstream的长连接,所以在设计上要把http upstream keepalive模块化可能比较难,只能通过手动修改代码来做到。

一个完整的让upstream支持长连接的配置示例如下:

[plain] view plain copy
  1. #user  nobody;  
  2. worker_processes  1;  
  3.   
  4. #error_log  logs/error.log;  
  5. #error_log  logs/error.log  notice;  
  6. #error_log  logs/error.log  info;  
  7.   
  8. #pid        logs/nginx.pid;  
  9.   
  10.   
  11. events {  
  12.     worker_connections  1024;  
  13. }  
  14.   
  15.   
  16. http {  
  17.     include       mime.types;  
  18.     default_type  application/octet-stream;  
  19.   
  20.     #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '  
  21.     #                  '$status $body_bytes_sent "$http_referer" '  
  22.     #                  '"$http_user_agent" "$http_x_forwarded_for"';  
  23.   
  24.     #access_log  logs/access.log  main;  
  25.       
  26.     client_max_body_size 20M;  
  27.     client_header_buffer_size  32k;  
  28.     large_client_header_buffers 4 32k;  
  29.   
  30.     sendfile        on;  
  31.     #tcp_nopush     on;  
  32.   
  33.     #keepalive_timeout  0;  
  34.     keepalive_timeout  65;  
  35.   
  36.     #gzip  on;  
  37.   
  38.     proxy_buffer_size 64k;  
  39.     proxy_buffers   32 32k;  
  40.     proxy_busy_buffers_size 128k;  
  41.       
  42.     upstream aauCfg_backend {  
  43.         server  127.0.0.1:97;  
  44.         keepalive 16;  
  45.     }  
  46.       
  47.     upstream HFC_backend {  
  48.         server  127.0.0.1:8090;  
  49.         keepalive 16;  
  50.     }  
  51.       
  52.     upstream manager_backend {  
  53.         server  127.0.0.1:8095;  
  54.         keepalive 16;  
  55.     }  
  56.       
  57.     server {  
  58.         listen       80;  
  59.         server_name  localhost;  
  60.   
  61.         #charset koi8-r;  
  62.   
  63.         #access_log  logs/host.access.log  main;  
  64.   
  65.         root   html/tools;  
  66.         index  index.html index.htm index.php;  
  67.           
  68.         proxy_http_version 1.1;  
  69.         proxy_set_header  Connection  "";  
  70.         proxy_set_header  Host  $host;  
  71.         proxy_set_header  X-Real_IP  $remote_addr;  
  72.         proxy_set_header  X-Forwarded-For  $proxy_add_x_forwarded_for;  
  73.           
  74.         location / {  
  75.             if (!-e $request_filename) {  
  76.                 #rewrite  ^/(.*)$  /index.php/$1  last;  
  77.                 #break;  
  78.                 rewrite ^/(.*)$ /index.php/$1;  
  79.             }  
  80.         }  
  81.           
  82.         location ~* \.(ico|css|js|gif|jpe?g|png)(\?[0-9]+)?$ {  
  83.                 expires max;  
  84.                 log_not_found off;  
  85.         }  
  86.           
  87.         location ^~ /aauCfg/ {  
  88.             #proxy_pass   http://$remote_addr:97$request_uri;  
  89.             proxy_pass   http://aauCfg_backend;  
  90.         }  
  91.           
  92.         location ^~ /HFC/ {  
  93.             #proxy_pass   http://$remote_addr:8090$request_uri;  
  94.             proxy_pass   http://HFC_backend;  
  95.         }  
  96.           
  97.         location ^~ /manager/ {  
  98.             #proxy_pass   http://$remote_addr:8095$request_uri;  
  99.             proxy_pass   http://manager_backend;  
  100.         }  
  101.           
  102.         #error_page  404              /404.html;  
  103.   
  104.         # redirect server error pages to the static page /50x.html  
  105.         #  
  106.         error_page   500 502 503 504  /50x.html;  
  107.         location = /50x.html {  
  108.             root   html;  
  109.         }  
  110.   
  111.         # proxy the PHP scripts to Apache listening on 127.0.0.1:80  
  112.         #  
  113.         #location ~ \.php$ {  
  114.         #    proxy_pass   http://127.0.0.1;  
  115.         #}  
  116.   
  117.         # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000  
  118.         #  
  119.         #location ~ \.php$ {  
  120.         #    fastcgi_pass   127.0.0.1:9000;  
  121.         #    fastcgi_index  index.php;  
  122.         #    fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;  
  123.         #    include        fastcgi_params;  
  124.         #}  
  125.           
  126.         location ~ .php  
  127.         {  
  128.             fastcgi_pass   127.0.0.1:9000;  
  129.             fastcgi_index  index.php;  
  130.             fastcgi_param  SCRIPT_FILENAME  $document_root$fastcgi_script_name;  
  131.             include        fastcgi.conf;  
  132.             include        fastcgi_params;  
  133.   
  134.             #定义变量 $path_info ,用于存放pathinfo信息  
  135.             set $path_info "";  
  136.             #定义变量 $real_script_name,用于存放真实地址  
  137.             set $real_script_name $fastcgi_script_name;  
  138.             #如果地址与引号内的正则表达式匹配  
  139.             if ($fastcgi_script_name ~ "^(.+?\.php)(/.+)$") {  
  140.                     #将文件地址赋值给变量 $real_script_name  
  141.                     set $real_script_name $1;  
  142.                     #将文件地址后的参数赋值给变量 $path_info  
  143.                     set $path_info $2;  
  144.             }  
  145.             #配置fastcgi的一些参数  
  146.             fastcgi_param SCRIPT_FILENAME $document_root$real_script_name;  
  147.             fastcgi_param SCRIPT_NAME $real_script_name;  
  148.             fastcgi_param PATH_INFO $path_info;  
  149.         }  
  150.   
  151.         # deny access to .htaccess files, if Apache's document root  
  152.         # concurs with nginx's one  
  153.         #  
  154.         #location ~ /\.ht {  
  155.         #    deny  all;  
  156.         #}  
  157.     }  
  158.   
  159.   
  160.     # another virtual host using mix of IP-, name-, and port-based configuration  
  161.     #  
  162.     #server {  
  163.     #    listen       8000;  
  164.     #    listen       somename:8080;  
  165.     #    server_name  somename  alias  another.alias;  
  166.   
  167.     #    location / {  
  168.     #        root   html;  
  169.     #        index  index.html index.htm;  
  170.     #    }  
  171.     #}  
  172.   
  173.   
  174.     # HTTPS server  
  175.     #  
  176.     #server {  
  177.     #    listen       443 ssl;  
  178.     #    server_name  localhost;  
  179.   
  180.     #    ssl_certificate      cert.pem;  
  181.     #    ssl_certificate_key  cert.key;  
  182.   
  183.     #    ssl_session_cache    shared:SSL:1m;  
  184.     #    ssl_session_timeout  5m;  
  185.   
  186.     #    ssl_ciphers  HIGH:!aNULL:!MD5;  
  187.     #    ssl_prefer_server_ciphers  on;  
  188.   
  189.     #    location / {  
  190.     #        root   html;  
  191.     #        index  index.html index.htm;  
  192.     #    }  
  193.     #}  
  194.   
  195. }  


参考:

http://nginx.org/en/docs/http/ngx_http_proxy_module.html#proxy_http_version

http://nginx.org/en/docs/http/ngx_http_upstream_module.html#keepalive