memc-nginx-module模块使用场景
针对一些访问量很大的页面,特别是瞬时访问量很大的系统,jetty无法支撑住请求,这时候可以使用memc-nginx-module模块模块与srcache-nginx-module模块将请求页面数据存放在memcached中,可大大提升系统的并发能力。
memc-nginx-module模块安装由于angentzh维护的openresty封装了所有这些模块,因此直接使用openresty是最方便的选择。
安装过程如下:
1.下载并解压ngx_openresty
wget "http://agentzh.org/misc/nginx/ngx_openresty-1.2.3.8.tar.gz" tar -xvzf ngx_openresty-1.2.3.8.tar.gz cd ngx_openresty-1.2.3.8
2.在configure之前,需要安装openresty依赖的库,安装如下:
yum install readline-devel pcre-devel openssl-devel
3.编译安装openresty,注意此处需要加上concat模块
./configure --add-module=/home/tar/nginx_concat_module/trunk/ make make install
ngx_openresty默认安装在/usr/local/openresty目录下。
修改nginx.conf文件,配置memc-nginx-module模块 在http段,增加memc_server,并启用keepalive
upstream memc_server { server 127.0.0.1:11211; keepalive 512 ; }
在server段,配置需要缓存的页面
location ~ ^/qiang/[0-9]*\.html$ { set $qiang_key $request_uri; srcache_fetch GET /memc $qiang_key; srcache_store PUT /memc $qiang_key; add_header X-Cached-From $srcache_fetch_status; proxy_redirect off; proxy_set_header Host $host; proxy_set_header Accept-Encoding ""; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass :8080; } location /memc { internal; memc_connect_timeout 100ms; memc_send_timeout 100ms; memc_read_timeout 100ms; set $memc_key $query_string; # 统一缓存5s set $memc_exptime 30; memc_pass memo_server; }
说明
阅读上述Nginx缓存页面配置时,必需清楚nginx请求执行的顺利并不是只按照配置文件中指令所处的顺序。每一个指令都绑定在Ngnix请求执行顺序的一个阶段,上述配置的指令中,执行顺序大致如下:
srcache_fetch --> proxy_pass --> srcache_store
以上配置必须运行在srcache-nginx-module模块0.14及以上版本之上。
ngx_openresty-1.2.3.8对应的srcache-nginx-module版本为0.16
重启nginx,访问指定的URL,验证memc-nginx-module模块是否生效。验证方法如下:
上面配置文件中的
add_header X-Cached-From $srcache_fetch_status;
指令会将cache是否命中的状态输出成HTTP的一个扩展头信息里面,因此用Safari,Chrome,Firefox等浏览器查看http请求返回的数据就可以知道缓存是否命中。
$srcache_fetch_status 的取值有 “HIT”,“MISS”。
对指定缓存进行压力测试,qps最高达到2300req/s,此时系统的cpu,内存等资源仍然很低,而千兆网卡则全部写满,瓶颈已不在cpu和内存上了,达到预期目标。
update(2012-10-29):
1、此方案中memcached与Nginx可放在同一台服务器上,必须两者间的数据交换过大导致网卡瓶颈
推荐阅读:
CentOS 6.2实战部署Nginx+MySQL+PHP
搭建基于Linux6.3+Nginx1.2+PHP5+MySQL5.5的Web服务器全过程
CentOS 6.3下配置Nginx加载ngx_pagespeed模块
CentOS 6.4安装配置Nginx+Pcre+php-fpm
Nginx 的详细介绍:请点这里
Nginx 的下载地址:请点这里