OpenResty + Lua 动态增加 Zuul 节点

服务器

隐忧

  在 Spring Cloud 微服务架构体系中,所有请求的前门的网关 Zuul 承担着请求转发的主要功能,对后端服务起着举足轻重的作用。当业务体量猛增之后得益于 Spring Cloud 的横向扩展能力,往往加节点、加机器就可以使得系统支撑性获得大大提升,但是仅仅加服务而不加网关是会有性能瓶颈的,实践经验得出的结论是单一 Zuul 的处理能力十分有限,因此扩张节点往往是服务连带 Zuul 一起扩张,然后再在请求上层加一层软负载,通常是使用 Nginx(Nginx 均分请求到 Zuul 负载层,“完美”地解决了问题),如下图:

  上图的这种方式在实际运行中存在两个缺点:

在后端 Zuul 运行一段时间之后,其中一台 Zuul 挂掉了,前端请求的服务会有一部分挂掉。原因很简单,Nginx 和后端 Zuul 没有关联性,Zuul 宕掉以后,Nginx 还是会把请求分发过来。

新加机器、对 Zuul 做新的横向扩展,就需要去更改 Nginx 的配置,对新扩展的 Zuul 进行配置。

解决方案:

  OpenResty 整合了 Nginx 与 Lua,实现了可伸缩的 Web 平台,内部集成了大量精良的 Luα 库、第三方模块以及多数的依赖项。能够非常快捷地搭建处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。我们可以使用 Luα 脚本模块与注册中心构建一个服务动态增减的机制,通过 Lua 获取注册中心状态为 UP 的服务,动态地加入到 Nginx 的均衡列表中去。

实践

  Spring Cloud 中国社区针对上面说的这种场景开源了相关的 Lua 插件源码(Github 地址)

OpenResty 安装与配置

1、环境

yum -y install readline-devel pcre-devel openssl-devel gcc

2、下载解压OpenResty包

wget https://openresty.org/download/openresty-1.13.6.1.tar.gz

tar -zxvf openresty-1.13.6.1.tar.gz

3、下载ngx_cache_purge模块,该模块用于清理nginx缓存

cd openresty-1.13.6.1/bundle

wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz

tar -zxvf ngx_cache_purge-2.3.tar.gz

4、下载nginx_upstream_check_module模块,该模块用于upstream健康检查

wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/v0.3.0.tar.gz

tar -zxvf v0.3.0.tar.gz

5、OpenResty配置增加

cd openresty-1.13.6.1

./configure –prefix=/usr/local/openresty –with-http_realip_module  –with-pcre  –with-luajit –add-module=./bundle/ngx_cache_purge-2.3/ –add-module=./bundle/nginx_upstream_check_module-0.3.0/ -j2 

6、编译安装

make

make install

7、OpenResty没有http模块,需要单独安装

cd /usr/local/openresty/lualib/resty

wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http_headers.lua  

wget https://raw.githubusercontent.com/pintsized/lua-resty-http/master/lib/resty/http.lua

8、项目脚本拷贝到这里

copy dynamic_eureka_balancer.lua into this dir

9、Nginx配置文件

vim /usr/local/openresty/nginx/conf/nginx.conf

Nginx 配置如下

http {

#sharing cache area

lua_shared_dict dynamic_eureka_balancer 128m;

init_worker_by_lua_block {

— 引入 Lua 插件文件

local file = require "resty.dynamic_eureka_balancer"

local balancer = file:new({dict_name="dynamic_eureka_balancer"})

— Eureka server list

balancer.set_eureka_service_url({"127.0.0.1:8888", "127.0.0.1:9999"})

— The service name that needs to be monitored

balancer.watch_service({"zuul", "client"})

}

upstream springcloud_cn {

server 127.0.0.1:666; # Required, because empty upstream block is rejected by nginx (nginx+ can use 'zone' instead)

balancer_by_lua_block {    

–The zuul name that needs to be monitored

local service_name = "zuul"

local file = require "resty.dynamic_eureka_balancer"

local balancer = file:new({dict_name="dynamic_eureka_balancer"}) 

–balancer.ip_hash(service_name) –IP Hash LB

balancer.round_robin(service_name) –Round Robin LB

}

}

    server {

        listen       80;

        server_name  localhost;

location / {

proxy_pass  http://springcloud_cn/;

proxy_set_header Host $http_host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto  $scheme;

}

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

}

}

  实现原理是使用 Lua 脚本定时根据配置的服务名与 Eureka 地址,去拉取该服务的信息,在 Eureka 里面提供 /eureka/apps/{serviceId} 端点,返回服务的注册信息,所以我们只需要取用状态为 UP 的服务,将它的地址加入 Nginx 负载列表即可。此项目使得 Nginx 与 Zuul 之间拥有一个动态感知能力,不用手动配置 Nginx 负载与 Zuul 负载,这样对于应用弹性扩展是极其友好的。

新网虚拟主机

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注