整體架構
我們先看下整個框架的架構是什么樣子的,這里我們有三個服務提供者和三個服務調用者,它們通過 consul 和 nginx,以及 consul-template 來實現負載均衡。
說明 本例子是進行 rpc 的負載均衡,RPC 是 tcp協議,所以 nginx 要配置 tcp 模塊,支持 tcp 負載均衡。
-
Consul 集群 用于服務注冊,注冊多個服務實例,對外提供 RPC 服務。
-
Consul-template 用于實時監測 Consul 中服務的狀態,配合自身一個模板文件,生成 Nginx 的配置文件。
-
Nginx 使用自身的配置文件和第二步生成的配置文件,進行負載均衡。
Nginx安裝
-
安裝最新版 Nginx,保證 Nginx 版本在 1.9.0 以上
-
1.9.0 ?版本以上才支持 TCP 轉發,據說不是默認安裝了該模塊,安裝完成可以查詢一下,如果有–with-stream參數,表示已經支持TCP。如果沒有就重新編譯增加參數安裝。
-
我的 Nginx 安裝在/etc/nginx目錄下
-
安裝完成使用nginx -t監測一下是否成功。
Consul-template
本文旨在負載均衡,Consul 集群搭建不作介紹。
1.下載對應系統版本文件?
2.解壓,并復制到PATH路徑下
[silence@centos145 ~]$ tar xzvf consul-template_0.19.4_linux_amd64.tgz [silence@centos145 ~]$ mv ./consul-template /usr/sbin/consul-template
3.找個地方新建個文件夾,并創建三個文件
4.config.hcl主要用來配置consul-template的啟動參數項,包括consul服務器的地址,模板文件的位置,生成的配置文件的位置等等。除了consul和template塊,其他參數可選。
5.Consul塊配置Consul服務器地址和端口
consul { auth { enabled = false username = "test" password = "test" } address = "172.20.132.196:8500" retry { enabled = true attempts = 12 backoff = "250ms" max_backoff = "1m" } }
6.template塊配置模板的路徑和生成文件的位置,以及生成文件后需要執行的命令。在我們這里我們需要nginx重新加載配置文件,所以設置的命令為nginx -s reload
template { source = "/etc/nginx/consul-template/template.ctmpl" destination = "/etc/nginx/consul-template/nginx.conf" create_dest_dirs = true command = "/usr/sbin/nginx -s reload" command_timeout = "30s" error_on_missing_key = false perms = 0600 backup = true left_delimiter = "{{" right_delimiter = "}}" wait { min = "2s" max = "10s" } }
7.template.ctmpl編寫,因為這里只需要服務器地址和端口號就可以,所以模板文件如下:
[root@centos145 consul-template]# cat template.ctmpl stream { log_format main '$remote_addr - [$time_local] ' '$status'; access_log /var/log/nginx/tcp_access.log main; upstream cloudsocket { {{range service "ad-rpc-device-server"}}server {{.Address}}:{{.Port}};{{end}} } server { listen 8888; proxy_pass cloudsocket; } }
8.啟動consul-template ?consul-template -config=./config.hcl
使用config.hcl配置文件是為了簡化命令 consul-template -consul-addr=172.20.132.196:8500 -template=./template.ctmpl:./nginx.conf
9.初始的nignx.conf文件為空的,在啟動后內容為
[root@centos145 consul-template]# cat nginx.conf stream { log_format main '$remote_addr - [$time_local] ' '$status'; access_log /var/log/nginx/tcp_access.log main; upstream cloudsocket { server 172.20.139.77:8183; } server { listen 8888; proxy_pass cloudsocket; } }
確保服務已經成功注冊到Consul中,即可以看到服務器地址和端口已經配置進去了。
10.在nginx的安裝目錄的nginx.conf中引入consul-template生成的配置文件 include /etc/nginx/consul-template/nginx.conf;
注意生成的配置文件不能喝nginx本身的配置文件中內容重復!!!
11.啟動一個服務實例,查看生成的nginx.conf文件會發現在upstream cloudsocket{}中會動態增加服務列表,并且隨著服務的加入和離開,動態變化。
[root@centos145 consul-template]# cat nginx.conf stream { log_format main '$remote_addr - [$time_local] ' '$status'; access_log /var/log/nginx/tcp_access.log main; upstream cloudsocket { server 172.20.139.77:8183; } server { listen 8888; proxy_pass cloudsocket; } }
再啟動一個,服務列表變成兩個了
[root@centos145 consul-template]# cat nginx.conf stream { log_format main '$remote_addr - [$time_local] ' '$status'; access_log /var/log/nginx/tcp_access.log main; upstream cloudsocket { server 172.20.139.77:8183;server 172.20.139.77:8184; } server { listen 8888; proxy_pass cloudsocket; } }
12.thrift客戶端在調用的時候只需要配置Nginx的地址和端口就可以了,不需要配置服務的地址和端口了,Nginx會自動做轉發。