ker版本1.12之后swarm模式原生支持覆蓋網(wǎng)絡(overlay networks)，可以先創(chuàng)建一個覆蓋網(wǎng)絡，然后啟動容器的時候啟用這個覆蓋網(wǎng)絡，這樣只要是這個覆蓋網(wǎng)絡內的容器，不管在不在同一個宿主機上都能相互通信，即跨主機通信！不同覆蓋網(wǎng)絡內的容器組之間是相互隔離的（相互ping不通）。 swarm模式的覆蓋網(wǎng)絡包括以下功能：1）可以附加多個服務到同一個網(wǎng)絡。2）默認情況下，service discovery為每個swarm服務分配一個虛擬IP地址(vip)和DNS名稱，使得在同一個網(wǎng)絡中容器之間可以使用服務名稱為互相連接。3）可以配置使用DNS輪循而不使用VIP4）為了可以使用swarm的覆蓋網(wǎng)絡，在啟用swarm模式之間你需要在swarm節(jié)點之間開放以下端口：5）TCP/UDP端口7946 – 用于容器網(wǎng)絡發(fā)現(xiàn)6）UDP端口4789 – 用于容器覆蓋網(wǎng)絡 實例如下：-----------在Swarm集群中創(chuàng)建overlay網(wǎng)絡------------[root@manager-node ~]# docker network create --driver overlay --opt encrypted --subnet 10.10.19.0/24 ngx_net 參數(shù)解釋：–opt encrypted 默認情況下swarm中的節(jié)點通信是加密的。在不同節(jié)點的容器之間，可選的–opt encrypted參數(shù)能在它們的vxlan流量啟用附加的加密層。--subnet 命令行參數(shù)指定overlay網(wǎng)絡使用的子網(wǎng)網(wǎng)段。當不指定一個子網(wǎng)時，swarm管理器自動選擇一個子網(wǎng)并分配給網(wǎng)絡。 [root@manager-node ~]# docker network lsNETWORK ID NAME DRIVER SCOPEd7aa48d3e485 bridge bridge local 9e637a97a3b9 docker_gwbridge bridge local b5a41c8c71e7 host host local 7f4fx3jf4dbr ingress overlay swarm 3x2wgugr6zmn ngx_net overlay swarm 0808a5c72a0a none null local 由上可知，Swarm當中擁有2套覆蓋網(wǎng)絡。其中"ngx_net"網(wǎng)絡正是我們在部署容器時所創(chuàng)建的成果。而"ingress"覆蓋網(wǎng)絡則為默認提供。Swarm 管理節(jié)點會利用 ingress 負載均衡以將服務公布至集群之外。在將服務連接到這個創(chuàng)建的網(wǎng)絡之前，網(wǎng)絡覆蓋到manager節(jié)點。上面輸出的SCOPE為 swarm 表示將服務部署到Swarm時可以使用此網(wǎng)絡。在將服務連接到這個網(wǎng)絡后，Swarm只將該網(wǎng)絡擴展到特定的worker節(jié)點，這個worker節(jié)點被swarm調度器分配了運行服務的任務。在那些沒有運行該服務任務的worker節(jié)點上，網(wǎng)絡并不擴展到該節(jié)點。 ------------------將服務連接到overlay網(wǎng)絡-------------------[root@manager-node ~]# docker service create --replicas 5 --network ngx_net --name my-test -p 80:80 nginx 上面名為"my-test"的服務啟動了3個task，用于運行每個任務的容器都可以彼此通過overlay網(wǎng)絡進行通信。Swarm集群將網(wǎng)絡擴展到所有任務處于Running狀態(tài)的節(jié)點上。[root@manager-node ~]# docker service lsID NAME REPLICAS IMAGE COMMANDdsaxs6v463g9 my-test 5/5 nginx 在manager-node節(jié)點上，通過下面的命令查看哪些節(jié)點有處于running狀態(tài)的任務：[root@manager-node ~]# docker service ps my-testID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR8433fuiy7vpu0p80arl7vggfe my-test.1 nginx node2 Running Running 2 minutes ago f1h7a0vtojv18zrsiw8j0rzaw my-test.2 nginx node1 Running Running 2 minutes ago ex73ifk3jvzw8ukurl8yu7fyq my-test.3 nginx node1 Running Running 2 minutes ago cyu73jd8psupfhken23vvmpud my-test.4 nginx manager-node Running Running 2 minutes ago btorxekfix4hcqh4v83dr0tzw my-test.5 nginx manager-node Running Running 2 minutes ago 可見三個節(jié)點都有處于running狀態(tài)的任務，所以my-network網(wǎng)絡擴展到三個節(jié)點上。 可以查詢某個節(jié)點上關于my-network的詳細信息：[root@manager-node ~]# docker network inspect ngx_net[ { "Name": "ngx_net", "Id": "3x2wgugr6zmn1mcyf9k1du27p", "Scope": "swarm", "Driver": "overlay", "EnableIPv6": false, "IPAM": { "Driver": "default", "Options": null, "Config": [ { "Subnet": "10.10.19.0/24", "Gateway": "10.10.19.1" } ] }, "Internal": false, "Containers": { "00f47e38deea76269eb03ba13695ec0b0c740601c85019546d6a9a17fd434663": { "Name": "my-test.5.btorxekfix4hcqh4v83dr0tzw", "EndpointID": "ea962d07eee150b263ae631b8a7f8c1950337c11ef2c3d488a7c3717defd8601", "MacAddress": "02:42:0a:0a:13:03", "IPv4Address": "10.10.19.3/24", "IPv6Address": "" }, "957620c6f7abb44ad8dd2d842d333f5e5c1655034dc43e49abbbd680de3a5341": { "Name": "my-test.4.cyu73jd8psupfhken23vvmpud", "EndpointID": "f33a6e9ddf1dd01bcfc43ffefd19e19514658f001cdf9b2fbe23bc3fdf56a42a", "MacAddress": "02:42:0a:0a:13:07", "IPv4Address": "10.10.19.7/24", "IPv6Address": "" } }, "Options": { "com.docker.network.driver.overlay.vxlanid_list": "257" }, "Labels": {} }] 從上面的信息可以看出在manager-node節(jié)點上，名為my-test的服務有一個名為my-test.5.btorxekfix4hcqh4v83dr0tzw和my-test.4.cyu73jd8psupfhken23vvmpud的task連接到名為ngx_net的網(wǎng)絡上（另外兩個節(jié)點node1和node2同樣可以用上面命令查看）[root@node1 ~]# docker network inspect ngx_net....... "Containers": { "7d9986fad5a7d834676ba76ae75aff2258f840953f1dc633c3ef3c0efd2b2501": { "Name": "my-test.3.ex73ifk3jvzw8ukurl8yu7fyq", "EndpointID": "957ca19f3d5480762dbd14fd9a6a1cd01a8deac3e8e35b23d1350f480a7b2f37", "MacAddress": "02:42:0a:0a:13:06", "IPv4Address": "10.10.19.6/24", "IPv6Address": "" }, "9e50fceada1d7c653a886ca29d2bf2606debafe8c8a97f2d79104faf3ecf8a46": { "Name": "my-test.2.f1h7a0vtojv18zrsiw8j0rzaw", "EndpointID": "b1c209c7b68634e88e0bf5e100fe03435b3096054da6555c61e6c207ac651ac2", "MacAddress": "02:42:0a:0a:13:05", "IPv4Address": "10.10.19.5/24", "IPv6Address": "" } },.........[root@node2 web]# docker network inspect ngx_net........ "Containers": { "4bdcce0ee63edc08d943cf4a049eac027719ff2dc14b7c3aa85fdddc5d1da968": { "Name": "my-test.1.8433fuiy7vpu0p80arl7vggfe", "EndpointID": "df58de85b0a0e4d128bf332fc783f6528d1f179b0f9f3b7aa70ebc832640d3bc", "MacAddress": "02:42:0a:0a:13:04", "IPv4Address": "10.10.19.4/24", "IPv6Address": "" } }, 可以通過查詢服務來獲得服務的虛擬IP地址，如下：[root@manager-node ~]# docker service inspect --format='{{json .Endpoint.VirtualIPs}}' my-test[{"NetworkID":"7f4fx3jf4dbrp97aioc05pul4","Addr":"10.255.0.6/16"},{"NetworkID":"3x2wgugr6zmn1mcyf9k1du27p","Addr":"10.10.19.2/24"}] 由上結果可知，10.10.19.2其實就是swarm集群內部的vip，整個網(wǎng)絡結構如下圖所示： |
加入ngx_net網(wǎng)絡的容器彼此之間可以通過IP地址通信，也可以通過名稱通信。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 | [root@node2 ~]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES4bdcce0ee63e nginx:latest "nginx -g 'daemon off" 22 minutes ago Up 22 minutes 80/tcp my-test.1.8433fuiy7vpu0p80arl7vggfe[root@node2 ~]# docker exec -ti 4bdcce0ee63e /bin/bashroot@4bdcce0ee63e:/# ip addr 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever1786: eth0@if1787: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default link/ether 02:42:0a:ff:00:08 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 10.255.0.8/16 scope global eth0 valid_lft forever preferred_lft forever inet 10.255.0.6/32 scope global eth0 valid_lft forever preferred_lft forever inet6 fe80::42:aff:feff:8/64 scope link valid_lft forever preferred_lft forever1788: eth1@if1789: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default link/ether 02:42:ac:12:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 1 inet 172.18.0.3/16 scope global eth1 valid_lft forever preferred_lft forever inet6 fe80::42:acff:fe12:3/64 scope link valid_lft forever preferred_lft forever1791: eth2@if1792: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default link/ether 02:42:0a:0a:13:04 brd ff:ff:ff:ff:ff:ff link-netnsid 2 inet 10.10.19.4/24 scope global eth2 valid_lft forever preferred_lft forever inet 10.10.19.2/32 scope global eth2 valid_lft forever preferred_lft forever inet6 fe80::42:aff:fe0a:1304/64 scope link valid_lft forever preferred_lft foreverroot@4bdcce0ee63e:/# ping 10.10.19.3PING 10.10.19.3 (10.10.19.3): 56 data bytes64 bytes from 10.10.19.3: icmp_seq=0 ttl=64 time=0.890 ms64 bytes from 10.10.19.3: icmp_seq=1 ttl=64 time=0.622 ms.....-2 packets transmitted, 2 packets received, 0% packet lossround-trip min/avg/max/stddev = 0.622/0.756/0.890/0.134 msroot@4bdcce0ee63e:/# ping 10.10.19.6PING 10.10.19.6 (10.10.19.6): 56 data bytes64 bytes from 10.10.19.6: icmp_seq=0 ttl=64 time=0.939 ms64 bytes from 10.10.19.6: icmp_seq=1 ttl=64 time=0.590 ms----------------------------使用swarm模式的服務發(fā)現(xiàn)--------------------------默認情況下，當創(chuàng)建了一個服務并連接到某個網(wǎng)絡后，swarm會為該服務分配一個VIP。此VIP根據(jù)服務名映射到DNS。在網(wǎng)絡上的容器共享該服務的DNS映射，所以網(wǎng)絡上的任意容器可以通過服務名訪問服務。在同一overlay網(wǎng)絡中，不用通過端口映射來使某個服務可以被其它服務訪問。Swarm內部的負載均衡器自動將請求發(fā)送到服務的VIP上，然后分發(fā)到所有的active的task上。如下示例：在同一個網(wǎng)絡中添加了一個centos服務，此服務可以通過名稱my-test訪問前面創(chuàng)建的nginx服務：[root@manager-node ~]# docker service create --name my-centos --network ngx_net centos 查詢centos運行在哪個節(jié)點上（上面創(chuàng)建命令執(zhí)行后，需要一段時間才能完成這個centos服務的創(chuàng)建）[root@manager-node ~]# docker service ps my-centosID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERRORe03pqgkjs3l1qizc6v4aqaune my-centos.1 centos node2 Running Preparing 4 seconds ago 登錄centos運行的節(jié)點（由上可知是node2節(jié)點），打開centos的交互shell：[root@node2 ~]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS NAMESe4554490d891 centos:latest "/bin/bash" About an hour ago Up About an hour my-centos.1.9yk5ie28gwk9mw1h1jovb68ki[root@node2 ~]# docker exec -ti my-centos.1.9yk5ie28gwk9mw1h1jovb68ki /bin/bashroot@4bdcce0ee63e:/# nslookup my-testServer: 127.0.0.11Address 1: 127.0.0.11Name: my-testAddress 1: 10.10.19.2 10.10.19.2從centos容器內部，使用特殊查詢 查詢DNS，來找到my-test服務的所有容器的IP地址：root@4bdcce0ee63e:/# nslookup tasks.my-testServer: 127.0.0.11Address 1: 127.0.0.11Name: tasks.my-testAddress 1: 10.10.19.4 my-test.1.8433fuiy7vpu0p80arl7vggfeAddress 2: 10.10.19.5 my-test.2.f1h7a0vtojv18zrsiw8j0rzawAddress 3: 10.10.19.6 my-test.3.ex73ifk3jvzw8ukurl8yu7fyqAddress 2: 10.10.19.7 my-test.4.cyu73jd8psupfhken23vvmpudAddress 3: 10.10.19.3 my-test.5.btorxekfix4hcqh4v83dr0tzw從centos容器內部，通過wget來訪問my-test服務中運行的nginx網(wǎng)頁服務器root@4bdcce0ee63e:/# wget -O- my-test Connecting to my-test (10.10.19.2:80)<!DOCTYPE html><html><head><title>Welcome to nginx!</title>...Swarm的負載均衡器自動將HTTP請求路由到VIP上，然后到一個active的task容器上。它根據(jù)round-robin選擇算法將后續(xù)的請求分發(fā)到另一個active的task上。-----------------------------------為服務使用DNS round-robin-----------------------------在創(chuàng)建服務時，可以配置服務直接使用DNS round-robin而無需使用VIP。這是通過在創(chuàng)建服務時指定 --endpoint-mode dnsrr 命令行參數(shù)實現(xiàn)的。當你想要使用自己的負載均衡器時可以使用這種方式。如下示例（注意：使用DNS round-robin方式創(chuàng)建服務，不能直接在命令里使用-p指定端口）[root@manager-node ~]# docker service create --replicas 3 --name my-dnsrr-nginx --network ngx_net --endpoint-mode dnsrr nginx[root@manager-node ~]# docker service ps my-dnsrr-nginxID NAME IMAGE NODE DESIRED STATE CURRENT STATE ERROR65li2zbhxvvoaesndmwjokouj my-dnsrr-nginx.1 nginx node1 Running Running 2 minutes ago 5hjw7wm4xr877879m0ewjciuj my-dnsrr-nginx.2 nginx manager-node Running Running 2 minutes ago afo7acduge2qfy60e87liz557 my-dnsrr-nginx.3 nginx manager-node Running Running 2 minutes ago 當通過服務名稱查詢DNS時，DNS服務返回所有任務容器的IP地址：root@4bdcce0ee63e:/# nslookup my-dnsrr-nginx Server: 127.0.0.11Address 1: 127.0.0.11Name: my-dnsrr-nginxAddress 1: 10.10.19.10 my-dnsrr-nginx.3.0sm1n9o8hygzarv5t5eq46okn.my-networkAddress 2: 10.10.19.9 my-dnsrr-nginx.2.b3o1uoa8m003b2kk0ytl9lawh.my-networkAddress 3: 10.10.19.8 my-dnsrr-nginx.1.55za4c83jq9846rle6eigiq15.my-network需要注意的是：一定要確認VIP的連通性通常Docker官方推薦使用dig，nslookup或其它DNS查詢工具來查詢通過DNS對服務名的訪問。因為VIP是邏輯IP，ping并不是確認VIP連通性的正確的工具。 |
