上一節(jié)我們闡述了Kubernetes的系統(tǒng)架構(gòu)，讓大家對Kubernetes有一定的初步了解，但是就如何使用Kubernetes， 也許大家還不知如何下手。本文作者將帶領大家如何在本地部署、配置Kubernetes集群網(wǎng)絡環(huán)境以及通過實例演示跨機器服務間的通信，主要包括如下內(nèi)容：
服務器信息:
| Role | Hostname | IP Address | |:---------:|:----------:|:----------: | |APIServer |kubernetes |192.168.230.3| |Minion | minion1 |192.168.230.4| |Minion | minion2 |192.168.230.5|
在詳細介紹部署Kubernetes集群前，先給大家展示下集群的邏輯架構(gòu)。從下圖可知，整個系統(tǒng)分為兩部分，第一部分是Kubernetes APIServer，是整個系統(tǒng)的核心，承擔集群中所有容器的管理工作；第二部分是minion，運行Container Daemon，是所有容器棲息之地，同時在minion上運行Open vSwitch程序，通過GRE Tunnel負責minion之間Pod的網(wǎng)絡通信工作。
為了解決跨minion之間Pod的通信問題，我們在每個minion上安裝Open vSwtich，并使用GRE或者VxLAN使得跨機器之間Pod能相互通信，本文使用GRE，而VxLAN通常用在需要隔離的大規(guī)模網(wǎng)絡中。對于Open vSwitch的具體安裝步驟，可參考這篇博客，我們在這里就不再詳細介紹安裝步驟了。安裝完Open vSwitch后，接下來便建立minion1和minion2之間的隧道。首先在minion1和minion2上建立OVS Bridge,
[root@minion1 ~]# ovs-vsctl add-br obr0
接下來建立gre，并將新建的gre0添加到obr0，在minion1上執(zhí)行如下命令，
[root@minion1 ~]# ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.230.5
在minion2上執(zhí)行,
[root@minion2 ~]# ovs-vsctl add-port obr0 gre0 -- set Interface gre0 type=gre options:remote_ip=192.168.230.4
至此，minion1和minion2之間的隧道已經(jīng)建立。然后我們在minion1和minion2上創(chuàng)建Linux網(wǎng)橋kbr0替代Docker默認的docker0（我們假設minion1和minion2都已安裝Docker），設置minion1的kbr0的地址為172.17.1.1/24， minion2的kbr0的地址為172.17.2.1/24，并添加obr0為kbr0的接口，以下命令在minion1和minion2上執(zhí)行。
[root@minion1 ~]# brctl addbr kbr0 //創(chuàng)建linux bridge[root@minion1 ~]# brctl addif kbr0 obr0 //添加obr0為kbr0的接口[root@minion1 ~]# ip link set dev docker0 down //設置docker0為down狀態(tài)[root@minion1 ~]# ip link del dev docker0 //刪除docker0
為了使新建的kbr0在每次系統(tǒng)重啟后任然有效，我們在/etc/sysconfig/network-scripts/目錄下新建minion1的ifcfg-kbr0如下：
DEVICE=kbr0ONBOOT=yesBOOTPROTO=staticIPADDR=172.17.1.1NETMASK=255.255.255.0GATEWAY=172.17.1.0USERCTL=noTYPE=BridgeIPV6INIT=no
同樣在minion2上新建ifcfg-kbr0，只需修改ipaddr為172.17.2.1和gateway為172.17.2.0即可，然后執(zhí)行systemctl restart network重啟系統(tǒng)網(wǎng)絡服務，你能在minion1和minion2上發(fā)現(xiàn)kbr0都設置了相應的IP地址。為了驗證我們創(chuàng)建的隧道是否能通信，我們在minion1和minion2上相互ping對方kbr0的IP地址，從下面的結(jié)果發(fā)現(xiàn)是不通的，經(jīng)查找這是因為在minion1和minion2上缺少訪問172.17.1.1和172.17.2.1的路由，因此我們需要添加路由保證彼此之間能通信。
[root@minion1 network-scripts]# ping 172.17.2.1PING 172.17.2.1 (172.17.2.1) 56(84) bytes of data.^C--- 172.17.2.1 ping statistics ---2 packets transmitted, 0 received, 100% packet loss, time 1000ms[root@minion2 ~]# ping 172.17.1.1PING 172.17.1.1 (172.17.1.1) 56(84) bytes of data.^C--- 172.17.1.1 ping statistics ---2 packets transmitted, 0 received, 100% packet loss, time 1000ms
由于通過ip route add添加的路由會在下次系統(tǒng)重啟后失效，為此我們在/etc/sysconfig/network-scripts目錄下新建一個文件route-eth0存儲路由，這里需要注意的是route-eth0和ifcfg-eth0的黑體部分必須保持一致，否則不能工作，這樣添加的路由在下次重啟后不會失效。為了保證兩臺minion的kbr0能相互通信，我們在minion1的route-eth0里添加路由172.17.2.0/24 via 192.168.230.5 dev eno16777736，eno16777736是minion1的網(wǎng)卡，同樣在minion2的route-eth0里添加路由172.17.1.0/24 via 192.168.230.4 dev eno16777736。重啟網(wǎng)絡服務后再次驗證，彼此kbr0的地址可以ping通，如：
[root@minion2 network-scripts]# ping 172.17.1.1PING 172.17.1.1 (172.17.1.1) 56(84) bytes of data.64 bytes from 172.17.1.1: icmp_seq=1 ttl=64 time=2.49 ms64 bytes from 172.17.1.1: icmp_seq=2 ttl=64 time=0.512 ms^C--- 172.17.1.1 ping statistics ---2 packets transmitted, 2 received, 0% packet loss, time 1002msrtt min/avg/max/mdev = 0.512/1.505/2.498/0.993 ms
到現(xiàn)在我們已經(jīng)建立了兩minion之間的隧道，而且能正確的工作。下面我們將介紹如何安裝Kubernetes APIServer及kubelet、proxy等服務。
在安裝APIServer之前，我們先下載Kubernetes及Etcd，做一些準備工作。在kubernetes上的具體操作如下：
[root@kubernetes ~]# mkdir /tmp/kubernetes[root@kubernetes ~]# cd /tmp/kubernetes/[root@kubernetes kubernetes]# wget https://github.com/GoogleCloudPlatform/kubernetes/releases/download/v0.5.2/kubernetes.tar.gz[root@kubernetes kubernetes]# wget https://github.com/coreos/etcd/releases/download/v0.4.6/etcd-v0.4.6-linux-amd64.tar.gz
然后解壓下載的kubernetes和etcd包，并在kubernetes、minion1、minion2上創(chuàng)建目錄/opt/kubernetes/bin，
[root@kubernetes kubernetes]# mkdir -p /opt/kubernetes/bin[root@kubernetes kubernetes]# tar xf kubernetes.tar.gz[root@kubernetes kubernetes]# tar xf etcd-v0.4.6-linux-amd64.tar.gz[root@kubernetes kubernetes]# cd ~/kubernetes/server[root@kubernetes server]# tar xf kubernetes-server-linux-amd64.tar.gz[root@kubernetes kubernetes]# /tmp/kubernetes/kubernetes/server/kubernetes/server/bin
復制kube-apiserver，kube-controller-manager，kube-scheduler，kubecfg到kubernetes的/opt/kubernetes/bin目錄下，而kubelet，kube-proxy則復制到minion1和minion2的/opt/kubernetes/bin，并確保都是可執(zhí)行的。
[root@kubernetes amd64]# cp kube-apiserver kube-controller-manager kubecfg kube-scheduler /opt/kubernetes/bin[root@kubernetes amd64]# scp kube-proxy kubelet root@192.168.230.4:/opt/kubernetes/bin[root@kubernetes amd64]# scp kube-proxy kubelet root@192.168.230.5:/opt/kubernetes/bin
為了簡單我們只部署一臺etcd服務器，如果需要部署etcd的集群，請參考官方文檔，在本文中將其跟Kubernetes APIServer部署同一臺機器上，而且將etcd放置在/opt/kubernetes/bin下，etcdctl跟ectd同一目錄。
[root@kubernetes kubernetes]# cd /tmp/kubernetes/etcd-v0.4.6-linux-amd64[root@kubernetes etcd-v0.4.6-linux-amd64]# cp etcd etcdctl /opt/kubernetes/bin
需注意的是kubernetes和minion上/opt/kubernetes/bin目錄下的文件都必須是可執(zhí)行的。到目前，我們準備工作已經(jīng)差不多，現(xiàn)在開始給apiserver，controller-manager，scheduler，etcd配置unit文件。首先我們用如下腳本etcd.sh配置etcd的unit文件，
#!/bin/shETCD_PEER_ADDR=192.168.230.3:7001ETCD_ADDR=192.168.230.3:4001ETCD_DATA_DIR=/var/lib/etcdETCD_NAME=kubernetes! test -d $ETCD_DATA_DIR && mkdir -p $ETCD_DATA_DIRcat <<EOF >/usr/lib/systemd/system/etcd.service[Unit]Description=Etcd Server[Service]ExecStart=/opt/kubernetes/bin/etcd \ -peer-addr=$ETCD_PEER_ADDR \ -addr=$ETCD_ADDR \ -data-dir=$ETCD_DATA_DIR \ -name=$ETCD_NAME \ -bind-addr=0.0.0.0[Install]WantedBy=multi-user.targetEOFsystemctl daemon-reloadsystemctl enable etcdsystemctl start etcd
對剩下的apiserver,controller-manager,scheduler的unit文件配置的腳本，可以在github 上GetStartingKubernetes找到，在此就不一一列舉。運行相應的腳本后，在APIServer上etcd, apiserver, controller-manager, scheduler服務就能正常運行。
根據(jù)Kubernetes的設計架構(gòu)，需要在minion上部署docker, kubelet, kube-proxy，在4.2節(jié)部署APIServer時，我們已經(jīng)將kubelet和kube-proxy已經(jīng)分發(fā)到兩minion上，所以只需配置docker,kubelet,proxy的unit文件，然后啟動服務就即可，具體配置見GetStartingKubernetes。
為了方便，我們使用Kubernetes提供的例子Guestbook來演示Kubernetes管理跨機器運行的容器，下面我們根據(jù)Guestbook的步驟創(chuàng)建容器及服務。在下面的過程中如果是第一次操作，可能會有一定的等待時間，狀態(tài)處于pending，這是因為第一次下載images需要一段時間。
[root@kubernetes ~]# cd /tmp/kubernetes/kubernetes/examples/guestbook[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c redis-master.json create pods[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c redis-master-service.json create services
完成上面的操作后，我們可以看到如下redis-master Pod被調(diào)度到192.168.230.4。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list podsName Image(s) Host Labels Status---------- ---------- ---------- ---------- ----------redis-master dockerfile/redis 192.168.230.4/ name=redis-master Running
但除了發(fā)現(xiàn)redis-master的服務之外，還有兩個Kubernetes系統(tǒng)默認的服務kubernetes-ro和kubernetes。而且我們可以看到每個服務都有一個服務IP及相應的端口，對于服務IP，是一個虛擬地址，根據(jù)apiserver的portal_net選項設置的CIDR表示的IP地址段來選取，在我們的集群中設置為10.10.10.0/24。為此每新創(chuàng)建一個服務，apiserver都會在這個地址段中隨機選擇一個IP作為該服務的IP地址，而端口是事先確定的。對redis-master服務，其服務地址為10.10.10.206，端口為6379。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list servicesName Labels Selector IP Port---------- ---------- ---------- ---------- ----------kubernetes-ro component=apiserver,provider=kubernetes 10.10.10.207 80redis-master name=redis-master name=redis-master 10.10.10.206 6379kubernetes component=apiserver,provider=kubernetes 10.10.10.161 443
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c redis-slave-controller.json create replicationControllers[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c redis-slave-service.json create services
然后通過list命令可知新建的redis-slave Pod根據(jù)調(diào)度算法調(diào)度到兩臺minion上，服務IP為10.10.10.92，端口為6379
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list podsName Image(s) Host Labels Status---------- ---------- ---------- ---------- ----------redis-master dockerfile/redis 192.168.230.4/ name=redis-master Running8c0ddbda-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.5/ name=redisslave,uses=redis-master Running8c0e1430-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.4/ name=redisslave,uses=redis-master Running[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list servicesName Labels Selector IP Port---------- ---------- ---------- ---------- ----------redisslave name=redisslave name=redisslave 10.10.10.92 6379kubernetes component=apiserver,provider=kubernetes 10.10.10.161 443kubernetes-ro component=apiserver,provider=kubernetes 10.10.10.207 80redis-master name=redis-master name=redis-master 10.10.10.206 6379
在創(chuàng)建之前修改frontend-controller.json的Replicas數(shù)量為2，這是因為我們的集群中只有2臺minion，如果按照frontend-controller.json的Replicas默認值3，那會導致有2個Pod會調(diào)度到同一臺minion上，產(chǎn)生端口沖突，有一個Pod會一直處于pending狀態(tài)，不能被調(diào)度。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c frontend-controller.json create replicationControllers[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 -c frontend-service.json create services
通過查看可知Frontend Pod也被調(diào)度到兩臺minion，服務IP為10.10.10.220，端口是80。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list podsName Image(s) Host Labels Status---------- ---------- ---------- ---------- ----------redis-master dockerfile/redis 192.168.230.4/ name=redis-master Running8c0ddbda-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.5/ name=redisslave,uses=redis-master Running8c0e1430-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.4/ name=redisslave,uses=redis-master Runninga880b119-7295-11e4-8233-000c297db206 brendanburns/php-redis 192.168.230.4/ name=frontend,uses=redisslave,redis-master Runninga881674d-7295-11e4-8233-000c297db206 brendanburns/php-redis 192.168.230.5/ name=frontend,uses=redisslave,redis-master Running[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list servicesName Labels Selector IP Port---------- ---------- ---------- ---------- ----------kubernetes-ro component=apiserver,provider=kubernetes 10.10.10.207 80redis-master name=redis-master name=redis-master 10.10.10.206 6379redisslave name=redisslave name=redisslave 10.10.10.92 6379frontend name=frontend name=frontend 10.10.10.220 80kubernetes component=apiserver,provider=kubernetes 10.10.10.161 443
除此之外，你可以刪除Pod、Service及更新ReplicationController的Replicas數(shù)量等操作，如刪除Frontend服務：
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 delete services/frontendStatus----------Success
還可以更新ReplicationController的Replicas的數(shù)量，下面是更新Replicas之前ReplicationController的信息。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list replicationControllersName Image(s) Selector Replicas---------- ---------- ---------- ----------redisSlaveController brendanburns/redis-slave name=redisslave 2frontendController brendanburns/php-redis name=frontend 2
現(xiàn)在我們想把frontendController的Replicas更新為1，則這行如下命令，然后再通過上面的命令查看frontendController信息，發(fā)現(xiàn)Replicas已變?yōu)?。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 resize frontendController 1[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list replicationControllersName Image(s) Selector Replicas---------- ---------- ---------- ----------redisSlaveController brendanburns/redis-slave name=redisslave 2frontendController brendanburns/php-redis name=frontend 1
完成上面的操作后，我們來看當前Kubernetes集群中運行著的Pod信息。
[root@kubernetes guestbook]# kubecfg -h http://192.168.230.3:8080 list podsName Image(s) Host Labels Status---------- ---------- ---------- ---------- ----------a881674d-7295-11e4-8233-000c297db206 brendanburns/php-redis 192.168.230.5/ name=frontend,uses=redisslave,redis-master Runningredis-master dockerfile/redis 192.168.230.4/ name=redis-master Running8c0ddbda-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.5/ name=redisslave,uses=redis-master Running8c0e1430-728c-11e4-8233-000c297db206 brendanburns/redis-slave 192.168.230.4/ name=redisslave,uses=redis-master Running
通過上面的結(jié)果可知當前提供前端服務的PHP和提供數(shù)據(jù)存儲的后端服務Redis master的Pod分別運行在192.168.230.5和192.168.230.4上，即容器運行在不同主機上，還有Redis slave也運行在兩臺不同的主機上，它會從Redis master同步前端寫入Redis master的數(shù)據(jù)。下面我們從兩方面驗證Kubernetes能提供跨機器間容器的通信：
在瀏覽器打開http://${IPAddress}:8000，IPAddress為PHP容器運行的minion的IP地址，其暴漏的端口為8000，這里IP_Address為192.168.230.5。打開瀏覽器會顯示如下信息：
你可以輸入信息并提交，如"Hello Kubernetes"、"Container"，然后Submit按鈕下方會顯示你輸入的信息。
從上面的結(jié)果，可得知已經(jīng)實現(xiàn)了跨機器的通信，現(xiàn)在我們從后端數(shù)據(jù)層驗證不同機器容器間的通信。根據(jù)上面的輸出結(jié)果發(fā)現(xiàn)Redis slave和Redis master分別調(diào)度到兩臺不同的minion上，在192.168.230.4主機上執(zhí)行docker exec -ti c41711cc8971 /bin/sh，c41711cc8971是Redis master的容器ID，進入容器后通過redis-cli命令查看從瀏覽器輸入的信息如下：
如果我們在192.168.230.5上運行的Redis slave容器里查到跟Redis master容器里相同的信息，那說明Redis master和Redis slave之間的數(shù)據(jù)同步正常工作，下面是從192.168.230.5上運行的Redis slave容器查詢到的信息：
由此可見Redis master和Redis slave之間數(shù)據(jù)同步正常，OVS GRE隧道技術(shù)使得跨機器間容器正常通信。
本文主要介紹如何在本地環(huán)境部署Kubernetes集群和演示如何通過Kubernetes管理集群中運行的容器，并通過OVS管理集群不同minion的Pod之間的網(wǎng)絡通信。接下來會對Kubernetes各個組件源碼進行詳細分析，闡述Kubernetes的工作原理。
楊章顯，現(xiàn)就職于Cisco，主要從事WebEx SaaS服務運維，系統(tǒng)性能分析等工作。特別關注云計算，自動化運維，部署等技術(shù)，尤其是Go、OpenvSwitch、Docker及其生態(tài)圈技術(shù)，如Kubernetes、Flocker等Docker相關開源項目。Email: yangzhangxian@gmail.com
