国产一级a片免费看高清,亚洲熟女中文字幕在线视频,黄三级高清在线播放,免费黄色视频在线看

flink是一款開源的大數(shù)據(jù)流式處理框架，他可以同時(shí)批處理和流處理，具有容錯(cuò)性、高吞吐、低延遲等優(yōu)勢(shì)，本文簡(jiǎn)述flink在windows和linux中安裝步驟，和示例程序的運(yùn)行。

首先要想運(yùn)行Flink，我們需要下載并解壓Flink的二進(jìn)制包，下載地址如下：https://flink.apache.org/downloads.html

我們可以選擇Flink與Scala結(jié)合版本，這里我們選擇最新的1.9版本Apache Flink 1.9.0 for Scala 2.12進(jìn)行下載。

下載成功后，在windows系統(tǒng)中可以通過Windows的bat文件或者Cygwin來(lái)運(yùn)行Flink。

在linux系統(tǒng)中分為單機(jī)，集群和Hadoop等多種情況。

通過Windows的bat文件運(yùn)行

首先啟動(dòng)cmd命令行窗口，進(jìn)入flink文件夾，運(yùn)行bin目錄下的start-cluster.bat

注意：運(yùn)行flink需要java環(huán)境，請(qǐng)確保系統(tǒng)已經(jīng)配置java環(huán)境變量。

$ cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.復(fù)制代碼

顯示啟動(dòng)成功后，我們?cè)跒g覽器訪問 http://localhost:8081/可以看到flink的管理頁(yè)面。

通過Cygwin運(yùn)行

Cygwin是一個(gè)在windows平臺(tái)上運(yùn)行的類UNIX模擬環(huán)境，官網(wǎng)下載：http://cygwin.com/install.html

安裝成功后，啟動(dòng)Cygwin終端，運(yùn)行start-cluster.sh腳本。

$ cd flink
$ bin/start-cluster.sh
Starting cluster.復(fù)制代碼

顯示啟動(dòng)成功后，我們?cè)跒g覽器訪問 http://localhost:8081/可以看到flink的管理頁(yè)面。

Linux系統(tǒng)上安裝flink

單節(jié)點(diǎn)安裝

在Linux上單節(jié)點(diǎn)安裝方式與cygwin一樣，下載Apache Flink 1.9.0 for Scala 2.12，然后解壓后只需要啟動(dòng)start-cluster.sh。

集群安裝

集群安裝分為以下幾步：

1、在每臺(tái)機(jī)器上復(fù)制解壓出來(lái)的flink目錄。

2、選擇一個(gè)作為master節(jié)點(diǎn)，然后修改所有機(jī)器conf/flink-conf.yaml

jobmanager.rpc.address = master主機(jī)名復(fù)制代碼

3、修改conf/slaves,將所有work節(jié)點(diǎn)寫入

work01
work02復(fù)制代碼

4、在master上啟動(dòng)集群

bin/start-cluster.sh復(fù)制代碼

安裝在Hadoop

我們可以選擇讓Flink運(yùn)行在Yarn集群上。

下載Flink for Hadoop的包

 保證 HADOOP_HOME已經(jīng)正確設(shè)置即可

啟動(dòng) bin/yarn-session.sh

運(yùn)行flink示例程序

批處理示例：

提交flink的批處理examples程序：

bin/flink run examples/batch/WordCount.jar復(fù)制代碼

這是flink提供的examples下的批處理例子程序，統(tǒng)計(jì)單詞個(gè)數(shù)。

$ bin/flink run examples/batch/WordCount.jar
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)
復(fù)制代碼

得到結(jié)果，這里統(tǒng)計(jì)的是默認(rèn)的數(shù)據(jù)集，可以通過--input --output指定輸入輸出。

我們可以在頁(yè)面中查看運(yùn)行的情況：

流處理示例：

啟動(dòng)nc服務(wù)器：

nc -l 9000復(fù)制代碼

提交flink的批處理examples程序：

bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000復(fù)制代碼

這是flink提供的examples下的流處理例子程序，接收socket數(shù)據(jù)傳入，統(tǒng)計(jì)單詞個(gè)數(shù)。

在nc端寫入單詞

$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye復(fù)制代碼

輸出在日志中

$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4復(fù)制代碼

停止flink

$ ./bin/stop-cluster.sh復(fù)制代碼

大數(shù)據(jù)實(shí)時(shí)處理的王者-Flink

更多實(shí)時(shí)計(jì)算,Flink,Kafka等相關(guān)技術(shù)博文，歡迎關(guān)注實(shí)時(shí)流式計(jì)算