經(jīng)過(guò)二十多年的研究和開(kāi)發(fā)，事件流處理（ESP）軟件平臺(tái)已不再局限于在小生境應(yīng)用或?qū)嶒?yàn)中使用。它們已經(jīng)成為許多業(yè)務(wù)環(huán)境中實(shí)時(shí)分析的基本工具。
其動(dòng)機(jī)來(lái)自需要分析的流數(shù)據(jù)量激增，特別是：
早在20世紀(jì)90年代，學(xué)術(shù)界就開(kāi)始構(gòu)建開(kāi)發(fā)人員可以用來(lái)構(gòu)建和部署流分析應(yīng)用程序（當(dāng)時(shí)稱為復(fù)雜事件處理（CEP））的通用ESP平臺(tái)，但在2010年之前，只有少數(shù)商業(yè)產(chǎn)品可用。它們主要用于金融交易所的高速交易系統(tǒng)和政府機(jī)構(gòu)的情報(bào)應(yīng)用。
在過(guò)去的九年中，商業(yè)和開(kāi)源ESP平臺(tái)的數(shù)量已經(jīng)從少數(shù)增長(zhǎng)到40多個(gè)。本文總結(jié)了該軟件的八個(gè)主要趨勢(shì)。
——幾乎所有主要軟件供應(yīng)商都提供一個(gè)或多個(gè)ESP產(chǎn)品（見(jiàn)下面的列表）。供應(yīng)商意識(shí)到流式數(shù)據(jù)只會(huì)越來(lái)越豐富，越來(lái)越多的業(yè)務(wù)應(yīng)用程序需要能夠?qū)崟r(shí)或接近實(shí)時(shí)地處理這些數(shù)據(jù)。
——幾年前，我們預(yù)測(cè)物聯(lián)網(wǎng)將成為ESP的殺手級(jí)應(yīng)用（實(shí)際上是殺手級(jí)應(yīng)用，因?yàn)槲锫?lián)網(wǎng)是數(shù)百種不同的應(yīng)用，而不是一種）。事實(shí)證明就是這樣。大多數(shù)物聯(lián)網(wǎng)應(yīng)用程序處理傳感器數(shù)據(jù)，傳感器數(shù)據(jù)作為實(shí)時(shí)事件流生成。我們看到的所有物聯(lián)網(wǎng)平臺(tái)套件都包括一個(gè)ESP平臺(tái)作為產(chǎn)品的一部分。大多數(shù)物聯(lián)網(wǎng)平臺(tái)供應(yīng)商明智地選擇利用其通用ESP產(chǎn)品，而不是僅僅為了嵌入物聯(lián)網(wǎng)平臺(tái)而編寫新的ESP平臺(tái)。
——許多物聯(lián)網(wǎng)應(yīng)用程序的默認(rèn)架構(gòu)是在邊緣或邊緣附近運(yùn)行流分析，以接近事件源。物聯(lián)網(wǎng)事件的來(lái)源包括傳感器、儀表、數(shù)字控制系統(tǒng)（DCSs）、監(jiān)控和數(shù)據(jù)訪問(wèn)（SCADA）系統(tǒng)以及連接到DCSs或SCADA系統(tǒng)的歷史數(shù)據(jù)庫(kù)。在某些情況下，ESP在網(wǎng)關(guān)、路由器、卡車、汽車或火車上運(yùn)行，甚至在終端設(shè)備中運(yùn)行。在邊緣或靠近邊緣的地方運(yùn)行ESP有很多好的理由：對(duì)不斷變化的條件做出快速響應(yīng)的較低延遲；較少的網(wǎng)絡(luò)開(kāi)銷；以及更高的可用性（由于網(wǎng)絡(luò)關(guān)閉或云服務(wù)器關(guān)閉，您負(fù)擔(dān)不起讓工廠、車輛或其他機(jī)器無(wú)法運(yùn)行）。這就產(chǎn)生了層次結(jié)構(gòu)，其中初始流處理是在邊緣上完成的，然后處理和抽象事件的子集被轉(zhuǎn)發(fā)到云或數(shù)據(jù)中心，在云或數(shù)據(jù)中心中完成另一層流處理。
——幾乎所有ESP產(chǎn)品都可以在公共或云基礎(chǔ)設(shè)施即服務(wù)（IaaS）上運(yùn)行。越來(lái)越多的供應(yīng)商，包括Amazon Web Services、Google、IBM、Microsoft、Salesforce、SQLstream等，為那些不想管理自己的云ESP服務(wù)的公司提供ESP即平臺(tái)即服務(wù)（PaaS）。此外，幾乎所有具有嵌入式ESP平臺(tái)的物聯(lián)網(wǎng)套件都是有效的ESP PaaS提供商。
——過(guò)去六年上市的許多ESP平臺(tái)可以稱為分布式流計(jì)算平臺(tái)（DSCP），因?yàn)樗鼈儗⒐ぷ髫?fù)載分散在多個(gè)服務(wù)器上。如果特定的應(yīng)用程序允許數(shù)據(jù)并行操作，則傳入的數(shù)據(jù)將被分片并分發(fā)給多個(gè)工作者，從而實(shí)現(xiàn)更高的吞吐量（每秒更多事件）。其他類型的ESP平臺(tái)也可以設(shè)置為跨多個(gè)節(jié)點(diǎn)分發(fā)工作，但它們需要更多的編程來(lái)實(shí)現(xiàn)這一點(diǎn)。
——許多供應(yīng)商正在將機(jī)器學(xué)習(xí)（ML）或業(yè)務(wù)規(guī)則引擎集成到其ESP平臺(tái)的過(guò)程中。ML庫(kù)（如評(píng)分服務(wù)）可以嵌入到事件處理流中。早期的ESP平臺(tái)通常僅限于用戶定義的功能（例如，用Java或供應(yīng)商專有的事件處理語(yǔ)言編寫），而不支持現(xiàn)成的分析。
——開(kāi)源運(yùn)動(dòng)在過(guò)去五年中對(duì)流處理產(chǎn)生了重大影響，正如它影響了其他軟件技術(shù)一樣。開(kāi)源有兩種截然不同的風(fēng)格：
主要來(lái)自GitHub/Apache，使開(kāi)發(fā)人員能夠在不支付許可費(fèi)的情況下構(gòu)建和運(yùn)行應(yīng)用程序。它們?nèi)狈ι虡I(yè)支持，開(kāi)發(fā)設(shè)施和管理工具有限，與外部源和匯的連接很少。但是，對(duì)于入門、學(xué)習(xí)事件處理以及構(gòu)建小型或臨時(shí)應(yīng)用程序來(lái)說(shuō)，它們是很好的。在少數(shù)情況下，高度熟練的開(kāi)發(fā)團(tuán)隊(duì)已經(jīng)在這些產(chǎn)品上構(gòu)建了大型的、關(guān)鍵任務(wù)的應(yīng)用程序。免費(fèi)開(kāi)源產(chǎn)品及其主要貢獻(xiàn)者的示例包括：
使用上述開(kāi)源產(chǎn)品，并添加專有增值功能。這些都有商業(yè)支持，因此它們吸引那些規(guī)避風(fēng)險(xiǎn)、愿意支付許可證、維護(hù)費(fèi)或訂閱費(fèi)的大企業(yè)。它們通常還具有更好的開(kāi)發(fā)和管理工具，以及到更多外部系統(tǒng)的連接器。很多都有實(shí)時(shí)的儀表盤；有些有安全擴(kuò)展或更改數(shù)據(jù)捕獲（CDC）適配器。這些產(chǎn)品的成本與完全專有的ESP產(chǎn)品一樣高，而且它們將應(yīng)用程序鎖定在與完全專有的產(chǎn)品幾乎相同的位置。然而，購(gòu)買者喜歡（部分）開(kāi)源的光環(huán)，而且這些產(chǎn)品中的許多都具有一套很好的現(xiàn)代特性。供應(yīng)商喜歡open core，因?yàn)樗麄儾槐刈约洪_(kāi)發(fā)整個(gè)產(chǎn)品，所以他們可以將資源集中在產(chǎn)品差異化的擴(kuò)展上。示例包括：
包括Software AG（Apama）和WSO2（Stream Processor），也將其ESP產(chǎn)品作為開(kāi)源提供。
流數(shù)據(jù)集成（SDI），一種為SDI提供特殊功能的ESP（也稱為“實(shí)時(shí)ETL”）。它們用于實(shí)時(shí)、低延遲、大容量接收流式事件數(shù)據(jù)，或用于將大量數(shù)據(jù)從一個(gè)數(shù)據(jù)庫(kù)或文件移動(dòng)到另一個(gè)數(shù)據(jù)庫(kù)或文件。專注于SDI的產(chǎn)品為各種dbms、文件系統(tǒng)和消息傳遞系統(tǒng)（如Kafka、kinisis、Pulsar或其他）提供適配器。請(qǐng)注意，其他ESP產(chǎn)品（主要關(guān)注實(shí)時(shí)流分析）也經(jīng)常用于將事件數(shù)據(jù)放入數(shù)據(jù)庫(kù)或文件中（即，它們可以用于SDI，即使它們可能不具備SDI專家的所有數(shù)據(jù)集成功能）。相反，一些主要關(guān)注SDI的產(chǎn)品也能夠?qū)崟r(shí)流分析來(lái)驅(qū)動(dòng)儀表板、發(fā)送警報(bào)或觸發(fā)自動(dòng)響應(yīng)。其中一些產(chǎn)品與普通ESP平臺(tái)并沒(méi)有太大區(qū)別。以SDI為重點(diǎn)的產(chǎn)品示例包括：
這些平臺(tái)沒(méi)有在上面的開(kāi)源或SDI部分中列出：
原文：https://complexevents.com/2019/06/09/eight-trends-in-event-stream-processing-may-2019/
本文：http://jiagoushi.pro/node/984
討論:請(qǐng)加入知識(shí)星球或者微信圈子【首席架構(gòu)師圈】
聯(lián)系客服
