北京軟件開發(fā)公司Apache Flink實(shí)現(xiàn)的數(shù)據(jù)流體系結(jié)構(gòu)，data Artisans應(yīng)用程序工程總監(jiān)Jamie Grier較近在OSCON 2016 Conference大會發(fā)言談到了使用Apache Flink構(gòu)建的一種數(shù)據(jù)流體系結(jié)構(gòu)。同時還談到了數(shù)據(jù)流應(yīng)用程序的構(gòu)建塊。

　　數(shù)據(jù)流體系結(jié)構(gòu)可用于處理隨著時間流逝以事件流方式持續(xù)生成的數(shù)據(jù)，這一點(diǎn)不同于傳統(tǒng)的靜態(tài)數(shù)據(jù)集。相對于傳統(tǒng)的集中式“狀態(tài)化”數(shù)據(jù)庫和數(shù)據(jù)倉庫，數(shù)據(jù)流應(yīng)用程序可以處理事件流以及針對歷史事件匯總而來的應(yīng)用程序本地狀態(tài)。流式數(shù)據(jù)處理的一些優(yōu)勢包括：

　　降低從信號到?jīng)Q策的過程延遲

　　通過統(tǒng)一的方式處理實(shí)時和歷史數(shù)據(jù) 

　　Time travel查詢

　　Apache Flink是一種開源的分布式流化和批量化數(shù)據(jù)處理平臺。Flink的誕生受到了Google Data Flow模型的啟發(fā)，可支持Java和Scala語言開發(fā)的Stream Processing API。相比其他流式數(shù)據(jù)處理框架，F(xiàn)link中不存在微批量(Micro batching)數(shù)據(jù)，而是使用了一種“一次一條消息”的流處理技術(shù)。

　　Jamie介紹了狀態(tài)流處理并展示了Flink應(yīng)用程序的代碼范例，以及使用開源時序數(shù)據(jù)庫和Graphana可視化工具Influxdb進(jìn)行監(jiān)控的方法。

　　同時他還介紹了流處理過程中窗口(Windowing)的概念以及處理時間(Processing Time)和事件時間(Event Time)的窗口概念。處理時間的窗口會對流數(shù)據(jù)的分析產(chǎn)生影響，并會導(dǎo)致數(shù)據(jù)處理過程中出現(xiàn)某些錯誤。在事件時間方法中，窗口來自于數(shù)據(jù)，而非時鐘時間。對于事件時間，可通過數(shù)據(jù)嵌入的時間戳對數(shù)據(jù)進(jìn)行處理，這樣即可獲得更精確的結(jié)果。

　　Jamie還介紹了在應(yīng)用程序中使用Flink時的錯誤處理和容錯機(jī)制。Flink中的Savepoints功能可在不丟失任何狀態(tài)的情況下對程序和Flink集群進(jìn)行更新。如果要對實(shí)時數(shù)據(jù)進(jìn)行流處理，此時Savepoints數(shù)據(jù)快照會顯得非常重要。

　　如果你想詳細(xì)了解Apache Flink，可訪問他們的網(wǎng)站。此外Flink Forward 2016 Conference活動將于九月在柏林召開，提交提案的截止日期為2016年6月30日。