本文是根據(jù)魅族科技大數(shù)據(jù)平臺架構(gòu)師趙天爍3月31日在msup攜手魅族主辦的第十二期魅族技術(shù)開放日《魅族大數(shù)據(jù)可視化平臺建設(shè)之路》演講中的分享內(nèi)容整理而成。
內(nèi)容簡介：本文主要從現(xiàn)狀&問題、當(dāng)前目標(biāo)、實(shí)現(xiàn)方案三個方面介紹了可視化平臺的建設(shè)之路。
大數(shù)據(jù)可視化的解決方案，與普遍意義理解的數(shù)據(jù)可視化不同，其面臨的問題又分兩個不同的層面：一是數(shù)據(jù)層；二是可視化層。
1. 數(shù)據(jù)接入
即如何把不同渠道、不同格式的數(shù)據(jù)接入進(jìn)來，原始數(shù)據(jù)不標(biāo)準(zhǔn)的結(jié)構(gòu)化信息，不可以直接做可視化。
2. 數(shù)據(jù)質(zhì)量
即保證元數(shù)據(jù)指標(biāo)清晰、數(shù)據(jù)內(nèi)容直觀、數(shù)據(jù)無誤，使關(guān)心業(yè)務(wù)、關(guān)心數(shù)據(jù)的人得到數(shù)據(jù)里面的價值。
3. 數(shù)據(jù)查詢
大數(shù)據(jù)的呈現(xiàn)下，性能查詢、數(shù)據(jù)的實(shí)施，如何解決大規(guī)模計算帶來的可視化挑戰(zhàn)，包括易用性、數(shù)據(jù)更新的頻率，特別是大數(shù)據(jù)場景下，數(shù)據(jù)更新頻次非常高，這些都是全新的問題。
4. 數(shù)據(jù)安全
做大數(shù)據(jù)的人群，基本上都會建一個數(shù)據(jù)中臺，但不同業(yè)務(wù)層面的整體的數(shù)據(jù)倉庫一旦將不同來源的數(shù)據(jù)匯集到一起，權(quán)限的問題是避不開的，不同的業(yè)務(wù)團(tuán)隊及角色之間根據(jù)業(yè)務(wù)場景的不同，都有非常大的差異。如何去指標(biāo)維度級的鑒權(quán)、行級、列級鑒權(quán)，還有公司內(nèi)部數(shù)據(jù)交換的時候如何做脫敏都是我們面臨的問題。權(quán)限的控制有兩種，一是直接鑒權(quán)，二是后置審計。
1. 組件
大數(shù)據(jù)可視化過程中，我們要思考如何用組件化的方式做條件樣式、聯(lián)動、自定義的方式支持專業(yè)用戶的可視化。
2. 功能特性
我們應(yīng)思考如何做到常見的維度切換、自由排版、區(qū)域分組聯(lián)動，最終使整個數(shù)據(jù)可視化呈現(xiàn)形成一個活的頁面，更為關(guān)鍵的是，如何將分析的思路套進(jìn)去。以期實(shí)現(xiàn)通過可視化平臺把相關(guān)的數(shù)據(jù)思維與業(yè)務(wù)相結(jié)合，將專業(yè)用戶的分析思路和視角用一種平臺化的方式傳遞給業(yè)務(wù)同事，使分析的思路可復(fù)用化。
3. 預(yù)警和通知
我們希望將關(guān)鍵性的指標(biāo)直接規(guī)則化，甚至系統(tǒng)內(nèi)置，跟元數(shù)據(jù)平臺做打通，通過元數(shù)據(jù)第一時間指示核心指標(biāo)的異常波動，第一時間推送給相關(guān)的人員。
4. 多終端
多終端是體驗(yàn)層面的提升，我們不僅希望做PC端的網(wǎng)頁頁面和移動端APP的數(shù)據(jù)查看，還希望做行業(yè)級數(shù)據(jù)報告（不一定外發(fā)），內(nèi)部傳遞形成一個可復(fù)用的產(chǎn)品，把數(shù)據(jù)的價值用更直觀、更互動性的方式呈現(xiàn)出來，最后實(shí)現(xiàn)多端分享和互動。
1. 基礎(chǔ)功能
基礎(chǔ)功能就是常見數(shù)據(jù)源的支持。
2. 靈活擴(kuò)展
靈活擴(kuò)展可用于解決前置數(shù)據(jù)層面的接入，80%的問題用平臺化的方式解決，20%的問題提供插件化或者擴(kuò)展的機(jī)制，即二八原則。
3. 體驗(yàn)優(yōu)化
數(shù)據(jù)可視化不是C端服務(wù)，是專業(yè)的應(yīng)用場景。關(guān)注點(diǎn)在功能和滿足業(yè)務(wù)訴求的層面，先談能解決，再談解決的好壞。
4. 平臺集成
我們希望魅族平臺不只解決數(shù)據(jù)可視化問題，對于如何把數(shù)據(jù)從底層公共架構(gòu)模型里面一層層剝下來，也是我們需要解決的問題。
5. 場景封裝
二八原則解決所有的業(yè)務(wù)后，接下來面臨的問題是場景的封裝和深入。解決了第一層的呈現(xiàn)問題以后，把數(shù)據(jù)化運(yùn)營的思路貫穿在數(shù)據(jù)可視化的最終結(jié)果里面，就是場景化的垂直封裝。
我們做的是一個組件、是一個工具、是一個平臺還是一個解決方案還是生態(tài)？在實(shí)際做決策的時候，前面三部分，甚至第四部分是都是要考慮到的，它會影響我們職業(yè)的里程碑。
最終決策的是結(jié)論，我們結(jié)論的優(yōu)先級如下：
1、滿足基礎(chǔ)功能
2、有可擴(kuò)展性、二八原則，至少解決所有業(yè)務(wù)
3、工具優(yōu)先于平臺，先是工具，然后用平臺化的思路解決整個數(shù)據(jù)流轉(zhuǎn)過程中的價值變化問題
4、上下游的集成
1. 定制
正因?yàn)槭袌錾?，很多商業(yè)化產(chǎn)品并非銷售所說的那么優(yōu)異。魅族的可視化類型又要做一些特別細(xì)粒度的優(yōu)化，所以我們基于這個考慮，為快速響應(yīng)、滿足自身的需求，優(yōu)化自身的資源，我們采用少花錢的原則。畢竟商業(yè)化產(chǎn)品要付費(fèi)，額外的定制費(fèi)用同樣不菲。
2. 產(chǎn)品集成
數(shù)據(jù)可視化平臺希望和魅族平臺做深度的集成。當(dāng)公司面臨重大階段性問題的時候，如果只做簡單的服務(wù)是不行的，所以我們首先要重視數(shù)據(jù)安全集成問題。
其次，分析引擎的集成問題也是我們要關(guān)注的。大多數(shù)做數(shù)據(jù)可視化不一定有分析引擎的能力，異構(gòu)數(shù)據(jù)源的介入最常見的做法是給一個接入層，做簡單的驅(qū)動接入或者連接的配置，最后的查驗(yàn)性能非常差。尤其多維分析，對大寬表的處理、高維數(shù)據(jù)的降維可視化。所以分析引擎我們也是自己來進(jìn)行定制、接入，我們內(nèi)部數(shù)據(jù)庫的引擎，基于Hadoop生態(tài)有Hadoop或者這之上引入的開源場景等各種各樣的類型。
最后，我們還要關(guān)注數(shù)據(jù)化運(yùn)營產(chǎn)品的集成。比如我們的推薦平臺、數(shù)據(jù)開放平臺、精準(zhǔn)營銷平臺、廣告等，都會涉及數(shù)據(jù)可視化的內(nèi)容，也都會借助數(shù)據(jù)可視化的能力。只不過在某個特定的業(yè)務(wù)場景里面有這個訴求，包括機(jī)器學(xué)習(xí)、圖象識別等標(biāo)簽的結(jié)果，都跟數(shù)據(jù)可視化有關(guān)系。很多商業(yè)化的產(chǎn)品，在這個維度一定要定制開發(fā)，內(nèi)部系統(tǒng)有些歷史包袱或者設(shè)計上的傳帶問題，都很難商業(yè)化做通用。
3. 復(fù)用
多點(diǎn)、大屏、PC、移動端等都可以頁面復(fù)用?？梢暬慕M件可以復(fù)用，可視化的區(qū)塊在不同的業(yè)務(wù)場景里面都能用。這個復(fù)用不一定是平臺級的復(fù)用，甚至可以做讓業(yè)務(wù)系統(tǒng)、做區(qū)塊級的可視化集成。數(shù)據(jù)接口層面的集成，既然對接公司的分析引擎，有統(tǒng)一的分析入口，完全可以做數(shù)據(jù)服務(wù)化。可視化平臺在魅族最終并不是簡單的呈現(xiàn)，下面集成的分析引擎，下面對接的元數(shù)據(jù)，各級的服務(wù)都可以拆分做服務(wù)化和平臺化。
4. 快速響應(yīng)
如何高效效應(yīng)，是我們非常關(guān)注的點(diǎn)。同時解決上述提到的問題都可以高效響應(yīng)。
上面談到不用商業(yè)化產(chǎn)品的原因，現(xiàn)在我們來具體的分析如何解決此問題。關(guān)于數(shù)據(jù)層，數(shù)據(jù)接入和質(zhì)量、安全均是由大數(shù)據(jù)基礎(chǔ)平臺解決，我們更關(guān)注的是右邊的數(shù)據(jù)訪問層。
數(shù)據(jù)訪問層在魅族內(nèi)部有如下幾個不同類型的引擎：
實(shí)時計算中Spark Streaming、Storm、Tindex，Tindex均可以對時序做得很好。
Vertica不便宜，成本也很高，正在被慢慢替換掉。隨著業(yè)務(wù)的增長，定制化的需求會逐漸增長，我們開始使用Kylin。Kylin的優(yōu)勢是去做OLAP分析，多維數(shù)據(jù)直接聚合，它是預(yù)計算的模式，性能比較好；劣勢是實(shí)時性較差。我們基Kylin做了一些定制，主力還是離線計算；此外，它不太擅長做大范圍、高基維的排序和模糊檢索，因?yàn)樗讓踊诖鎯κ荋base，所以對模糊檢索并不是特別適合。我們做內(nèi)部統(tǒng)一查詢?nèi)肟诘臅r候，會考慮Kylin社區(qū)當(dāng)前的動線和我們有哪些異同。
右邊的兩個查詢，一個是即系查詢，第二個是TIDB基于Google的LE有一個商業(yè)化公司做分布式商業(yè)化解決方案。Kylin預(yù)計常見的并發(fā)度會高一些，甚至可以優(yōu)化ETL過程。
對于我們是否要引入統(tǒng)一的SQL訪問層，我認(rèn)為有利也有弊。優(yōu)處在于可以權(quán)限過濾、日志審計、請求路由、性能優(yōu)化、標(biāo)準(zhǔn)化；弊端在于它的成本高、周期長、兼容性、遷移成本、必要性。
對于魅族來說，由于SQL成本太高，所以我們目前選擇不做SQL。固定的研發(fā)周期，對于我們來說還是很困難的。所以我們最后做了統(tǒng)一概念模型，字段、指標(biāo)、維度、參數(shù)、動態(tài)條件、分頁、導(dǎo)出這幾個訴求，是數(shù)據(jù)訪問層里面常見的訴求。
如果要做數(shù)據(jù)挖掘和數(shù)據(jù)科學(xué)維度，SQL語言便無法滿足此要求，這時就要對接一個技術(shù)生態(tài)。集成一些parcel的組件的庫，把這些抽象的模型做成parcen的組件，只管最后的輸入、輸出。魅族當(dāng)前已經(jīng)開始著手做統(tǒng)一的SQL訪問層，只用SQL解決傳統(tǒng)數(shù)據(jù)分析領(lǐng)域的問題。
數(shù)據(jù)交換和模型集市，是數(shù)據(jù)可視化平臺和元數(shù)據(jù)平臺緊密合作做出來的東西。對于指標(biāo)邏輯的梳理跟元數(shù)據(jù)一致性的控制較難把控，它的做法是把底層的東西做元數(shù)據(jù)打磨，導(dǎo)到元數(shù)據(jù)平臺，形成模型集市。
如果大家對數(shù)據(jù)可視化相關(guān)的東西有訴求，但是短期之內(nèi)限于成本，也不想建團(tuán)隊開發(fā)平臺，也不想買商業(yè)化的產(chǎn)品，我給大家推薦兩個免費(fèi)軟件。
首先推薦Superset。它的展示類型非常豐富、功能也很全面，而且它對權(quán)限的解決做得很深入。
很多開源的可視化解決方案并沒有處理權(quán)限問題，但是這個軟件可以做數(shù)據(jù)分析和挖掘，可以動態(tài)調(diào)一些指標(biāo)、模型，包括做簡單的降維處理等。
接下來，我們要推薦的軟件是Metabase，它在交互、視覺設(shè)計跟友好度上會比Superset要強(qiáng)，雖然功能沒有Superset那么豐富，可視化的類型也不如Superset多，但它的設(shè)計和體驗(yàn)驅(qū)動較好，所以純運(yùn)營產(chǎn)品的同學(xué)用起來會是一款很不錯的工具，它能夠做數(shù)據(jù)的多維轉(zhuǎn)取、檢索、查詢、機(jī)器分析。
為了幫助大家更好的做選型，我將上述的兩個軟件做了全面的對比。
Superset的優(yōu)勢是可視化類型豐富、探索式分析+可視化、Dashboard構(gòu)建、SQL編輯器、權(quán)限控制完善、開箱即用、支持主流數(shù)據(jù)源。劣勢是自定義SQL的語義層、封裝不完善、交互體驗(yàn)復(fù)雜、可視化效果一般。
Metabase的優(yōu)勢是探索式分析+可視化、可構(gòu)建Dashboard、開箱即用、交互體驗(yàn)簡潔實(shí)用、設(shè)計的完成度高、支持主流數(shù)據(jù)源、SQL編輯器。劣勢是可視化類型較少，探索式分析自由度有限、權(quán)限控制比較簡單。
在開源技術(shù)選型的時候，除了上述外，社區(qū)活躍度、版本更新的頻率、因素解決的頻率，會比所有的功能都重要。
魅族選擇開源的產(chǎn)品，可視化的封裝，要和成本、標(biāo)準(zhǔn)化定義和定制化需求做權(quán)衡，因?yàn)槲覀兊倪x擇直接決定了平臺產(chǎn)品的邊界和未來的走線。
魅族在實(shí)施具體方案時，可視化層遵循二八原則，80%用常用區(qū)塊類型、視覺主題、布局結(jié)構(gòu)、功能特性。
下面三張圖是思維導(dǎo)圖，第一張圖是區(qū)塊的類型、視覺主題、布局結(jié)構(gòu)，下面的兩張圖是常用功能及擴(kuò)展，這三張圖反映了當(dāng)前數(shù)據(jù)可視化平臺面臨的所有細(xì)節(jié)問題和選型的細(xì)節(jié)。
下圖反映了我們在布局結(jié)構(gòu)中，曾走過的彎路。
布局結(jié)構(gòu)是基于網(wǎng)格的布局結(jié)構(gòu)，盡量不要做絕對布局。
最后我們來看一下集成服務(wù)化的問題，既然做統(tǒng)一概念模型，就可以變成服務(wù)化的平臺。
上層可視化中需要的數(shù)據(jù)級和查詢，都可以封裝成一些服務(wù)，通過ID去指定查詢的數(shù)據(jù)級。除了給可視化平臺用，它還可以直接變成數(shù)據(jù)服務(wù)化的體系。
可視化的SDK也可以做封裝，它還可以開發(fā)業(yè)務(wù)系統(tǒng)，加強(qiáng)布局結(jié)構(gòu)導(dǎo)航。
把統(tǒng)一的概念模型，定義在可視化平臺里面做檢索和展現(xiàn)，最終可形成數(shù)據(jù)超市。
權(quán)限平臺的集成，并不是核心的點(diǎn)，它是做權(quán)限集成的。
以上內(nèi)容來自趙天爍老師的分享。
