10月26日-27日，2018易觀A10大數(shù)據(jù)應(yīng)用峰會(huì)在北京如期召開(kāi)，本次峰會(huì)以“數(shù)造未來(lái) 精益成長(zhǎng)”為主題。來(lái)自國(guó)內(nèi)外的大數(shù)據(jù)實(shí)踐者、資本掌舵人、企業(yè)家、技術(shù)大咖、運(yùn)營(yíng)專(zhuān)家、應(yīng)用開(kāi)發(fā)者以及知名媒體人齊聚一堂，共同討論和分享在數(shù)據(jù)驅(qū)動(dòng)下的企業(yè)精益成長(zhǎng)之道。

在10月27日上午舉行的易觀A10峰會(huì)數(shù)造未來(lái)主論壇上，易觀CTO郭煒做了題為《流動(dòng)水系數(shù)造未來(lái)》的主題演講，郭煒在演講中以自身豐富的技術(shù)從業(yè)經(jīng)驗(yàn)，為我們分享大數(shù)據(jù)下的數(shù)據(jù)難題以及應(yīng)對(duì)方法。以下為其演講實(shí)錄：

對(duì)于大數(shù)據(jù)，企業(yè)經(jīng)常會(huì)遇到這樣的問(wèn)題：大數(shù)據(jù)大而不強(qiáng)、人工智能人工而不智能。為什么這么講？過(guò)去我們?cè)谧龃髷?shù)據(jù)時(shí)，經(jīng)常把企業(yè)認(rèn)為有價(jià)值的數(shù)據(jù)都存在一起，但當(dāng)我們使用的時(shí)候，會(huì)發(fā)現(xiàn)隨著數(shù)據(jù)的沉積，越來(lái)越難以使用這些數(shù)據(jù)，為什么呢？因?yàn)殡S著時(shí)間的流逝，數(shù)據(jù)的定義、數(shù)據(jù)的格式、業(yè)務(wù)的含義已經(jīng)逐漸都發(fā)生變化，越來(lái)越不清晰。隨著時(shí)間的變化，我們的數(shù)據(jù)湖（Data Lake）最終變成了一片數(shù)據(jù)沼澤。

我相信很多企業(yè)都會(huì)遇到這樣的問(wèn)題，于是有些企業(yè)開(kāi)始做大數(shù)據(jù)治理。但真正數(shù)據(jù)治理非常困難，這是為什么呢？因?yàn)殚L(zhǎng)時(shí)間積累下來(lái)的數(shù)據(jù)，每次規(guī)整和刪除都非常痛苦，不知道哪個(gè)業(yè)務(wù)部門(mén)在使用它，不知道它真正的含義，或者將來(lái)是不是可以用到它。

每一次CTO和CIO都會(huì)遇到這個(gè)問(wèn)題，大數(shù)據(jù)的價(jià)值究竟在哪？感覺(jué)自己的大數(shù)據(jù)團(tuán)隊(duì)人員永遠(yuǎn)不足；感覺(jué)大數(shù)據(jù)存儲(chǔ)永遠(yuǎn)不夠；數(shù)據(jù)永遠(yuǎn)難以滿(mǎn)足業(yè)務(wù)分析維度，還有不統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)融入等等一系列問(wèn)題。

當(dāng)然易觀也遇到這樣的問(wèn)題，易觀SDK月活接近5.9個(gè)億，約6.8PB的數(shù)據(jù)存儲(chǔ)，目前我們已經(jīng)存儲(chǔ)到了90%。當(dāng)我找老板要服務(wù)器，跟老板匯報(bào)說(shuō)：“我們6.8PB數(shù)據(jù)已經(jīng)存滿(mǎn)，現(xiàn)在只能存儲(chǔ)不到一年數(shù)據(jù)，我們需要更多的存儲(chǔ)”，老板問(wèn)，“這些數(shù)據(jù)在哪里使用，有什么用？”而我還繼續(xù)說(shuō)，“下一步物聯(lián)網(wǎng)數(shù)據(jù)要來(lái)了，IOT數(shù)據(jù)的量級(jí)是我們現(xiàn)在移動(dòng)互聯(lián)網(wǎng)量級(jí)的10倍，還要多10倍的存儲(chǔ)”。老板睜大眼睛問(wèn)我說(shuō)，“郭煒啊，你覺(jué)得我們這些數(shù)據(jù)的價(jià)值在哪里？” 這是我們每一個(gè)CTO或者大數(shù)據(jù)總監(jiān)去跟老板要資源的時(shí)候都會(huì)遇到的問(wèn)題，那么我們?cè)撛趺唇鉀Q這個(gè)問(wèn)題？

答案就是我們要給企業(yè)做一個(gè)數(shù)據(jù)驅(qū)動(dòng)的中臺(tái)。很多企業(yè)都知道數(shù)據(jù)中臺(tái)的概念，認(rèn)為數(shù)據(jù)中臺(tái)就是把各種數(shù)據(jù)組件打包、把大數(shù)據(jù)存儲(chǔ)好即可。但是這樣做隨著時(shí)間積累，數(shù)據(jù)中臺(tái)就會(huì)從數(shù)據(jù)湖變成數(shù)據(jù)沼澤。怎么辦呢？我們的理論是提出一個(gè)數(shù)據(jù)河的概念。中國(guó)有句俗話叫“流水不腐，戶(hù)樞不蠹”，就是數(shù)據(jù)一定像河水一樣流動(dòng)起來(lái)，才不會(huì)產(chǎn)生瘀泥。

那數(shù)據(jù)河的概念是什么？數(shù)據(jù)河就是從數(shù)據(jù)產(chǎn)生端直接通過(guò)IOTA數(shù)據(jù)河實(shí)時(shí)流向數(shù)據(jù)使用者。這樣有個(gè)好處，每一個(gè)數(shù)據(jù)的發(fā)生者都會(huì)有一個(gè)使用者，而不是大家想象中說(shuō)這個(gè)數(shù)據(jù)很有用，但數(shù)據(jù)誰(shuí)用了我不知道，只是單純把它存儲(chǔ)下來(lái)。

這樣做，會(huì)帶來(lái)什么好處呢？數(shù)據(jù)的每一次產(chǎn)生和使用都是確定的，是否要存留是根據(jù)我們數(shù)據(jù)使用者的情況去做的。大家都在討論數(shù)據(jù)治理，這其實(shí)是一件非常痛苦的事。在10年前，我在IBM給一個(gè)數(shù)據(jù)銀行做數(shù)據(jù)治理，那個(gè)項(xiàng)目當(dāng)時(shí)耗費(fèi)了兩年多時(shí)間，數(shù)據(jù)治理是件很復(fù)雜的事。但當(dāng)我們變成數(shù)據(jù)河以后，我們可以通過(guò)飛輪驅(qū)動(dòng)效應(yīng)來(lái)實(shí)現(xiàn)大數(shù)據(jù)治理。

什么叫飛輪驅(qū)動(dòng)效應(yīng)？這個(gè)名詞來(lái)自于亞馬遜，意味著一個(gè)東西在轉(zhuǎn)起來(lái)的時(shí)候是自己驅(qū)動(dòng)自己在加速運(yùn)轉(zhuǎn)。數(shù)據(jù)的使用者特別關(guān)注最后數(shù)據(jù)產(chǎn)生時(shí)的樣子，所以當(dāng)你的河水發(fā)生污染，里面數(shù)據(jù)質(zhì)量不好的時(shí)候，不用擔(dān)心最后變成瘀泥的時(shí)候再治理會(huì)很難。你的數(shù)據(jù)使用者會(huì)第一時(shí)間告訴你：對(duì)不起，我們的數(shù)據(jù)有問(wèn)題。

當(dāng)把數(shù)據(jù)河放到整個(gè)企業(yè)的時(shí)候就會(huì)形成數(shù)據(jù)水生態(tài)。并不是說(shuō)一個(gè)企業(yè)自己一條河流或者一個(gè)水系就能把所有的河都治理好。大數(shù)據(jù)是開(kāi)放的，是要流動(dòng)的。所以我們?cè)谕獠繒?huì)有第三方合作伙伴，他們會(huì)把一些數(shù)據(jù)實(shí)時(shí)灌注到企業(yè)里，幫助把企業(yè)里的數(shù)據(jù)水系擴(kuò)充得更好。

再說(shuō)說(shuō)什么是IOTA架構(gòu)？大數(shù)據(jù)IOTA架構(gòu)是易觀今年年初提出的。我們所提倡的大數(shù)據(jù)不是存下來(lái)，而是實(shí)時(shí)流動(dòng)起來(lái)的。它分為幾部分，邊緣計(jì)算的SDK，統(tǒng)一數(shù)據(jù)模型，云端存儲(chǔ)于計(jì)算引擎。

IOTA架構(gòu)可以歸納以下4個(gè)特點(diǎn)：去ETL架構(gòu)；邊緣SDK計(jì)算；非結(jié)構(gòu)化實(shí)時(shí)轉(zhuǎn)化結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)；支持IOT設(shè)備。

大家過(guò)去在做大數(shù)據(jù)計(jì)算的時(shí)候，都要把它放到云端，放到一個(gè)平臺(tái)里面去算，但隨著我們手機(jī)端越來(lái)越強(qiáng)大，大家發(fā)現(xiàn)其實(shí)現(xiàn)在的手機(jī)可能就像5年前的電腦一樣強(qiáng)大。為什么我們還要把所有的數(shù)據(jù)放到云端去算？IOTA架構(gòu)給了大家一個(gè)答案，我們的數(shù)據(jù)其實(shí)在數(shù)據(jù)產(chǎn)生的時(shí)候就邊緣SDK計(jì)算了，在云端時(shí)只負(fù)責(zé)存儲(chǔ)和查詢(xún)。

而統(tǒng)一數(shù)據(jù)模型，就是IOTA架構(gòu)下自始至終從云端、計(jì)算端到最后使用端都是一套數(shù)據(jù)模型。 我舉一個(gè)大家在做用戶(hù)行為分析時(shí)會(huì)使用的模型，叫做主謂賓模型：就是誰(shuí)、什么時(shí)間、在哪、干了什么。比如，過(guò)去看移動(dòng)端用戶(hù)行為數(shù)據(jù)的時(shí)候，很簡(jiǎn)單，某一個(gè)用戶(hù)的ID在這個(gè)頁(yè)面點(diǎn)擊了這個(gè)按紐；而IOT時(shí)代，智能wifi去采集的時(shí)候也是一樣這個(gè)模型——可以看到用戶(hù)的MAC地址什么時(shí)間出現(xiàn)在哪一個(gè)樓層；對(duì)于人臉攝像頭來(lái)講也是如此，人臉的特征什么時(shí)間進(jìn)入某一個(gè)汽車(chē)站。同樣你會(huì)發(fā)現(xiàn)，在過(guò)去做各種各樣數(shù)據(jù)采集的時(shí)候，每一次都要在云端做ETL復(fù)雜的事情，而IOTA架構(gòu)把數(shù)據(jù)分散在數(shù)據(jù)產(chǎn)生端，就可以去解決在云端處理時(shí)的各種復(fù)雜情況。

當(dāng)然IOTA架構(gòu)也有它的缺點(diǎn)，就像我們前面提到，一個(gè)IOTA架構(gòu)的數(shù)據(jù)河只能處理一個(gè)主題域的數(shù)據(jù)，比如說(shuō)用戶(hù)行為的統(tǒng)一數(shù)據(jù)模型，對(duì)于另一個(gè)主題域我們會(huì)有另外一條IOTA的數(shù)據(jù)河讓它去處理，例如產(chǎn)品消費(fèi)和庫(kù)存。

IOTA架構(gòu)的好處就是在數(shù)據(jù)的產(chǎn)生端，直接實(shí)時(shí)傳送給最后的用戶(hù)行為分析人員去使用，而不是把它沉寂下來(lái)再看怎么去做，這樣直接提高了我們整個(gè)大數(shù)據(jù)的使用效率，實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動(dòng)的業(yè)務(wù)閉環(huán)。

易觀自己基于IOTA架構(gòu)開(kāi)發(fā)了一個(gè)實(shí)例，叫做易觀秒算，由底層邊緣的SDK到相關(guān)的數(shù)據(jù)接入子模塊，到查詢(xún)引擎支持前端應(yīng)用，目前已經(jīng)在易觀方舟ark.analysys.cn產(chǎn)品中使用。而昨天發(fā)布的企業(yè)成長(zhǎng)版易觀方舟就是基于企業(yè)生態(tài)水系實(shí)現(xiàn)營(yíng)銷(xiāo)閉環(huán)的數(shù)據(jù)平臺(tái)，它既有能采集到企業(yè)內(nèi)部的各種不同數(shù)據(jù)的SDK（手機(jī)端、小程序、H5、Java、Python等），也支持易觀或第三方任何一家的外部數(shù)據(jù)增補(bǔ)，還可以對(duì)接企業(yè)內(nèi)部的ERP、CRM數(shù)據(jù)。而底層的秒算引擎提供讓BI和大數(shù)據(jù)人員二次開(kāi)發(fā)的SQL接口，以便企業(yè)精細(xì)化運(yùn)營(yíng)閉環(huán)的各種分析和使用。

對(duì)于易觀方舟ark.analysys.cn來(lái)講，我們提供的是一個(gè)PAAS平臺(tái)，就像我們剛才說(shuō)的數(shù)據(jù)生態(tài)一樣，我們不認(rèn)為易觀一家就可以把這個(gè)平臺(tái)做好。所以易觀懷著非常開(kāi)放的心態(tài)愿意和大家合作。那么易觀能給大家提供什么呢？

易觀經(jīng)過(guò)18年的積累，已經(jīng)有三千多家企業(yè)客戶(hù)，我們?cè)敢夂痛蠹乙黄鸸蚕碣Y源。

易觀有豐富的數(shù)據(jù)資源，每個(gè)月月活5.9億設(shè)備的數(shù)據(jù)資源。希望有更多算法公司或者個(gè)人開(kāi)發(fā)者加盟到聯(lián)盟中，一起利用好這些數(shù)據(jù)。

易觀有IOTA架構(gòu)的方舟PAAS，大家可以在上面開(kāi)發(fā)自己的組件，易觀將幫助你們把這些組件打包賣(mài)給客戶(hù)實(shí)現(xiàn)盈利。

當(dāng)然，我們也有深入行業(yè)的各種業(yè)務(wù)分析場(chǎng)景。無(wú)論你是企業(yè)還是開(kāi)發(fā)者，我們都可以提供多種場(chǎng)景幫助大家解決相關(guān)商業(yè)問(wèn)題，與大家共同推進(jìn)國(guó)內(nèi)大數(shù)據(jù)生態(tài)發(fā)展。

在這，我也代表易觀，期待更多大數(shù)據(jù)開(kāi)發(fā)者和企業(yè)加盟，給國(guó)內(nèi)外企業(yè)提供更好的大數(shù)據(jù)服務(wù)。謝謝各位！