2018易觀 A10峰會(huì)將于10月26日-27日在京舉行，易觀算法大賽也在如火如荼地進(jìn)行中，本次大賽得到了選手們的踴躍參與。為了給認(rèn)真準(zhǔn)備大賽的選手們減減“壓”，今天特地給諸位參賽朋友們發(fā)福利啦。易觀算法大賽通關(guān)秘籍重磅來(lái)襲，還不趕緊來(lái)領(lǐng)！

▌賽題介紹

在了解通關(guān)秘籍前，當(dāng)然要介紹下我們大賽的主角——比賽賽題。本次大賽共設(shè)置了兩個(gè)賽題：漏斗計(jì)算和性別年齡預(yù)測(cè)。

什么是漏斗計(jì)算？漏斗計(jì)算是一套流程式數(shù)據(jù)分析，它能夠科學(xué)反映用戶行為狀態(tài)以及從起點(diǎn)到終點(diǎn)各階段用戶的轉(zhuǎn)化率情況。漏斗計(jì)算目前廣泛應(yīng)用于各行業(yè)流量監(jiān)控、產(chǎn)品目標(biāo)轉(zhuǎn)化等日常數(shù)據(jù)運(yùn)營(yíng)與數(shù)據(jù)分析的工作中。

例如在一個(gè)直播APP中，用戶從激活A(yù)PP開(kāi)始到花費(fèi)需要經(jīng)過(guò)激活A(yù)PP、注冊(cè)賬號(hào)、進(jìn)入直播間、互動(dòng)留言、禮物花費(fèi)這5大過(guò)程，用戶在每一個(gè)階段都會(huì)有不同程度的流失，這就是一個(gè)漏斗模型。而漏斗計(jì)算就是統(tǒng)計(jì)分析整個(gè)過(guò)程中用戶的轉(zhuǎn)化率和留存率，從而更直觀地發(fā)現(xiàn)問(wèn)題所在，明確優(yōu)化方向，及時(shí)提升產(chǎn)品用戶體驗(yàn)。

上屆算法大賽以“有序漏斗”作為挑戰(zhàn)賽題，而今年的賽題相比去年則更具挑戰(zhàn)性。在技術(shù)層面上，今年的“漏斗計(jì)算”在算法上增加了關(guān)聯(lián)屬性、虛擬事件、重復(fù)事件、轉(zhuǎn)換時(shí)間中位數(shù)等場(chǎng)景，更貼合實(shí)際的業(yè)務(wù)場(chǎng)景。

除了漏斗計(jì)算賽題，今年還新增設(shè)性別年齡預(yù)測(cè)賽題。相比廣為人知的漏斗計(jì)算，性別年齡預(yù)測(cè)賽題反而得到了更多選手的青睞。原來(lái)利用大數(shù)據(jù)可以預(yù)測(cè)用戶性別和年齡，這簡(jiǎn)直讓人不敢相信！

▌通關(guān)秘籍

說(shuō)完賽題介紹，接下來(lái)進(jìn)入重頭戲部分，本次大賽到底有何通關(guān)秘籍呢？

秘籍1：開(kāi)始比賽前，游戲規(guī)則你get到了嗎？

如果想打開(kāi)算法大賽的晉級(jí)大門(mén)，那肯定要先讀懂本次大賽的游戲規(guī)則，即大賽數(shù)據(jù)。數(shù)據(jù)是成為優(yōu)秀技術(shù)人才的基礎(chǔ)，是機(jī)器世界溝通交流的必備語(yǔ)言，是成功開(kāi)啟算法大賽的第一步。關(guān)于大賽數(shù)據(jù)，你讀懂了多少呢？

秘籍2：站在風(fēng)口上，豬都能飛起來(lái)

“我能取得今天的成功都是因?yàn)檎驹诹司奕说募绨蛏??！鄙蠈靡子^算法大賽冠軍的實(shí)戰(zhàn)分享對(duì)你絕對(duì)有幫助。他建議選手們要認(rèn)真研究大賽賽題，注意細(xì)節(jié)點(diǎn)。此外，在測(cè)試數(shù)據(jù)時(shí)選好合適的數(shù)據(jù)庫(kù)。ClickHouse數(shù)據(jù)庫(kù)就是一個(gè)不錯(cuò)的選擇，它是目前CPU領(lǐng)域最快的OLAP開(kāi)源數(shù)據(jù)庫(kù)，系統(tǒng)架構(gòu)非常靈活，性能穩(wěn)定優(yōu)越，非常適合大數(shù)據(jù)下需要極致性能的應(yīng)用場(chǎng)景。

秘籍3：臨時(shí)抱佛腳，誰(shuí)說(shuō)沒(méi)有用

算法大賽火熱進(jìn)行中，如何奪冠你想好了嗎？在此小編特地采訪了易觀資深技術(shù)專家代立冬老師。

代老師提到，本次比賽添加了模擬實(shí)時(shí)數(shù)據(jù)流入部分，建議選手們對(duì)這部分?jǐn)?shù)據(jù)使用HBase、Kudu等做為實(shí)時(shí)數(shù)據(jù)緩存區(qū)，比賽前提供的更大量的數(shù)據(jù)做為歷史數(shù)據(jù)沉浸區(qū)。當(dāng)然數(shù)據(jù)格式遵循Common Data Model，為了更快速查詢，最好在Common Data Model基礎(chǔ)上建立相關(guān)索引。

此外，為實(shí)時(shí)數(shù)據(jù)緩存區(qū)和歷史數(shù)據(jù)沉浸區(qū)建立聯(lián)合視圖，用Presto自定義UDAF查詢聯(lián)合視圖,或者利用Spark等技術(shù)自定義相同邏輯。

最后，代老師友情提示，去年易觀的OLAP算法大賽漏斗代碼放在github上，選手們可以參考修改。同時(shí)選手們亦可參考去年奪得開(kāi)源組冠軍使用Clickhouse技術(shù)的實(shí)現(xiàn)。

總之，對(duì)于漏斗計(jì)算，選手們需要思考如何通過(guò)設(shè)計(jì)合理的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和較好的匹配查詢方式得出計(jì)算結(jié)果。易觀方舟在漏斗實(shí)踐中使用了IOTA架構(gòu)，關(guān)于IOTA架構(gòu)的更多介紹請(qǐng)參考：Lambda架構(gòu)已死，去ETL化的IOTA才是未來(lái)。也歡迎選手們進(jìn)入易觀“數(shù)據(jù)工會(huì)”群，大家共同交流。

最后，希望以上3個(gè)通關(guān)秘籍能助你一路狂奔，勇奪算法冠軍。未來(lái)的算法之星，期待你的精彩表現(xiàn)。10月26日-27日，在易觀A10大數(shù)據(jù)應(yīng)用峰會(huì)上，我們不見(jiàn)不散！

易觀算法大賽期待你的參與，詳情請(qǐng)前往官網(wǎng)：http://ds.analysys.cn/sf.html

2018易觀A10峰會(huì)

單日票新鮮出爐

26日，旅游、金融、零售行業(yè)大咖齊上陣

27日，國(guó)際國(guó)內(nèi)技術(shù)大牛同臺(tái)切磋

隨心組合

共享年度大數(shù)據(jù)巔峰盛典

戳這里，參與優(yōu)惠活動(dòng)吧～