大數(shù)據(jù)和人工智能主宰的時代,我們的生活、工作和思維都將發(fā)生重大變革。而數(shù)據(jù)和算法,作為推動大數(shù)據(jù)油輪前進的雙引擎,缺一不可,弱任何一方面都不足以馳騁。在我們?nèi)諠u充盈的海量的數(shù)據(jù)資源不斷積累的過程中,以算法為核心的技術(shù)能力能否適時跟上時代需求,成為當下大數(shù)據(jù)領(lǐng)域不得不面臨的現(xiàn)實問題。
針對“有序漏斗”難題進行行業(yè)攻堅的“2017易觀OLAP算法大賽”,自今年7月開通報名以來,已收到來自國內(nèi)20多個技術(shù)強隊和個人報名參加。目前比賽已進入到數(shù)據(jù)環(huán)境測試階段,為即將在10月跑bench mark(正式測試及案例)做熱身。
據(jù)悉,此次算法大賽的比賽規(guī)則是:根據(jù)主辦方提供的應用轉(zhuǎn)化和OLAP場景,參賽團隊給出具體的方案,先利用測試數(shù)據(jù)集在指定測試集群上運行給出測試結(jié)果, 最終易觀會用實際測試數(shù)據(jù)在測試集群上跑整體數(shù)據(jù)并給出用時排名。
此次算法大賽分為開源組和商業(yè)組,參賽選手分別來自國內(nèi)數(shù)據(jù)領(lǐng)域的知名企業(yè)以及高校團隊。開源組有來自小米、美團、熱云數(shù)據(jù)、原速數(shù)據(jù)、LinkDoc、huhu、樂享天下、牛辦科技、上海睿民以及北京交通大學的數(shù)據(jù)高手;商業(yè)組則包括咪咕音樂、南京帆軟軟件、北京樂見科技、杭州玳數(shù)科技、北京潤乾信息、Kyligence、AggreData、Gbase等企業(yè)的技術(shù)強隊。
為什么一場算法比賽,會聚集國內(nèi)如此多的數(shù)據(jù)高手和企業(yè)強隊?
這還得從“有序漏斗”說起。
移動互聯(lián)網(wǎng)在中國的發(fā)展繁盛,驅(qū)動產(chǎn)品迭代和運營的數(shù)據(jù)和算法成為企業(yè)爭相掌握的核心,不少公司甚至投入大量的人力和經(jīng)費,來潛心打造自家移動App的 “用戶行為分析”大數(shù)據(jù)工具。但最終目的基本大同小異,就是及時通過數(shù)據(jù)分析反饋來更好地優(yōu)化自家產(chǎn)品,比如查看日活和月活,查看渠道來源,提高留存、轉(zhuǎn)化和活躍度等。
而“有序漏斗”就是其中的技術(shù)門檻。作為大數(shù)據(jù)產(chǎn)品研發(fā)過程的一個核心需求,“有序漏斗”是幫助運營人員分析一個多步驟過程中每一步的轉(zhuǎn)化與流失情況。計算過程比較復雜,目前行業(yè)內(nèi)解決方案在數(shù)據(jù)量較大的情況下,往往效率很低。
易觀大數(shù)據(jù)工具研發(fā)已有五六年,在這過程中,也產(chǎn)生了諸如易觀千帆、易觀萬像這樣重量級的大數(shù)據(jù)產(chǎn)品。但計算效率仍舊是個問題,特別是面對越來越海量的數(shù)據(jù)計算需求,為解決這個行業(yè)難題,也為了更好地提升產(chǎn)品體驗,易觀決定將此需求對外公開,通過廣發(fā)英雄帖,招募國內(nèi)數(shù)據(jù)大牛一同攻堅克難破解“有序漏斗”難題。
大數(shù)據(jù)是時代趨勢,是整個人類社會發(fā)展的進程。經(jīng)歷過互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)階段的行業(yè)競爭和占位比拼。在大數(shù)據(jù)和人工智能時代,在以算法和數(shù)據(jù)為雙引擎的推進程中,則需要轉(zhuǎn)變思維,正如李彥宏在百度AI開發(fā)者大會上提到,“AI時代的開發(fā)者們不能再做孤膽英雄,大家要一起共享共贏。”大數(shù)據(jù)倡導共享流動,算法技術(shù)也應該提倡交流切磋,共同推進大數(shù)據(jù)時代引擎的基建完善。
數(shù)據(jù)和算法不光是雙引擎,他們還互相推動進步提升。更優(yōu)勢的算法技術(shù)能推動產(chǎn)生更多有價值的數(shù)據(jù),而大量的數(shù)據(jù)也會反歸來推動算法的不斷提升和成熟。截止2017年第二季度,易觀覆蓋20.7億智能終端,監(jiān)測超過205萬款移動應用,數(shù)據(jù)儲存容量5.8PB,每日處理數(shù)據(jù)242億條。易觀有數(shù)據(jù)資源,也有大數(shù)據(jù)算法技術(shù)的經(jīng)驗優(yōu)勢,在數(shù)據(jù)采集、數(shù)據(jù)存儲、實時計算和數(shù)據(jù)應用等方面都有多年的技術(shù)儲備。作為活動發(fā)起者和主辦方,易觀愿意拿出數(shù)據(jù)資源,同時也愿意和行業(yè)大牛一起切磋討論,攜手進行行業(yè)算法技術(shù)的升級試驗。
大數(shù)據(jù)是全社會共同的未來。人工智能和數(shù)據(jù)算法的進階不是一家公司的專利和責任,它應該是全行業(yè)來共同面對的機遇和挑戰(zhàn)。易觀呼吁,數(shù)據(jù)大牛和技術(shù)強隊應該聯(lián)合起來,打通現(xiàn)有資源和平臺,共同攻破“有序漏斗”難題,在更高更新的層面展開下一輪的技術(shù)領(lǐng)航。
?