愛華網(wǎng)??? 淘寶網(wǎng)數(shù)據(jù)平臺(tái)與產(chǎn)品部數(shù)據(jù)產(chǎn)品總監(jiān)趙昆有著一頭藝術(shù)家式的飄逸長(zhǎng)發(fā)。2009年6月加入這家中國(guó)最大的電子商務(wù)企業(yè)后，他逐步創(chuàng)立了淘寶自己的數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)。他們的最新動(dòng)作是，4月18日發(fā)布了面向賣家、第三方研究機(jī)構(gòu)、媒體的消費(fèi)者數(shù)據(jù)研究平臺(tái)──“淘寶指數(shù)”，在這個(gè)平臺(tái)上開放基于消費(fèi)者搜索和交易行為的分析數(shù)據(jù)，供所有人免費(fèi)使用。 淘寶目前擁有國(guó)內(nèi)電子商務(wù)最大的交易數(shù)據(jù)量，總數(shù)據(jù)量已經(jīng)超過30PB，并且還在以每月3PB的速度增加著，共有10億多條產(chǎn)品信息和5億多名用戶的活動(dòng)信息，每天超過8000萬人次的獨(dú)立訪問。“淘寶擁有海量的數(shù)據(jù)，同時(shí)也必須面對(duì)數(shù)據(jù)分析帶來的挑戰(zhàn)。”趙昆說。 與他有同樣想法的還有eBay中國(guó)研發(fā)中心分析平臺(tái)與支付研發(fā)總監(jiān)梁滸。梁滸所在的中國(guó)研發(fā)中心是eBay設(shè)在中國(guó)上海的技術(shù)支持中心，在這里，每天有上千人的團(tuán)隊(duì)為eBay全球提供技術(shù)支持，數(shù)據(jù)分析部門是其中最主要的團(tuán)隊(duì)。他認(rèn)為，相比于B2C平臺(tái)，淘寶和eBay這類C2C平臺(tái)遇到的數(shù)據(jù)分析挑戰(zhàn)更大，原因是“亞馬遜和京東所有的商品數(shù)據(jù)都是自己的，可是在eBay，商品數(shù)據(jù)都在賣家那兒。”需要指出的是，兩家公司的商品數(shù)據(jù)極為龐大，截至去年末，eBay的在線商品數(shù)目在3億左右，淘寶的在線商品數(shù)則高達(dá)10億，是國(guó)內(nèi)擁有最龐大商品數(shù)的電商。 在淘寶所有數(shù)據(jù)里，有超過50%的數(shù)據(jù)屬于非結(jié)構(gòu)化/半結(jié)構(gòu)化的數(shù)據(jù)，而在eBay，這一比例則高達(dá)95%以上。兩家公司面臨了相似的大數(shù)據(jù)處理問題，這迫使兩家公司不得不關(guān)注它們對(duì)數(shù)據(jù)處理的能力。 不過，淘寶和eBay數(shù)據(jù)分析團(tuán)隊(duì)遇到的業(yè)務(wù)訴求不同，讓它們二者分別走向了不同的關(guān)注點(diǎn)。在淘寶，日常運(yùn)營(yíng)的數(shù)據(jù)處理和計(jì)算是一部分，他們更致力于如何為用戶提供產(chǎn)品化的數(shù)據(jù)服務(wù)。而eBay更關(guān)注在日常運(yùn)營(yíng)中，為內(nèi)部各部門提供細(xì)致的數(shù)據(jù)分析支撐工具。 淘寶：迎合用戶需求，將數(shù)據(jù)產(chǎn)品化 趙昆入職后遇到的第一個(gè)挑戰(zhàn)，是來自寶潔中國(guó)的問詢，“淘寶上人們對(duì)日化產(chǎn)品消耗和需求的數(shù)據(jù)是什么？”。 2009年，寶潔中國(guó)在淘寶開設(shè)了名為“e生活家”的旗艦店，銷售剃須刀和洗發(fā)水、牙膏等套裝日用品。寶潔考慮的并非銷售額上的直接獲益，而是認(rèn)為淘寶能夠提供一種創(chuàng)新的營(yíng)銷模式。對(duì)于一向熱衷數(shù)據(jù)分析的寶潔，同樣熱切期望獲得淘寶上的數(shù)據(jù)支持。隨著品牌企業(yè)的逐步加入，有同樣需求的企業(yè)賣家不在少數(shù)。 “既然這些需求很典型，為什么不做一個(gè)能夠覆蓋到這些用戶需求的產(chǎn)品呢？”抱著這個(gè)想法，趙昆和他的團(tuán)隊(duì)開始將自己的工作定位于將數(shù)據(jù)產(chǎn)品化，以服務(wù)于需要數(shù)據(jù)的賣家等外部用戶。 不過，他們馬上就面臨最棘手的數(shù)據(jù)處理和整合問題——淘寶此前缺乏數(shù)據(jù)體系：數(shù)據(jù)內(nèi)容多樣（日志型數(shù)據(jù)、文本型數(shù)據(jù)、關(guān)系型數(shù)據(jù)）、數(shù)據(jù)來源也很廣泛（有商品維度、賣家維度、買家維度），并且這些數(shù)據(jù)分布在不同的數(shù)據(jù)庫中。 在接下來的四五個(gè)月里，團(tuán)隊(duì)成員忙于數(shù)據(jù)處理問題。他們首先將原始數(shù)據(jù)進(jìn)行規(guī)范化處理。同時(shí)，為了讓分析工作更快速推進(jìn)，他們將大多數(shù)非結(jié)構(gòu)化的數(shù)據(jù)盡量轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)，比如將用戶行為這一非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化數(shù)據(jù)處理。這些工作量非常龐大，在淘寶，數(shù)據(jù)的核心有三大維度：商品、交易和用戶。此時(shí)淘寶內(nèi)部開始確立明確的數(shù)據(jù)存儲(chǔ)規(guī)則：網(wǎng)絡(luò)平臺(tái)上產(chǎn)生的所有數(shù)據(jù)都要被保留下來。這也意味著淘寶需要投入更大的技術(shù)力量，提高海量數(shù)據(jù)的存儲(chǔ)和計(jì)算能力，并且需要不斷提高系統(tǒng)的性能，壓縮投入的成本。 不過，這僅僅是第一步，“我們要通過一種方式讓用戶能獲取有價(jià)值的數(shù)據(jù)，讓數(shù)據(jù)真正地幫助到用戶的業(yè)務(wù)”趙昆說。為此，他們創(chuàng)造了一種樹形方式對(duì)數(shù)據(jù)進(jìn)行梳理。所有數(shù)據(jù)都基于這棵“樹”進(jìn)行組織，并且以“樹”的方式展示給用戶，這樣用戶獲取數(shù)據(jù)的方式就像從一顆樹的高處到末端根系，獲得商品的從行業(yè)、類目、品牌、產(chǎn)品，到屬性、店鋪、商品等所有完整的、有關(guān)聯(lián)的、有意義的信息。 這種方式打破了一般做法，通常在企業(yè)里，數(shù)據(jù)會(huì)分布于不同的數(shù)據(jù)庫里，用戶最終獲取的是不完整的數(shù)據(jù)，數(shù)據(jù)分析完全由業(yè)務(wù)需求驅(qū)動(dòng)，查詢的成本很高。這種做法意味著，需要將分布在不同數(shù)據(jù)庫中的數(shù)據(jù)組建關(guān)聯(lián)起來，這樣的關(guān)聯(lián)降低了用戶提取數(shù)據(jù)的成本，也讓數(shù)據(jù)變得更加“聰明”。 “不過，淘寶需要?jiǎng)佑煤芏嘞到y(tǒng)資源，對(duì)數(shù)據(jù)做大量的預(yù)處理，盡可能降低數(shù)據(jù)的使用成本并且增大靈活性?！壁w昆表示。 隨后要開展研究數(shù)據(jù)產(chǎn)品的工作。因?yàn)樘詫殞?duì)外開放數(shù)據(jù)，他們需要克服海量數(shù)據(jù)的安全問題，同時(shí)還要防止數(shù)據(jù)被惡意爬取等很多技術(shù)問題。到2010年3月28日，他們推出了淘寶第一個(gè)基于全量數(shù)據(jù)的數(shù)據(jù)產(chǎn)品——“數(shù)據(jù)魔方”，賣家可以查詢行業(yè)宏觀情況、品牌的市場(chǎng)狀況、消費(fèi)者行為等數(shù)據(jù)，涵括淘寶所有類目的交易、瀏覽和搜索數(shù)據(jù)。 賣家還可以根據(jù)自己的需求，選擇使用“數(shù)據(jù)魔方”的專業(yè)版或者標(biāo)準(zhǔn)版的產(chǎn)品。專業(yè)版主要滿足大賣家對(duì)行業(yè)數(shù)據(jù)的更細(xì)致分析的需求，同時(shí)也提供大賣家對(duì)自己店鋪的交易和瀏覽的數(shù)據(jù)，現(xiàn)在寶潔已經(jīng)在使用這款產(chǎn)品了解淘寶平臺(tái)上用戶購買日化消費(fèi)產(chǎn)品的數(shù)據(jù)了。而標(biāo)準(zhǔn)版則主要為小賣家提供用戶在自己店鋪里交易和瀏覽的數(shù)據(jù)?！艾F(xiàn)在‘?dāng)?shù)據(jù)魔方’已經(jīng)有大量的商家用戶，其中有一半是活躍用戶?！壁w昆表示，用戶的訂購情況早已超過他們的預(yù)期。 繼“數(shù)據(jù)魔方”之后，在今年的4月18日，趙昆和他的團(tuán)隊(duì)又推出他們的第二款產(chǎn)品 ——“淘寶指數(shù)”，這款產(chǎn)品進(jìn)一步延展了淘寶生態(tài)圈的用戶群，賣家、第三方研究機(jī)構(gòu)、媒體機(jī)構(gòu)都可以免費(fèi)使用這款產(chǎn)品。與“數(shù)據(jù)魔方”相比，淘寶指數(shù)提供的數(shù)據(jù)相對(duì)單純，主要是消費(fèi)者在淘寶上的搜索商品和交易商品的數(shù)據(jù)。 不過，淘寶從來沒有指望通過“數(shù)據(jù)魔方”賺錢，雖然它實(shí)際上是盈利的，但這從來也不是淘寶的目標(biāo)。包括最近發(fā)布的“淘寶指數(shù)”，未來也不會(huì)有盈利的考慮。“我們只希望將淘寶數(shù)據(jù)平臺(tái)的商業(yè)價(jià)值反饋出來，為淘寶生態(tài)圈的賣家、ISV（獨(dú)立軟件開發(fā)商）或者其他的電商服務(wù)?！壁w昆說。 在淘寶這樣一個(gè)巨量交易平臺(tái)上，滿足用戶的數(shù)據(jù)請(qǐng)求和處理，是非常具有挑戰(zhàn)性的工作。他們需要為用戶呈現(xiàn)商品和店鋪信息的實(shí)時(shí)變化情況，在技術(shù)上需要實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)和循環(huán)計(jì)算，同時(shí)還需要滿足高并發(fā)的查詢，以及在用戶網(wǎng)絡(luò)環(huán)境有限情況下數(shù)據(jù)請(qǐng)求的問題，這在傳統(tǒng)數(shù)據(jù)平臺(tái)是不太容易碰到的。 沒有現(xiàn)成的技術(shù)支持，淘寶需要建立適合自己的算法，趙昆和他的團(tuán)隊(duì)一直在努力研發(fā)更好的技術(shù)。“對(duì)于數(shù)據(jù)來說，不是把它計(jì)算出來就好了，還包括怎樣提供高效的查詢，以及非常友好的展現(xiàn)，這些也是不能忽略的?！壁w昆表示。 因?yàn)閿?shù)據(jù)的多而復(fù)雜，淘寶一直在做數(shù)據(jù)挖掘，不過這是不得已而為之?！拔覀儽M量提供一些方便的可視化產(chǎn)品，讓用戶自己去發(fā)現(xiàn)，而不是我們分析人員?！边@或許也是淘寶致力于將數(shù)據(jù)產(chǎn)品化的原因之一。 eBay：以數(shù)據(jù)驅(qū)動(dòng)運(yùn)營(yíng)，提升用戶體驗(yàn) “在eBay，如果不做數(shù)據(jù)分析和處理，我們就沒法生存。”梁滸表示，和淘寶相對(duì)規(guī)范的售賣方式不同，eBay的業(yè)務(wù)以拍賣為主，并且還有“一口價(jià)”業(yè)務(wù)。相對(duì)復(fù)雜和多樣的業(yè)務(wù)特點(diǎn)讓eBay面臨比淘寶更大的數(shù)據(jù)挑戰(zhàn)，它的非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)遠(yuǎn)比淘寶要高得多，這種數(shù)據(jù)高達(dá)95%以上，而淘寶這類數(shù)據(jù)在50%以上。 關(guān)注用戶體驗(yàn)和數(shù)據(jù)分析是eBay從創(chuàng)立開始就有的基因?？梢哉f，數(shù)據(jù)是eBay運(yùn)行的血脈和經(jīng)絡(luò)。和淘寶一樣，eBay同樣保存了所有的數(shù)據(jù)，不過eBay對(duì)于商品的核心數(shù)據(jù)的定義是基于買家、賣家和商品這三個(gè)維度。 現(xiàn)在，eBay內(nèi)部對(duì)于數(shù)據(jù)的利用已經(jīng)深入骨髓，“以數(shù)據(jù)決定決策”已經(jīng)是eBay內(nèi)部上下的工作習(xí)慣。在eBay內(nèi)部，各個(gè)業(yè)務(wù)部門的決策很大部分依據(jù)數(shù)據(jù)進(jìn)行決策，包括他們彼此之間的協(xié)作，也都是數(shù)據(jù)分析平臺(tái)自動(dòng)按照每個(gè)人的職位、權(quán)限等進(jìn)行系統(tǒng)的自動(dòng)推送。這些工作的核心目標(biāo)都是為了保證用戶的體驗(yàn)。在eBay，用戶的體驗(yàn)包括用戶搜索的精確度、交易過程中有沒有虛假的商品、買賣雙方的滿意度、網(wǎng)頁的速度是否夠快、操作體驗(yàn)好不好等等很多內(nèi)容。在每一項(xiàng)內(nèi)容里，eBay都會(huì)設(shè)定相關(guān)的指標(biāo)，以達(dá)到用戶滿意度持續(xù)提升的目標(biāo)。 在日常的運(yùn)營(yíng)中，eBay投入大量技術(shù)、資源在平臺(tái)基礎(chǔ)信息的過濾和清洗上，以保證用戶的體驗(yàn)。eBay目前有3億件商品，它會(huì)對(duì)賣家每天上傳的文字、圖片等500種因素進(jìn)行分析，以保證商品描述一致性，那些重復(fù)上傳的圖片、或者不同賣家的相同圖片不會(huì)在eBay上通過。而且對(duì)于賣家好評(píng)率將會(huì)被精確分析，以保證平臺(tái)的信譽(yù)。同時(shí)，eBay會(huì)綜合考慮賣家上傳圖片的清晰度、買家對(duì)賣家的打分、評(píng)論等所有信息?！澳切└黜?xiàng)指標(biāo)表現(xiàn)良好的賣家將會(huì)在搜索中被呈現(xiàn)在前面?！眅Bay中國(guó)研發(fā)中心搜索科學(xué)產(chǎn)品研發(fā)總監(jiān)逄偉表示。 除此之外，eBay也依據(jù)數(shù)據(jù)調(diào)整針對(duì)賣家的政策。比如三年前，eBay決定給相關(guān)賣家提供相關(guān)的優(yōu)惠政策，對(duì)平臺(tái)里的所有賣家進(jìn)行各項(xiàng)指標(biāo)的設(shè)定和評(píng)估，尋找其中符合參與該優(yōu)惠活動(dòng)標(biāo)準(zhǔn)的賣家。這里面涉及到對(duì)賣家過往歷史信息的分析、以及給予優(yōu)惠活動(dòng)后為平臺(tái)帶來的價(jià)值的評(píng)估預(yù)測(cè)，需要大量的數(shù)據(jù)支持。 最具有挑戰(zhàn)的是“沉默的數(shù)據(jù)”。這是用戶體驗(yàn)極為重要但容易被忽視的內(nèi)容。 “很多用戶不會(huì)表達(dá)他們對(duì)eBay的不滿，但是數(shù)據(jù)會(huì)告訴我們?！卞虃フf，比如有人通過Google搜索一個(gè)產(chǎn)品，到達(dá)eBay頁面，卻很快關(guān)掉頁面這一系列行為，eBay會(huì)定義為“東西太差了”；當(dāng)買家向賣家發(fā)出發(fā)貨時(shí)間的各種疑問，而賣家卻不做響應(yīng)，這也屬于“沉默的數(shù)據(jù)”。 逄偉認(rèn)為，雖然這里面會(huì)存在大量的噪音數(shù)據(jù)，但是定義這些行為還是有其不可忽視的意義?！巴ㄟ^對(duì)各項(xiàng)細(xì)節(jié)指標(biāo)的監(jiān)測(cè)、以及對(duì)這些指標(biāo)的不斷改進(jìn)，有助于從各個(gè)細(xì)節(jié)提升用戶體驗(yàn)?！眅Bay每年都會(huì)制定轉(zhuǎn)化率目標(biāo)，這些目標(biāo)會(huì)逐層分解到具體的每個(gè)流程中、需要提升的用戶指標(biāo)中等各項(xiàng)數(shù)據(jù)里。 為了保證良好的用戶體驗(yàn)，eBay做重要改進(jìn)時(shí)都要事先進(jìn)行測(cè)試。eBay已經(jīng)開始借助互聯(lián)網(wǎng)的力量進(jìn)行這一工作——通過第三方網(wǎng)站外包給互聯(lián)網(wǎng)上的用戶。他們會(huì)通過數(shù)據(jù)去分析支付給測(cè)試者多少費(fèi)用更合理，以保證測(cè)試的可靠性和成本之間的平衡。隨后，eBay會(huì)通過系統(tǒng)自動(dòng)監(jiān)測(cè)這些賬號(hào)的行為，將這些行為與用戶日常數(shù)據(jù)進(jìn)行比對(duì)分析，從而生成自動(dòng)化的分析結(jié)果。 在用戶體驗(yàn)上，eBay對(duì)于各項(xiàng)內(nèi)容每年都設(shè)定持續(xù)改進(jìn)的目標(biāo)，不過，eBay將“有多少用戶向其他人推薦eBay”作為最核心的效果來考慮，這個(gè)數(shù)字現(xiàn)在大約在80%左右。 鑒于對(duì)海量數(shù)據(jù)處理能力，eBay能夠提供很好的服務(wù)承諾，比如對(duì)于出現(xiàn)投訴的商品，它會(huì)先代替賣家賠付給買家，隨后再對(duì)賣家進(jìn)行追討。如果遇到假貨投訴，一旦確定，eBay將會(huì)對(duì)賣家的商品進(jìn)行下架。這也意味著eBay需要前期投入更大精力保證平臺(tái)的信譽(yù)。梁滸表示，這些做法也讓eBay同時(shí)也承擔(dān)更多的風(fēng)險(xiǎn)，有些款項(xiàng)可能永遠(yuǎn)也追不回來了。 共同趨勢(shì)：個(gè)性化推薦 無論是淘寶還是eBay，個(gè)性化推薦都是主要的發(fā)力點(diǎn)，這其實(shí)也是電商企業(yè)的共識(shí)之處。對(duì)于C2C平臺(tái)商而言，由于其業(yè)務(wù)特點(diǎn)和海量的商品數(shù)據(jù)，面臨的挑戰(zhàn)更大。 趙昆寄希望通過個(gè)性化的推薦來提升用戶的購物體驗(yàn)，基于這一目標(biāo)，淘寶致力于為每一個(gè)用戶提供個(gè)性化的界面體驗(yàn)和搜索結(jié)果。他打了一個(gè)比方，如果一個(gè)用戶經(jīng)常瀏覽的是檔次較高的商品，那么淘寶給他展示的將不會(huì)是以低價(jià)為導(dǎo)向的商品。 最近，數(shù)據(jù)產(chǎn)品團(tuán)隊(duì)醞釀已久的一款個(gè)性化推薦的應(yīng)用已經(jīng)實(shí)現(xiàn)，他們?cè)谔詫毶贤瞥隽恕拔业囊鹿瘛边@一頻道。 “它代表一種新的購物體驗(yàn)，以前我們按照商品屬性呈現(xiàn)給用戶商品，現(xiàn)在我們按照人群需求提供商品?！壁w昆表示。在“我的衣柜”里，淘寶會(huì)根據(jù)用戶過往的瀏覽搜索等記錄，推薦用戶可能感興趣的人群特征，系統(tǒng)會(huì)通過不斷地學(xué)習(xí)積累推薦，最終達(dá)到為每一個(gè)用戶提供他喜歡的購物方式。這樣的嘗試也相繼在其他一些頻道展開，比如淘寶也在嘗試針對(duì)用戶中的年輕媽媽的購物偏好，推薦可能適合她們的商品。 趙昆同時(shí)透露，他的團(tuán)隊(duì)稍后將在淘寶上正式推出SNS應(yīng)用。在淘寶上有熟人關(guān)系的用戶是很大的群體，淘寶會(huì)基于他們之間的關(guān)系，提供全程購物分享的工具。同時(shí)，淘寶基于用戶行為分析，幫助有相似需求的用戶建立社交關(guān)系?！霸谫徫锃h(huán)節(jié)中建立社交化的聯(lián)系，挑戰(zhàn)很大，不過這符合未來的趨勢(shì)。”他表示。 趙昆認(rèn)為，5年到10年后，互聯(lián)網(wǎng)商業(yè)社會(huì)的核心主題將逐步從現(xiàn)在的社交時(shí)代，步入以數(shù)據(jù)主宰的時(shí)代?！斑@是互聯(lián)網(wǎng)發(fā)展的規(guī)律，從初級(jí)階段步入中高級(jí)階段的互聯(lián)網(wǎng)，其商業(yè)模式、業(yè)務(wù)形態(tài)、產(chǎn)品形式將完全基于數(shù)據(jù)之上運(yùn)營(yíng)?！彼硎尽，F(xiàn)在，無論在內(nèi)部還是外部，他都會(huì)說淘寶不是一家電子商務(wù)公司，而是一家數(shù)據(jù)公司，現(xiàn)在他的團(tuán)隊(duì)的愿景是，推動(dòng)淘寶成為一家數(shù)據(jù)運(yùn)營(yíng)公司。 “現(xiàn)在這樣的應(yīng)用1%都不到，我們希望未來有更多這種應(yīng)用?！壁w昆說。 在eBay，相關(guān)團(tuán)隊(duì)也在進(jìn)行相繼的技術(shù)研發(fā)，同時(shí)也在推出相關(guān)應(yīng)用。實(shí)現(xiàn)針對(duì)每一用戶的個(gè)性化推薦是eBay致力實(shí)現(xiàn)的一個(gè)方向。在eBay上，它已經(jīng)可以做到根據(jù)每個(gè)人的瀏覽搜索習(xí)慣，呈現(xiàn)不同的結(jié)果。 不過，它的另一項(xiàng)應(yīng)用突破了自身、延伸到了線下。這是一項(xiàng)基于地理位置的個(gè)性化推薦，如果用戶在手機(jī)上搜索eBay某一件商品，沒有獲取想要的結(jié)果時(shí)，會(huì)推薦離用戶最近的沃爾瑪?shù)壬碳业纳唐沸畔?。這一應(yīng)用源于eBay與沃爾瑪?shù)染€下商家的緊密的合作。 “在eBay，我們已經(jīng)過了做簡(jiǎn)單的決策的階段，現(xiàn)在是利用數(shù)據(jù)做運(yùn)營(yíng)決策的時(shí)候了。”逄偉說。
?
愛華網(wǎng)本文地址 » http://www.klfzs.com/a/9101032201/57929.html
