【小(xiǎo)編推薦】唯品會(huì)美(měi"<£ )研中心郭安琪:2015 Hadoop Summit見(jiàn)聞

2015-06-19  &nb∑±sp;|   發布者:梁國(¥Ωguó)芳   | &nbs≠  p; 查看(kàn):3320次

IT新聞
 2015年(nián)6月(yuè)9-11日(rì),↑¶☆我在美(měi)國(guó)加州矽谷參加了(le)第八屆全球Hadoopσ₽"技(jì)術(shù)峰會(huì)(Hadoop Sum₹‍•♣mit 2015)。在短(duǎn)短(d α£uǎn)的(de)3天時(shí)間(ji€ ↓‌ān)裡(lǐ)我既見(jiàn)識到(dào♠<σλ)了(le)Hortonwork、Cloud→γ"era、SAP、IBM、惠普、雅虎等25+數(shù)據服務技(jì)術≈δ&(shù)提供商圍繞大(dà)數(shù)據設計(jì)≥≠÷$開(kāi)發的(de)産品,也(yě)聆聽(tīng)了(∏λle)Schlumberger(能(néng)源巨頭)、verizon¥÷(通(tōng)信巨頭)、迪斯尼(娛樂(yuè)巨​≥€♥頭)、Airbnb(共享經濟代表企業(yè))、賽門(mé↓<n)鐵(tiě)克(信息安全巨頭)、Aetna(醫∑ &(yī)療保險巨頭)這(zhè)些(xiē)各行(xíng)各業(yè) →>∞的(de)領軍企業(yè)用(yòng)數(shù)據産品為(w•φ✔€èi)公司創造價值的(de)真實案例。我最大(dà)的(de)感受就(j><✔iù)是(shì)有(yǒu)這(zhè)麽多(du±§ō)的(de)公司相(xiàng)信數(shù)據的(de)價¶ε≥£值,并且真真切切地(dì)将數(shù) Ωγ據作(zuò)為(wèi)企業(yè)的(de)重ε>要(yào)資産來(lái)維護和(hé)使用(yòng)。簡‌☆↓單地(dì)用(yòng)峰會(huì)一(y↕÷ī)位嘉賓,微(wēi)軟分(fēn)管數(shù)據平台副總裁R←→♦₩anga的(de)語言總結--“世界沉醉λΩ 在數(shù)據裡(lǐ)” (The world is dφ≤runk on data)

Fig 1:第八屆全球Hadoop技(jì)術(shù)峰會(huì)(Hadoop Summit 2015)會(huì)場(chǎng)掠影(yǐn↓♦÷ g)

什(shén)麽是(shì)Hadoop?

自(zì)從(cóng)我發了(le)出席Hadoop技(jì)術(s≈ ↕®hù)峰會(huì)的(de)朋(péng)友(yǒu)圈以後,就(jiù₽≤σ≥)被小(xiǎo)夥伴們各種“酷炫&rd ≥ quo;“有(yǒu)用(yòng)&rdquoεδ>♦;的(de)評論刷屏了(le)。不(bù)過¥↑♣♠遇到(dào)了(le)一(yī)個(gè)難點:如(rú)何向¶$ 我媽(mā)解釋“什(shéδ∏¥γn)麽是(shì)Hadoop”這(zhè)個(gè)•α§問(wèn)題。這(zhè)個(gè)問(wèn)題大(d≤÷™εà)概有(yǒu)點像向程序員(yuán)解釋CL的(de)紅(hóng)底鞋 ×γ到(dào)底好(hǎo)在哪一(yī)樣難。作(zuò)為(wèi)一(yī≤¥≠)個(gè)接觸了(le)Hadoop一(yī)年(nián)的(de)技π♦↓ (jì)術(shù)新人(rén),我也(€λ↓yě)還(hái)在摸索的(de)道(dào)®£路(lù)上(shàng),不(bù)過幸好(hǎo)我們有(yǒu)親愛♣​(ài)的(de)維基百科(kē),在上(shàng)面,H≈πadoop的(de)定義是(shì):一(yī)個(gè)用(yòng)β©εjava語言編寫的(de)便于大(dà)型數(sh£"♦ ù)據集合的(de)分(fēn)布式儲存和(hé)計(jì)算(suà₹α≠n)的(de)軟件(jiàn)框架。簡單來(lá&§€®i)說(shuō),這(zhè)是(shì)計(jì)算(suàn)機(®©✔jī)領域的(de)一(yī)個(gè)開(kāi)源軟件(jià​φ£n),任何程序開(kāi)發者都(dōu)可(kě)以看♣×(kàn)到(dào)它的(de)源代碼,并且進行(xíng)編譯。它的(d€ e)出現(xiàn)讓大(dà)數(shù)據的(de←¶π)儲存和(hé)處理(lǐ)一(yī)下(xià)子≈∏≠<(zǐ)變的(de)快(kuài)了(le)很(hěn)多(duō),¥≠也(yě)便宜了(le)很(hěn)多(duō)。

Fig 2:Hadoop Summit 2015主題演講中Hortonwork CEO Rob介紹Hadoop技(jì)術(shù)在企業(yè)級應用(yònλ¶✘£g)中所占的(de)市(shì)場(chǎng)份額

Hadoop是(shì)怎麽做(zuò)到(dào)将大∞™(dà)數(shù)據儲存和(hé)處理(lǐ)變得(ε★≤↔de)又(yòu)快(kuài)又(yòu)便宜的(de)?

這(zhè)個(gè)講起來(lái)可(kě)以講三天三夜呢(ne)£©。不(bù)過舉個(gè)簡單的(de)例子(zǐ),現(xiàn)在需要(<​yào)數(shù)一(yī)個(gè) α←圖書(shū)館有(yǒu)多(duō)少(σ®≠shǎo)本書(shū),一(yī)個(gè)人(rén)數(shù)肯☆♥​'定很(hěn)慢(màn),需要(yào)很(hěn★₩$∏)多(duō)個(gè)人(rén)數(shù),而且最好(h'εǎo)每一(yī)個(gè)區(qū)域的(de>•♦)書(shū)都(dōu)有(yǒu)2-3個(gè)人(r→$én)數(shù)一(yī)遍,這(zhè)樣統計(jì)的(de)數(shù∞♣)量才比較準确。所以就(jiù)需要(yào)有(yǒu)一(yī)個(gè)♥↓₽α機(jī)制(zhì)将書(shū)籍分(fēn)好(hǎo)區(π>‌qū),規定每一(yī)個(gè)人(rén)負責數(shù)哪幾個(¥↑gè)區(qū)的(de)書(shū),這(zhè)樣即使有(yǒu)人(r♣<↑én)生(shēng)病了(le)也(yě)不(bù)會(huì)影(y‍ε☆≈ǐng)響到(dào)總體(tǐ)統計(jì)工($↓​✘gōng)作(zuò)的(de)完成。這(zhè)裡(lǐ)的(de)☆↓¥♠人(rén)就(jiù)是(shì)Hadoo₩§₽p所操控的(de)一(yī)台台個(gè)人(rén₩♥ ≈)計(jì)算(suàn)機(jī),機(jī)制(zhì)就(j>¶☆™iù)是(shì)Hadoop的(de)核 β☆心MapReduce方法。在我看(kàn)來(lái),€§λ₩Hadoop的(de)分(fēn)布式計±♥(jì)算(suàn)功能(néng)就(jiù)像一(yī)λ≈ 個(gè)精明(míng)的(de)資本家(jiā)設計(jì)的♣<≥(de)工(gōng)作(zuò)分(fēn)配制(zhì)¥↑度,既保證工(gōng)作(zuò)的(de)完成不(bù)會(huìβφ)特别依賴某一(yī)個(gè)人(rén),又(yòu)保證了(le) ¶ ​如(rú)果工(gōng)作(zuò)量上π​≥(shàng)升了(le)隻需要(yào)再雇一(y☆ε≥ī)個(gè)勞工(gōng)就(jiù)​↓↕能(néng)解決問(wèn)題。

Fig 3:Hadoop Summit 2015微(wēi)軟數(shù)據平台副總裁Ranga主題演講截圖,展示零售業(yè),醫(yī)療¥≠↕,支付,教育,機(jī)器(qì)維護和(hé)交通(↔• tōng)領域基于Hadoop技(jì)術(shù)的(de)數(shù)據紅(hón≥±g)利(Data Dividend)

什(shén)麽是(shì)Hadoop技(jì↕§∏)術(shù)峰會(huì)(Hadoop Summ∞×♣'it 2015)?

要(yào)解釋這(zhè)個(gè)問(wèn)題就α&(jiù)要(yào)先解釋一(yī)下β'®✘(xià)Hadoop對(duì)于企業(yè)的(de)重要(yào)性。F β δorresterResearch(一(yī)家(jiā)著名的(dγ e)咨詢公司)的(de)首席分(fēn)‌'÷析師(shī)Mike Gualtier>↔§☆i在峰會(huì)中預測,100%的(de)大(dà)企業(yè&σ​)已經或将在未來(lái)2-3年(niá$↔αn)內(nèi)開(kāi)始使用(yòng)Hadoop。不¥×&♠(bù)管你(nǐ)是(shì)能(néng)源,通(tōng)信,醫(y>✘ī)療,娛樂(yuè),生(shēng)産制(zhì)造φ§,互聯網行(xíng)業(yè)的(de)企業(yè),你(nǐ)的(d→≥♥>e)數(shù)據總是(shì)會(huì)越來(lái)越多(d♥♥£uō),而如(rú)果需要(yào)從(c★☆óng)這(zhè)些(xiē)海(hǎi)量數(shù)據中挖掘α"出價值,提高(gāo)企業(yè)的(de)整體(tǐ)競争π♣↑力,你(nǐ)就(jiù)需要(yào)一(yī)個(gè♣☆)強大(dà)的(de)儲存和(hé)處理(lǐ)數(shù)據≠₹的(de)能(néng)力,Hadoop及其泛生(shēng)态圈就(♦​×✘jiù)能(néng)幫你(nǐ)實現(xiàn)!<•λ(真的(de)不(bù)是(shì)在打廣告。。)Ha♠γdoop技(jì)術(shù)峰會(huì)就(jiù)是(shì)Hadoo¥↓p的(de)開(kāi)發者和(hé)使用(yòng)者交流的(de$β)地(dì)方。峰會(huì)為(wèi♦')期三天,期間(jiān)有(yǒu)160多(duō)場(chǎng)講δε座,有(yǒu)來(lái)自(zì)Aetna, Facebook♦$€,谷歌(gē),微(wēi)軟,迪士尼,Airbnb等公司的(de)各路(l ££ù)技(jì)術(shù)大(dà)拿(ná)分(fēn &∏)享他(tā)們關于開(kāi)發使用(yòng)Hadoop£♦δ的(de)故事(shì)。通(tōng)過講座,自δ ×(zì)由討(tǎo)論,聚餐,party等形 ÷π÷式參會(huì)者會(huì)與來(lái)自(zì)39個₽'(gè)國(guó)家(jiā)的(de)4000+的(de)參會(huì→₩)者進行(xíng)溝通(tōng)。某®‍¥種意義上(shàng)來(lái)說(shuō),Hadoop Su≠♦÷±mmit就(jiù)像是(shì)個(gè)宗教活動,虔誠的©&≈(de)數(shù)據愛(ài)好(hǎo)ε✔•☆者相(xiàng)聚在一(yī)起,看(kàn)看(kà∞✘★ n)你(nǐ)在做(zuò)什(shén)麽我在做(zuò)什(shénα÷★♣)麽,共同討(tǎo)論關于數(shù)據的(de)信仰。

Fig 4:Hadoop Summit 2015$₩第一(yī)天下(xià)午講座日(rì)程截圖

技(jì)術(shù)新人(rén)如(rú)何最大(dà)化(♦δ>​huà)一(yī)場(chǎng)技(jì)術(shù)峰會(huì)的(de​☆♥)收獲?

參加某一(yī)行(xíng)業(yè)的(de)峰 ®©€會(huì)最重要(yào)的(de)當然是(shì)了(le)解行σ∏↓(xíng)業(yè)趨勢,都(dōu)有♣↑≥§(yǒu)哪些(xiē)新的(de)概念,這(zhè)樣慢(màn)慢ε¥(màn)得(de)你(nǐ)才說(shuō)得(≈♠de)出內(nèi)行(xíng)話(huà)。這(zhè)也(y‌☆÷♣ě)是(shì)為(wèi)了(le)平常工(gōng)作(zuò)做(zu∏¶¶γò)準備,比如(rú)我,去(qù)年(nián)參加過InfoQ組織的φ∏(de)QCon(全球架構師(shī)大(dà)會(huì)),大(dà)會<<☆(huì)內(nèi)容大(dà)概聽(→±tīng)懂(dǒng)了(le)30%,經過一(← λyī)年(nián)的(de)工(gōnβ•±g)作(zuò)學習(xí)和(hé)查字典(wiki),這(≥£↑zhè)次參加Hadoop峰會(huì)我大(dà)概能(néng)•π聽(tīng)懂(dǒng)50%,和(hé)同行(xín‌↓≠ g)交流的(de)時(shí)候總算(suàn)還(h ≠&ái)能(néng)一(yī)句搭一(yī)句地(dì)深入討(t↔≠¶÷ǎo)論。

當然能(néng)問(wèn)出好(hǎo)的(de)問(wèn)題§↔&↓也(yě)是(shì)峰會(huì)收益最大(dà)化(huà)的™₩(de)有(yǒu)效手段。我的(de)興趣主要(‍πφyào)在産品方面,所以主要(yào)聽(tīng↑♦)的(de)是(shì)Hadoop技(jì)術(shù)在不(bù)同&₩公司裡(lǐ)的(de)usecase(使用(yòng •)場(chǎng)景),同時(shí)我也(yě)總結了(le)一(yλ" ¶ī)下(xià)技(jì)術(shù)新人(rén)應該₹↔σ如(rú)何玩(wán)轉這(zhè)一(yī)類型的(de)技(jì♣ ")術(shù)峰會(huì)的(de)經驗,特此分(fēn)享:

 

  1. 新的(de)概念
  2. 圍繞Hadoop的(de)生(shēng)态系統σ₩
  3. 人(rén)

 

這(zhè)些(xiē)是(shì)我覺得(d γ₩e)作(zuò)為(wèi)一(yī)個(gè)掌握的(de)知(zhε≠♠ī)識還(hái)不(bù)夠全面的(de)技(j쥩 )術(shù)新人(rén)在峰會(huì)上(shàng)應該多(du×←$ō)投入的(de)地(dì)方:看(kàn)看(kàn)行(xíng)業(Ω✔♠yè)裡(lǐ)都(dōu)有(yǒu)哪些(xiē)÷>新的(de)概念,補充一(yī)下(xià)自(zì)己的(de)專業(yè)≤  <字典;了(le)解圍繞某個(gè)技(jì)術(shù)的(→♦de)上(shàng)下(xià)遊提供商的(de)發展情況,誰在開(kāi&¶<)發什(shén)麽樣的(de)軟件(jiàn),誰在為(wèi)什(sh↓​∏£én)麽樣的(de)軟件(jiàn)埋單,這(zhè)有(yǒu)助λ ♥于技(jì)術(shù)新人(rén)在參與設計(jì)産品的(de)時€π♦γ(shí)候有(yǒu)個(gè)全局的(de)概念;最後最重要(yào)也≈♦σ©(yě)是(shì)最容易實現(xiàn)的β←(de),就(jiù)是(shì)聯絡參會(huì)的(de)人(rénα✘Ω)。大(dà)家(jiā)都(dōu)是(sh♥ δεì)付了(le)昂貴的(de)門(mén)票(piào)($900+)來( ∞γ>lái)參加這(zhè)次峰會(huì)的(deγ★)業(yè)內(nèi)人(rén)士,所以每個(gè)人(rén)都(¶≤​↔dōu)像一(yī)座金(jīn)礦,都→≤(dōu)有(yǒu)自(zì)己領域的(de)δ☆♠©專業(yè)知(zhī)識,都(dōu)會(huì)→♣遇到(dào)相(xiàng)似的(de)問(wèn) ♥"題,開(kāi)放(fàng)的(de)交ש流說(shuō)不(bù)定會(huì)讓φ♥↕♦一(yī)直困擾你(nǐ)的(de)一(yī)個(gè)₹∏≥問(wèn)題找到(dào)全新的(de)解法。除此以外(wài),同→ ∞&行(xíng)的(de)交流也(yě)能(néng)讓你(nǐ)不(bù)覺→↑得(de)孤獨,很(hěn)多(duō)你(nǐ)想嘗試的(de)做←λ(zuò)法也(yě)許能(néng)從(cóng)别的(deδ )公司的(de)執行(xíng)數(shù)據反饋中找到(₩∏dào)自(zì)信。

Fig 5:Hadoop Summit 2015參會(huì)者在白(bái)闆Job Posting Board)前查看(kàn)有(yǒu)關Hadoop技(jì)術(shù)的(de)崗位:雅虎在招人(rén)♣∞©!蘋果在招人(rén)!Uber在招人(rén)!….左下(xià)角我們唯品會(huì)美(měi)國(gu§♠ó)研發中心也(yě)在招資深數(shù)據科(kē)學家(jiā)喲!¥λ 

下(xià)面就(jiù)是(shì)我在這(γαzhè)三個(gè)方面的(de)一(yī)些(xi₹™ ★ē)收獲:

新的(de)概念

概念一(yī):“大(dà)鐵(tΩ₹iě)遇到(dào)大(dà)數(shù)據ε∞”(Big Iron Meets Big Dat©‌δa)

這(zhè)句話(huà)是(shì)通(tōng)用(×δyòng)電(diàn)氣負責軟件(jiàn)的(de)首席σ§信息官Vince在峰會(huì)上(shàng)提出的(de),總結•λ <的(de)是(shì)這(zhè)個(gè)時♠∞✘₹(shí)代大(dà)數(shù)據與物(wù)‌∞β¥聯網(第一(yī)階段主要(yào)在工(gōng)業(yè)α∞物(wù)聯網)将相(xiàng)輔相(♠∞≤xiàng)成。這(zhè)從(cóng)本次參會(÷¥Ωπhuì)的(de)公司名單上(shàng☆ €)也(yě)能(néng)看(kàn)出一(yī)二:醫(yī)療,能(n₹∑α∞éng)源,機(jī)械,通(tōng)信這(zhè)些∞÷δ(xiē)傳統行(xíng)業(yè)紛紛粉墨登場(chǎng),介紹他( ↑tā)們在大(dà)數(shù)據/互聯網方面的(de)嘗試。§✘δ當然從(cóng)我和(hé)參會(huì)人(rén)的(de)討(t≤Ω‍ǎo)論看(kàn)來(lái),目前這(zhè)些(xi>∏ē)傳統企業(yè)的(de)大(dà)數(s££₹hù)據運用(yòng)還(hái)僅限于通(tōng)過✔§Ω≈傳感器(qì)搜集數(shù)據然後做(&"∞zuò)數(shù)據分(fēn)析,以後的(de)發展還(hái)很¶  (hěn)長(cháng)。

Fig 6:Hadoop Summit 2015通(tōng)用(yòng)電(diàn≠  )氣首席信息官Vince的(de)主題演講中提到(dào)的(de)關于£λ¥物(wù)聯網的(de)驚人(rén)數(shù)據,Hadoop技(jì)術(shù)配合物(wù)聯網将打開(kāi)無限γλα價值:到(dào)2020年(nián)為(wèi)止,世界上(shàng)有(​↓×‌yǒu)240億台設備介入物(wù)聯網,96%的(de)企業(yè)領導表明(míng)在接下(‍€★xià)來(lái)3年(nián)要(yào)試水(shuǐ)物(wù)聯網,到(d✔→¶ào)2022年(nián)為(wèi)止物(wù)聯網将達到(dào)14.4萬億美(měi)金(jīn)的(de)市(shε±ì)場(chǎng)。其中7大(dà)主要(yào)使用(yòng)場(chǎ↓γ ∑ng)景是(shì):智能(néng)工(gōng)廠(chǎng),ε•市(shì)場(chǎng)營銷,智能(néng)×δ↑電(diàn)池,遊戲娛樂(yuè),智能δ≠•(néng)建築,商用(yòng)地(dì)面交通(t↔ "ōng)工(gōng)具,醫(yī)療。

概念二:”世界沉醉在數(sh™‍ù)據裡(lǐ)” (The worl₩σ$d is drunk on data”)¶↕↔Ω

這(zhè)個(gè)概念與“數±Ω(shù)據湖(hú)’(Dat✘≈®a Lake)息息相(xiàng)關。數(shù)據湖(hú)♠ 是(shì)個(gè)相(xiàng)對(du‍₽↔γì)年(nián)輕的(de)概念,在它之前大(dà)家(ji©≠★ā)普遍接受的(de)是(shì)“數(shù)據超市→×(shì)”(Datamart),意指在≠"π企業(yè)裡(lǐ)将數(shù)據(水(shuǐ$ ))像瓶裝水(shuǐ)一(yī)樣過濾消毒打包好(h§®π<ǎo)後便于各部門(mén)使用(yòng)。與之相(xiàng)↔§對(duì)應的(de),數(shù)據湖(hú)就(jiù)是("​≠shì)一(yī)個(gè)原始數(shù)據的(de)聚合地(dì),那(n₩<à)些(xiē)沒有(yǒu)經過處理(lǐ)的(de)數(sh•♥βù)據都(dōu)會(huì)被丢到(dào)一(yī)個γ®(gè)容器(qì)裡(lǐ),隻有(yǒu)當需要(yào)用(yòng)的☆★(de)時(shí)候,才從(cóng)這(zhè)個(gè)>γ數(shù)據湖(hú)裡(lǐ)取用(yòng)并做(zuò↓'λ)處理(lǐ)。這(zhè)個(gè)湖(hú)的(de)上(sh♦♣àng)下(xià)遊的(de)流淌是(®♦shì)目前軟件(jiàn)開(kāi)發重☆ αα點投資的(de)地(dì)方。類似的(de)概₽↔←‌念還(hái)有(yǒu)“數(shù)據沼澤&r≥ dquo;。

其他(tā)頻(pín)繁被提到(dào)的(de)詞,歡迎大(dà)家( δjiā)自(zì)己百科(kē)~

Data Governance,Data Lineage,Data♣σΩ• Dividend,Data wrangling

圍繞Hadoop的(de)生(shēng)态系統

董飛(fēi)在他(tā)的(de)文(wén)章(zh→™Ω×āng)後Hadoop時(shí)代的(de)大(dà)數(shù)據架構€φε•中詳細介紹了(le)圍繞Hadoop的(de)生(shēng)态系統。ε 我的(de)總體(tǐ)感覺就(jiù)是(shì)原ε ™來(lái)對(duì)于這(zhè)麽多(du δ&•ō)(至少(shǎo)30家(jiā))企業(yèΩ<♥↑)來(lái)說(shuō),數(shù)據和(↔±±hé)Hadoop就(jiù)是(shì)'<他(tā)們賴以生(shēng)産的(de)資源和(hé)工(gō♥•★ng)具,如(rú)果說(shuō)數(shù)據如(rú)水(sh←÷uǐ)的(de)話(huà)(參考上(shàng)一(yī)段的(d∏$e)“數(shù)據湖(hú)”概念),我至✘©±σ少(shǎo)看(kàn)到(dào)了(le)有(yǒ÷σπ≥u)水(shuǐ)源勘探的(de)公司,鑽井的(de)公司,©λ♣打水(shuǐ),教人(rén)打水(shuǐ)的(d®©∞e)公司,教人(rén)節水(shuǐ)的(de)公司,消∑®毒水(shuǐ)的(de)公司,還(hái)有(yǒu)給‍₩水(shuǐ)流情況做(zuò)報(bào)表的(d"★♠☆e)公司。關鍵是(shì)“打水(shuǐ)&r↓₩↔dquo;和(hé)“教人(r∑•én)打水(shuǐ)”的(de)公司(horton€'πworks)還(hái)上(shàng)市(shì)了(le↔≠ )呢(ne)!

當然還(hái)是(shì)說(shuō)點具體(≤€¥tǐ)的(de)技(jì)術(shù),spark是'≤"≠(shì)大(dà)家(jiā)熱(rè)議(yì)的(de)一• →(yī)個(gè)技(jì)術(shù),從(cóng)會(huì)±>場(chǎng)爆滿的(de)情況就(jiù)可(kě'☆δ§)以看(kàn)出大(dà)家(jiā)✘♣"的(de)興趣;Apache Drill是(shì)2015年λ↓✘σ(nián)5月(yuè)發布的(de)一(yī)個¥¥(gè)新的(de)基于Hadoop的(de®¶)開(kāi)源技(jì)術(shù),最早起源于谷歌(gē)的(d★∑✘↑e)dremel系統,它的(de)主要(yào)優勢是(sh•πì)可(kě)以讓人(rén)們實現(xiàn)對(d∏∏ uì)于分(fēn)布式大(dà)數(shù)據的( ∑de)可(kě)交互的(de)實時(shí)數(shù)據分(fēn)析;Ai♠↓≤¥rbnb也(yě)自(zì)己研發了(le)一(yī)套開(kāi)源®'α的(de)流程管理(lǐ)平台Airflow,吸♣δ<​引了(le)很(hěn)多(duō)業(yè♦$∞≥)界關注。

Fig 7:Hadoop Summit 2015迪斯尼數(shù)據平台開(kāi)發資深工(gō βng)程師(shī)Caleb介紹著名的(de)魔法手環”Magic Bend”的(de)Hadoop框架

人(rén)

這(zhè)次參會(huì)在party的(de © )時(shí)候認識了(le)Hortonwork和(≠∏≈→hé)Cloudera的(de)人(rén),總算(suàn)了(le)☆ ¥解兩家(jiā)是(shì)競争對(duì)手關×£系。在聽(tīng)講座的(de)時(shí)候遇到(d <∑↔ào)一(yī)個(gè)可(kě)愛(ài)的(←‌de)印度小(xiǎo)哥(gē),一(yī)家(ji≠​>βā)公司為(wèi)了(le)雇傭他(tā)特地(dì)送給了(l'¶∑<e)他(tā)來(lái)參加hadoop summiα₩¶☆t的(de)門(mén)票(piào)。中午吃(chī)飯的(de)時(β ↔★shí)候看(kàn)我邊上(shàng)一(yī)§•≤個(gè)白(bái)頭發老(lǎo)爺爺一(yī)個(gè)☆✔人(rén)吃(chī)飯挺孤單的(de),就(jε¥iù)聊了(le)一(yī)下(xià),他(tā)÷↔‌•主要(yào)幫助通(tōng)用(yòng)電(₩‍×€diàn)氣做(zuò)引擎系統優化(huà)¥ ✔。我們在對(duì)數(shù)據的(de)處理(lǐ)方面遇¶∑到(dào)過同樣的(de)煩惱。後來(lái)回家(jiā)一(yī)查,∏≈₹原來(lái)他(tā)是(shì)一(yī)家(jiā)大↓¶(dà)數(shù)據初創企業(yè)的(d☆"Ω<e)創始人(rén)兼首席技(jì)術(shù)官。像₽>這(zhè)樣的(de)例子(zǐ)非常多(duō)。☆​

Fig 8:Hadoop Summit 2015第二天晚上(shàng)在San Pedro Market有(yǒu)盛大(dà)的(de)party活動,所有(yǒu)參會(huì)人(rén)員(yuán)憑胸卡就α♠(jiù)可(kě)以參加。在這(zhè)裡(lǐ)不(bù)僅₹₹✘¶有(yǒu)免費(fèi)的(de)印有(yǒu)hadoop峰會(huì)字樣的(de)人(rén)力三輪車( ¶chē)負責接送會(huì)場(chǎng)和(hé)party的(de)人(rén)群,還(hái)有(y€σλǒu)現(xiàn)場(chǎng)樂(yuèε×)隊表演,最棒的(de)是(shì)有(✔↓yǒu)世界各國(guó)的(de)美( ★§měi)食和(hé)美(měi)酒可(kě)以品嘗。晚風‌‌≠↑(fēng)徐徐,竟是(shì)醉了(le)。

除此以外(wài),我還(hái)參加了(le)“使用(yòng£™♦)Hadoop的(de)女(nǚ)性”(Women i♠±n Hadoop)活動,大(dà)多(duō)數×☆ (shù)參與的(de)人(rén)都(dōu)是(shì)Ω$£¶開(kāi)發使用(yòng)Hadoo✔ &p的(de)女(nǚ)性同胞們,确實是(shì)γ&Hadoop使用(yòng)者中的(de)&§↕€✔ldquo;少(shǎo)數(shù)民(mín)族”↑÷$®。很(hěn)經典的(de)一(yī)件(jiàn)事(shì)就(jiù)π&是(shì)一(yī)場(chǎng)講座結束後男(nán)洗手間(j♠✘♠×iān)門(mén)口總是(shì)排起了(le)長(cháng)隊,而女(n≠÷ǚ)洗手間(jiān)則根本沒有(yǒu)這(zhè)樣®®δ的(de)煩惱。另一(yī)個(gè)我們討(tǎo)論的(d♠€₽e)發現(xiàn)就(jiù)是(shì)在12∏¥✔<位主題演講嘉賓中沒有(yǒu)一(yī)位女(n">©‍ǚ)性。但(dàn)是(shì),在技(j  ì)術(shù)講座中凡是(shì)有(yǒu"↓Ω<)女(nǚ)性參與的(de)講座,觀衆都(dō×>↓≥u)很(hěn)多(duō),講座很(hěn)有(yǒu)條理(lǐγ♦✘₩),效果也(yě)非常好(hǎo)。這(zhè)就(jiù)說(sh₩∏uō)明(míng)并不(bù)是(sh ™"×ì)女(nǚ)性同胞不(bù)适合講座,隻是(shì)≥✘大(dà)家(jiā)缺乏了(le)解參與講座的(de)途徑,也(yě)缺₽≥✔少(shǎo)發表演講的(de)鼓勵。所以Women in Had ∏βoop這(zhè)個(gè)活動的(de)目的(de)就(jiù)是(sh£↔§$ì)圍繞“女(nǚ)士當自(zì)強&₩↕rdquo;為(wèi)主題討(tǎo)論一(yī)下(xΩ∑ià)我們可(kě)以做(zuò)什(shén)麽樣的(de)事(shì₩β)幫助更多(duō)聰明(míng)的(de)女(nǚ)性加入到(dào)ha≈$≈εdoop技(jì)術(shù)的(de)大(dà)軍中。參加活動€ 的(de)還(hái)有(yǒu)一(yī)φ≈些(xiē)男(nán)士,比如(rú)迪士尼負責magα•∞∑ic bend數(shù)據開(kāi)發的(de)Caleb,他(tā)說(§‍δΩshuō)他(tā)有(yǒu)一(yī)個(gè)女(↓φ↕βnǚ)兒(ér)雖然很(hěn)小(xiǎo)但(‍σ ∏dàn)是(shì)對(duì)技(jì)術(shù<♠♦)很(hěn)感興趣,問(wèn)我作(z Ω♦εuò)為(wèi)年(nián)輕的(de)女↔←σδ(nǚ)士有(yǒu)什(shén)麽好(hǎo ∑↓)的(de)建議(yì)。最後我們通(tōng)過每人∞≠≤₩(rén)30秒(miǎo)的(de)自(zì)我介紹環節互相(xiàng) →×™認識,加了(le)LinkedIn,希望在以後的(de)職業(yè)發展≥>ε"道(dào)路(lù)上(shàng)能(néng)♦₽★夠互幫互助。

Hadoop Summit 2015之”使用(yòng)Hadoo™÷p的(de)女(nǚ)性” W ♦omen in Hadoop BOF S "₹≤ession展示的(de)PPT頁面之一(yī),引人(rén‌Ωδ)深思。