主頁(yè) > 知識(shí)庫(kù) > 阿里雙11狂歡幕后：打造世界級(jí)計(jì)算引擎

阿里雙11狂歡幕后：打造世界級(jí)計(jì)算引擎

2015天貓雙11全球狂歡節(jié)拉開帷幕，阿里巴巴的工程師們又忙碌了起來(lái)。在力保全球“剁手黨”順暢購(gòu)物的同時(shí)，他們還將在雙11驗(yàn)證多項(xiàng)開創(chuàng)性技術(shù)，對(duì)全世界展示阿里巴巴的整體技術(shù)實(shí)力。
阿里巴巴雙11技術(shù)總指揮劉振飛表示：“雙11不僅是一場(chǎng)全球消費(fèi)者的狂歡，也是對(duì)中國(guó)互聯(lián)網(wǎng)技術(shù)體系的實(shí)力檢驗(yàn)。一下子幾千萬(wàn)人涌進(jìn)來(lái)買買買，這種真實(shí)的商業(yè)場(chǎng)景全世界一年也只有一次。阿里技術(shù)人能夠用世界級(jí)的技術(shù)創(chuàng)新，支撐世界級(jí)的經(jīng)濟(jì)現(xiàn)象，是非常幸運(yùn)的。

異地多活：給1000公里外的飛機(jī)換引擎
去年雙11，阿里巴巴在全球首創(chuàng)交易系統(tǒng)“異地雙活”，而今年有了更大的突破：在支付寶這樣高度復(fù)雜與嚴(yán)謹(jǐn)?shù)慕鹑谙到y(tǒng)中，實(shí)現(xiàn)1000公里以上的“異地多活”能力。
“異地多活”已經(jīng)超越了兩地三中心等傳統(tǒng)災(zāi)備概念，可實(shí)現(xiàn)多地?cái)?shù)據(jù)中心像一個(gè)數(shù)據(jù)中心一樣工作，即使某一處數(shù)據(jù)中心出現(xiàn)故障，雙11在線業(yè)務(wù)仍然能夠快速恢復(fù)正常運(yùn)轉(zhuǎn)。
“數(shù)據(jù)中心的切換，要在用戶毫無(wú)感知的情況下進(jìn)行，這就像為正在飛行的波音747飛機(jī)更換引擎。不僅不能影響飛行，飛機(jī)上的乘客也不能有感覺”。目前，阿里巴巴支撐雙11的多地?cái)?shù)據(jù)中心，最遠(yuǎn)距離已超過(guò)1000公里，這就意味著阿里巴巴具備了在全國(guó)任意節(jié)點(diǎn)部署系統(tǒng)的能力。
公開資料顯示，全球能夠做到異地多活技術(shù)的只有少數(shù)幾家互聯(lián)網(wǎng)巨頭，如Google、Facebook。但二者的搜索、社交場(chǎng)景對(duì)數(shù)據(jù)同步性的要求遠(yuǎn)不如交易、支付場(chǎng)景苛刻，“如果你賬戶里的錢無(wú)緣無(wú)故地多一個(gè)0或少一個(gè)0，后果都很嚴(yán)重。”
同時(shí)，阿里巴巴正在將這一過(guò)程中積累的技術(shù)逐步開放。比如，可以在較長(zhǎng)延時(shí)的情況下解決多點(diǎn)數(shù)據(jù)同步的技術(shù)，已經(jīng)通過(guò)阿里云數(shù)據(jù)傳輸產(chǎn)品（Data Transmission）對(duì)外開放，能夠讓云用戶輕松實(shí)現(xiàn)遠(yuǎn)距離、毫秒級(jí)異步數(shù)據(jù)傳輸。

OceanBase: 雙11背后的中國(guó)自研數(shù)據(jù)庫(kù)
    今年雙11的核心交易流量，將100%由金融級(jí)海量數(shù)據(jù)庫(kù)OceanBase承載。這一事件將對(duì)全球IT業(yè)的格局產(chǎn)生深遠(yuǎn)影響。
    OceanBase由阿里巴巴自主研發(fā)，是中國(guó)首個(gè)具有自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)庫(kù)，也是全球首個(gè)應(yīng)用在金融業(yè)務(wù)的分布式關(guān)系數(shù)據(jù)庫(kù)。
    OceanBase 2010年誕生，2014年支撐了10%的雙11交易流量。今年6月，網(wǎng)商銀行開業(yè)，底層數(shù)據(jù)庫(kù)全部采用OceanBase，是第一家完全擺脫商業(yè)數(shù)據(jù)庫(kù)的金融機(jī)構(gòu)。而PayPal等美國(guó)金融機(jī)構(gòu)，仍然主要依靠Oracle等。
與傳統(tǒng)數(shù)據(jù)庫(kù)相比，OceanBase的系統(tǒng)維護(hù)，不需要昂貴的共享存儲(chǔ)設(shè)備和高性能服務(wù)器，還能節(jié)省數(shù)據(jù)庫(kù)軟件的許可費(fèi)，和常用的商業(yè)數(shù)據(jù)庫(kù)相比，成本不到其一半。同時(shí)，分布式的系統(tǒng)，可以更好地應(yīng)對(duì)雙11這類大流量沖擊：彈性能力可保證大促之前完成一鍵擴(kuò)容、大促之后實(shí)現(xiàn)一鍵縮容。
同樣，OceanBase也計(jì)劃于明年通過(guò)阿里云的公共云計(jì)算平臺(tái)對(duì)外界開放。

一鍵建站：90分鐘再造淘寶天貓
    每年雙11，為了應(yīng)對(duì)巨大的流量沖擊，阿里都需要新建淘寶和天貓的交易單元，與原有的系統(tǒng)一起“協(xié)同作戰(zhàn)”，以便分散流量，減輕系統(tǒng)負(fù)擔(dān)。
    以往，重新部署一套交易單元至少需要提前1個(gè)月的時(shí)間準(zhǔn)備。今年雙11，由于采用了“一鍵建站”的技術(shù)，使得這項(xiàng)費(fèi)時(shí)費(fèi)力的巨大工程，得以在90分鐘之內(nèi)自動(dòng)化完成。
    一鍵建站，是指在基礎(chǔ)設(shè)施具備的條件下，通過(guò)阿里自研的自動(dòng)化軟件，將中間件、數(shù)據(jù)庫(kù)、商品交易系統(tǒng)、商品展示系統(tǒng)等上百個(gè)電商核心系統(tǒng)，像搭積木一樣部署完成。整個(gè)過(guò)程一鍵完成，基本無(wú)需人工干預(yù)，所需時(shí)間不到90分鐘。

計(jì)算能力輸出：商家可日處理400萬(wàn)訂單
    今年，阿里云將繼續(xù)通過(guò)聚石塔向雙11商家輸送充足的計(jì)算能力。搭建在阿里云平臺(tái)上的聚石塔，今年預(yù)計(jì)將處理99%以上的雙11訂單，可支持單個(gè)天貓商家日處理訂單超過(guò)400萬(wàn)單。
    2012年開始，聚石塔以阿里云為基礎(chǔ)推出一整套的解決方案，為天貓、淘寶平臺(tái)上的服務(wù)商及商家服務(wù)。聚石塔部署在阿里云的遠(yuǎn)程數(shù)據(jù)中心中，安全條件、穩(wěn)定性、性能遠(yuǎn)超過(guò)商家的辦公環(huán)境和傳統(tǒng)IDC，針對(duì)設(shè)備故障，斷網(wǎng)斷電等均有應(yīng)急預(yù)案。
在傳統(tǒng)模式下，商家做促銷時(shí)要進(jìn)行服務(wù)器擴(kuò)容，小賣家要去電腦城買幾臺(tái)機(jī)器扛回家，大賣家則需要臨時(shí)尋找IDC資源，在應(yīng)對(duì)了促銷節(jié)點(diǎn)之后，業(yè)務(wù)量回落，服務(wù)器又會(huì)閑置無(wú)用，造成了很大浪費(fèi)。通過(guò)聚石塔，商家可隨時(shí)線上擴(kuò)充服務(wù)器資源，想用幾天就用幾天，用后再縮回去，低碳環(huán)保又省錢。
2014年，聚石塔處理了96%的雙11訂單，無(wú)一故障、無(wú)一漏單。2015年，通過(guò)云計(jì)算系統(tǒng)的優(yōu)化，中間件能力的使用，服務(wù)商應(yīng)用系統(tǒng)整體性能比之前提升62%，能支持單個(gè)商家每天400萬(wàn)以上的訂單處理能力。

金融云架構(gòu)：日支付處理能力達(dá)10億筆
據(jù)介紹，目前支付寶在技術(shù)上已全面升級(jí)到金融云架構(gòu)，可以支持每日十億筆以上的支付處理能力，并且具備了金融級(jí)的“異地多活”容災(zāi)能力。
跟支付寶有合作的200多家銀行，一直是雙11支付保障的主力軍。今年各家銀行的系統(tǒng)容量在去年雙11的基礎(chǔ)上擴(kuò)大了一倍。從8月份開始，各家銀行就逐步對(duì)擴(kuò)容后的系統(tǒng)進(jìn)行仿實(shí)戰(zhàn)的高強(qiáng)度壓力測(cè)試。壓測(cè)覆蓋了用戶從開始購(gòu)物到創(chuàng)建交易、訪問(wèn)收銀臺(tái)到最終完成支付的整個(gè)鏈路，確保包含基礎(chǔ)設(shè)施、業(yè)務(wù)系統(tǒng)和銀行渠道在內(nèi)的整個(gè)系統(tǒng)可以穩(wěn)定支撐雙11的驚人支付洪峰。

ODPS：數(shù)據(jù)狂歡背后的超強(qiáng)計(jì)算引擎
    “整個(gè)天貓雙11，你看到的一切，幾乎都是由算法決定的。”在數(shù)據(jù)科學(xué)家們看來(lái)，雙11是無(wú)數(shù)個(gè)“0和1”、成千上萬(wàn)套算法的疊加。這是一場(chǎng)機(jī)器和數(shù)學(xué)公式主導(dǎo)的全球購(gòu)物狂歡。
    今年雙11，無(wú)線端的交易將占主導(dǎo)地位。如何利用阿里巴巴存儲(chǔ)的數(shù)百PB數(shù)據(jù)，在狹小的手機(jī)屏幕為用戶創(chuàng)造更智能化的購(gòu)物體驗(yàn)？這一切都將通過(guò)阿里云自主研發(fā)的大數(shù)據(jù)處理平臺(tái)ODPS來(lái)計(jì)算。
    今年雙11，淘寶、天貓、支付寶、菜鳥等所有大數(shù)據(jù)處理工作，都將由阿里云ODPS來(lái)完成。在剛剛結(jié)束的2015世界Sort Benchmark排序比賽中，阿里云ODPS用377秒完成了100TB的數(shù)據(jù)排序，打破了此前Apache Spark創(chuàng)造的1406秒紀(jì)錄，一舉創(chuàng)造4項(xiàng)世界紀(jì)錄。
    此外，ODPS的實(shí)時(shí)計(jì)算系統(tǒng)StreamSQL，雙11當(dāng)天預(yù)計(jì)日消息處理量將達(dá)上萬(wàn)億條。而這一能力，正在通過(guò)阿里云逐步開放出來(lái)。
    通過(guò)ODPS的大數(shù)據(jù)和實(shí)時(shí)計(jì)算能力，淘寶天貓正在進(jìn)行這樣的嘗試：讓商家可以根據(jù)消費(fèi)者的實(shí)時(shí)位置推薦商品。比如，當(dāng)外地游客在逛西湖時(shí)，不妨推薦一些杭州特產(chǎn)。

dataV：實(shí)時(shí)觸摸數(shù)據(jù)世界的脈搏
在阿里巴巴每天海量的交易面前，如何精準(zhǔn)把握由數(shù)據(jù)脈搏帶來(lái)的趨勢(shì)也成為極大的挑戰(zhàn)。對(duì)此，阿里巴巴研發(fā)了dataV數(shù)據(jù)可視化引擎，該引擎完全基于Web 技術(shù) ，可快速、低成本的部署。用于內(nèi)部的商品、交易、支付、數(shù)據(jù)中心等的可視化呈現(xiàn)和管理，幫助實(shí)現(xiàn)更精準(zhǔn)的調(diào)控。
自2013年起，雙11交易數(shù)據(jù)大屏成為對(duì)外直播狂歡節(jié)的重要窗口，而在2015年的全球狂歡節(jié)上，這一巨型數(shù)據(jù)大屏還將移植到水立方，以實(shí)時(shí)動(dòng)態(tài)可視圖的方式向全球用戶直播雙11的數(shù)據(jù)魅力。
據(jù)悉，水立方數(shù)據(jù)大屏上，該數(shù)據(jù)可視化引擎既可以利用3D webgl技術(shù)從宏觀角度展示雙十一平臺(tái)總體交易訂單實(shí)時(shí)流向的全量展示，也可以通過(guò)便捷的交互手段，深入到城市級(jí)別進(jìn)行微觀的人群畫像分析。
目前，這一技術(shù)已計(jì)劃通過(guò)阿里云向外輸出，很快將會(huì)有標(biāo)準(zhǔn)化產(chǎn)品推出。

全站Https加密保全球用戶訪問(wèn)安全
雙11已經(jīng)成為全球的節(jié)日，如果非洲的朋友想買個(gè)中國(guó)產(chǎn)的馬桶，他的體驗(yàn)會(huì)是如何呢？
為提供更安全快速的訪問(wèn)體驗(yàn)，阿里云今年在全球部署CDN的國(guó)家和地區(qū)增加到30多個(gè)，覆蓋除南極洲外的六大洲，可從容應(yīng)對(duì)越來(lái)越多的海外用戶同時(shí)訪問(wèn)。在國(guó)內(nèi)，阿里云擁有近500個(gè)CDN節(jié)點(diǎn)，帶寬服務(wù)能力超10Tbps，實(shí)現(xiàn)毫秒級(jí)響應(yīng)。
不僅要快，還要安全，阿里云CDN為保障此次雙11狂歡節(jié)，幫助淘寶、天貓、聚劃算等阿里電商平臺(tái)全面實(shí)現(xiàn)了HTTPS加密訪問(wèn)，能有效防止資源被劫持，使用戶端與服務(wù)器之間收發(fā)的信息傳輸更加安全。據(jù)悉，這也是全球首家大型電商網(wǎng)站實(shí)現(xiàn)全站Https加密訪問(wèn)。

精準(zhǔn)識(shí)別流量是用戶還是黑客攻擊
遇到雙十一類似的重大促銷節(jié)點(diǎn)，不少電商平臺(tái)流量激增。此時(shí)此刻，如何分辨哪些是正常流量，哪些是黑客借機(jī)惡意攻擊搗亂，過(guò)去一直是個(gè)老大難。
今年雙十一期間，阿里云安全團(tuán)隊(duì)通過(guò)數(shù)據(jù)模型實(shí)現(xiàn)了DDoS的檢測(cè)。當(dāng)流量來(lái)襲，在進(jìn)行安全防御之前，系統(tǒng)通過(guò)好人行為模型，惡意IP地址比對(duì)等技術(shù)手段，完成了對(duì)流量成分的分析，并最終實(shí)現(xiàn)了每次大促不放過(guò)一個(gè)黑客攻擊，更不讓一個(gè)用戶正常訪問(wèn)受阻的愿景。
細(xì)心的淘寶用戶可能已經(jīng)發(fā)現(xiàn)，今年雙十一省略了繁瑣的驗(yàn)證碼輸入，買買買的體驗(yàn)更順滑了。這背后就是阿里云安全團(tuán)隊(duì)反欺詐產(chǎn)品的“功勞”。
過(guò)去，設(shè)置手動(dòng)輸入驗(yàn)證碼主要是為了幫助系統(tǒng)識(shí)別正在交易的究竟是用戶還是機(jī)器。隨著反欺詐產(chǎn)品通過(guò)數(shù)據(jù)模型從用戶敲擊鍵盤、滑動(dòng)鼠標(biāo)、點(diǎn)擊瀏覽頁(yè)面等行為中計(jì)算分析出電腦前的究竟是真實(shí)的用戶還是一臺(tái)機(jī)器，驗(yàn)證碼終將逐漸完成使命，退出風(fēng)控防御的歷史舞臺(tái)。
目前，阿里云安全團(tuán)隊(duì)為雙十一護(hù)航的各項(xiàng)能力已通過(guò)安全品牌云盾對(duì)外輸出。

手機(jī)淘寶1秒打開
為了讓今年雙11消費(fèi)者始終能保持飛一般的體驗(yàn)，手機(jī)淘寶搭建了一個(gè)世界級(jí)無(wú)線云平臺(tái)，能夠同時(shí)服務(wù)億級(jí)用戶，并實(shí)現(xiàn)了一系列技術(shù)優(yōu)化：內(nèi)存節(jié)省50%，滑動(dòng)提速20%，1秒打開手淘頁(yè)面。除此之外,雙11會(huì)場(chǎng)全面?zhèn)€性化，讓消費(fèi)者在手機(jī)屏幕上也能輕松到自己喜歡的寶貝。
此外，手淘的攻城獅們還建立了2G網(wǎng)絡(luò)實(shí)驗(yàn)室，通過(guò)不斷模擬測(cè)試，實(shí)現(xiàn)2G弱網(wǎng)環(huán)境下的手機(jī)也能實(shí)現(xiàn)1秒建立連接，讓沒有智能手機(jī)和高速網(wǎng)絡(luò)的消費(fèi)者，也能擁有更流暢的購(gòu)物體驗(yàn)。

加入阿里云11.11云端狂歡節(jié)：http://click.aliyun.com/m/2487/

標(biāo)簽：合肥固原晉城韶關(guān) 延邊隴南貴陽(yáng) 南京

巨人網(wǎng)絡(luò)通訊聲明：本文標(biāo)題《阿里雙11狂歡幕后：打造世界級(jí)計(jì)算引擎》，本文關(guān)鍵詞；如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題，煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們，我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò)，涉及言論、版權(quán)與本站無(wú)關(guān)。

佳木斯湛栽影视文化发展公司

阿里雙11狂歡幕后：打造世界級(jí)計(jì)算引擎

QQ咨詢

電話咨詢