大數(shù)據(jù)時(shí)代到來(lái)，帶來(lái)海量數(shù)據(jù)的爆發(fā)式增長(zhǎng)，同時(shí)催生了多種數(shù)據(jù)類(lèi)型結(jié)構(gòu)，對(duì)傳統(tǒng)大數(shù)據(jù)技術(shù)提出了挑戰(zhàn)。在我國(guó)，行業(yè)客戶(hù)是大數(shù)據(jù)應(yīng)用的主體，區(qū)別于互聯(lián)網(wǎng)應(yīng)用，行業(yè)大數(shù)據(jù)的關(guān)聯(lián)性強(qiáng)，大數(shù)據(jù)應(yīng)用復(fù)雜，跨度更大，跨部門(mén)，甚至跨行業(yè)需求更多，并且行業(yè)用戶(hù)需求處理準(zhǔn)確性，相應(yīng)及時(shí)性也遠(yuǎn)高于互聯(lián)網(wǎng)技術(shù)，互聯(lián)網(wǎng)模糊數(shù)據(jù)難以滿(mǎn)足精確數(shù)據(jù)的要求，用戶(hù)迫切需要企業(yè)能夠提供適應(yīng)行業(yè)大數(shù)據(jù)應(yīng)用特點(diǎn)的全新的處理技術(shù)，提供軟硬件一體化整合性產(chǎn)品和服務(wù)。
11月27日，浪潮集團(tuán)大數(shù)據(jù)戰(zhàn)略發(fā)布暨云海大數(shù)據(jù)一體機(jī)產(chǎn)品發(fā)布會(huì)在京召開(kāi)。在當(dāng)天的發(fā)布會(huì)上，浪潮集團(tuán)系統(tǒng)軟件總監(jiān)、云計(jì)算產(chǎn)品研發(fā)部總經(jīng)理張東全面解讀浪潮基于推動(dòng)中國(guó)行業(yè)大數(shù)據(jù)應(yīng)用的大數(shù)據(jù)整體戰(zhàn)略，并面向產(chǎn)業(yè)界細(xì)致解讀了浪潮自主研發(fā)的采用全新技術(shù)架構(gòu)的大數(shù)據(jù)處理平臺(tái)產(chǎn)品——云海大數(shù)據(jù)一體機(jī)。張東指出：針對(duì)當(dāng)前數(shù)據(jù)處理特點(diǎn)，必須依靠定制化、專(zhuān)業(yè)化的設(shè)備，幫助行業(yè)用戶(hù)邁過(guò)應(yīng)用門(mén)檻。
全分布式新型體系結(jié)構(gòu)
云海大數(shù)據(jù)一體機(jī)采用全分布式大數(shù)據(jù)處理架構(gòu)，將硬件、軟件整合在一個(gè)體系中，采用不同的數(shù)據(jù)處理的架構(gòu)來(lái)提供對(duì)不同行業(yè)應(yīng)用的支撐。通過(guò)新型的數(shù)據(jù)處理架構(gòu)，實(shí)現(xiàn)了計(jì)算隨數(shù)據(jù)分布的數(shù)據(jù)本地化，保證了業(yè)務(wù)的連續(xù)性，即使三到四千個(gè)計(jì)算單元重載節(jié)點(diǎn)情況下，還能夠?qū)崿F(xiàn)相對(duì)比較好的擴(kuò)展性。
在硬件方面，針對(duì)視頻數(shù)據(jù)挖掘、在線交易這樣的應(yīng)用，由于這類(lèi)應(yīng)用對(duì)于計(jì)算量要求高，因此采用CPU多、內(nèi)存多的重載節(jié)點(diǎn)，并增加專(zhuān)用的加速芯片，針對(duì)對(duì)計(jì)算、存儲(chǔ)和IO均衡的應(yīng)用，采用通用數(shù)據(jù)單元，第三類(lèi)則是針對(duì)對(duì)數(shù)據(jù)處理快速響應(yīng)的應(yīng)用場(chǎng)景，提供輕量計(jì)算單元，而存儲(chǔ)則采用整體一體解決方案，充分發(fā)揮新型存儲(chǔ)節(jié)制的作用，比如閃存盤(pán)的技術(shù)，將閃存盤(pán)放在整個(gè)計(jì)算緩存里面做高速緩存，針對(duì)不同應(yīng)用類(lèi)型，實(shí)現(xiàn)全局的算法，降低冗余率，同時(shí)采用基于浪潮設(shè)計(jì)的全新大數(shù)據(jù)高速互聯(lián)芯片以及高速互聯(lián)TOP網(wǎng)絡(luò)構(gòu)成全新的網(wǎng)絡(luò)互聯(lián)，使整個(gè)平臺(tái)的計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)大大提高運(yùn)行效率。
在算法方面，云海大數(shù)據(jù)一體機(jī)采針對(duì)分布式計(jì)算的算法進(jìn)行整體優(yōu)化。眾所周知，分布式計(jì)算是一個(gè)普遍應(yīng)用的技術(shù)，在互聯(lián)網(wǎng)行業(yè)里面，它可能對(duì)于任務(wù)這種一致性，對(duì)任務(wù)要求快慢并不是很高，比如搜索發(fā)出去一萬(wàn)個(gè)結(jié)果，可能回來(lái)是九千個(gè)，丟掉一千是無(wú)所謂的，但是行業(yè)應(yīng)用是不一樣的，所有的結(jié)果都需要全部返回來(lái)，因此優(yōu)化系統(tǒng)任務(wù)調(diào)度策略極為關(guān)鍵，要對(duì)任務(wù)實(shí)現(xiàn)針對(duì)監(jiān)控，并動(dòng)態(tài)調(diào)整任務(wù)執(zhí)行資源，減少慢任務(wù)數(shù)量，提高整體性能。
