浪潮信息助力淮海智算中心,千億參數(shù)AI大模型訓練算力效率超50%

2023-02-21 15:36 來源:美通社 作者:電源網(wǎng)

北京2023年2月20日 /美通社/ -- 近日,淮海智算中心攜手浪潮信息進行了超大規(guī)模參數(shù)AI大模型訓練性能測試,實測數(shù)據(jù)表明,千億參數(shù)規(guī)模的自然語言AI單體大模型在淮海智算中心計算平臺上的訓練算力效率達53.5%,刷新了業(yè)內(nèi)AI大模型訓練算力效率新高。這意味著淮海智算中心將可為國內(nèi)生成式AI創(chuàng)新團隊提供高性能、高效率的AI大模型訓練算力服務(wù)。

生成式AI需要基于海量的自然語言或多模態(tài)數(shù)據(jù)集,對擁有巨大參數(shù)的超大規(guī)模AI模型進行訓練,其訓練所需AI算力當量非常高,如以PD(Petaflops-Day)為單位來衡量,OpenAI的GPT-3大模型訓練的算力當量為3640PD,而浪潮"源1.0"大模型的算力當量則為4095PD。

超大規(guī)模AI大模型的訓練一般必須在擁有成百上千加速卡的AI服務(wù)器集群上進行,如何在AI計算集群上獲得更高的訓練算力效率則會直接影響到模型訓練時長以及算力消耗成本,這對于提升生成式AI研發(fā)創(chuàng)新效率有著非常重要的影響。據(jù)公開資料表明,GPT-3大模型在其V100 GPU集群上的訓練算力效率為21.3%,而浪潮"源1.0"的訓練算力效率則達到了44.8%。

針對AI大模型訓練的計算特點,浪潮信息AI團隊對淮海智算中心算力系統(tǒng)進行了專業(yè)設(shè)計,對集群架構(gòu)、高速互聯(lián)、算力調(diào)度等方面進行全面優(yōu)化,在系統(tǒng)架構(gòu)上,采用單節(jié)點集成8顆加速器的AI服務(wù)器,節(jié)點內(nèi)加速器間實現(xiàn)超高速P2P通信,節(jié)點間建立極低延遲、超高帶寬的Infiniband通信網(wǎng)絡(luò)。在大模型訓練技術(shù)層面,成功運用了中文巨量AI模型"源1.0"的訓練優(yōu)化經(jīng)驗,對分布式訓練策略進行了針對性優(yōu)化,通過合理設(shè)計張量并行、流水并行和數(shù)據(jù)并行,精準調(diào)整模型結(jié)構(gòu)和訓練過程的超參數(shù),最終實現(xiàn)了千億參數(shù)規(guī)模AI大模型的訓練算力效率達到53.5%。

千億參數(shù)AI模型結(jié)構(gòu)及其實際性能表現(xiàn)
千億參數(shù)AI模型結(jié)構(gòu)及其實際性能表現(xiàn)

千億參數(shù)AI模型結(jié)構(gòu)及其實際性能表現(xiàn)

淮海智算中心由安徽省宿州市與浪潮共同推進建設(shè),目標是建成技術(shù)先進、架構(gòu)開放、應(yīng)用豐富、生態(tài)完善的國內(nèi)領(lǐng)先智算樞紐?;春V撬阒行膶⒁揽款I(lǐng)先的算力、算法基礎(chǔ)設(shè)施,開放的技術(shù)架構(gòu),成熟豐富的生態(tài)應(yīng)用,面向全國提供智能算力、數(shù)據(jù)和算法服務(wù),打造良好的智算產(chǎn)業(yè)生態(tài)。

浪潮 海智算中心 AI

一周熱門

  • 合翔電子X中之杰智能:揭秘一家離散制造企業(yè)的柔性智造秘訣!
    合翔(常州)電子有限公司成立于1996年,主要生產(chǎn)蜂鳴器并廣泛應(yīng)用于汽車、筆記本電腦、家用電器等領(lǐng)域。公司有BYD、奇瑞
  • AI 推動未來科學 晶泰科技共襄未來科學大獎周
    近日,為期五天的未來科學大獎周在中國香港舉辦。未來科學大獎周旨在弘揚科學精神,禮贊科學成就,以前瞻視角引領(lǐng)公眾探尋世界科
  • Quobly宣布容錯量子計算關(guān)鍵里程碑
    法國領(lǐng)先的量子計算初創(chuàng)公司Quobly報告稱,F(xiàn)D-SOI技術(shù)可以作為商業(yè)量子計算的可擴展平臺,充分利用傳統(tǒng)的半導體制造