北京2024年10月29日 /美通社/ -- 當前，隨著生成式人工智能和各行業(yè)的應用快速融合，大模型在企業(yè)端被越來越多的采用，以提高效率、降低成本、增強創(chuàng)新能力。大模型開發(fā)首先要解決的，便是訓練環(huán)境的搭建問題，在算力多元異構、依賴庫眾多、配置步驟繁瑣的情況下，如何快速搭建滿足要求的訓練環(huán)境，為底層算力平臺匹配最佳驅動，避免依賴庫及配置龐雜導致訓練環(huán)境魯棒性低的問題，成為各類大模型開發(fā)企業(yè)需要面對的挑戰(zhàn)。
為此，浪潮信息推出「元腦服務器操作系統(tǒng)KOS Al定制版」（簡稱KOS Al定制版），通過簡單2步即可實現(xiàn)大模型訓練環(huán)境部署，以搭建200節(jié)點訓練環(huán)境為例，過往需要數(shù)天時間才能完成，通過KOS AI定制版20分鐘即可完成上線可用，極大提升了大模型開發(fā)部署效率。
大模型訓練環(huán)境復雜 面臨兼容適配等多項挑戰(zhàn)
當前階段，大模型的發(fā)展仍然遵循Scaling Law，不斷增加的參數(shù)規(guī)模、訓練數(shù)據(jù)量以及計算資源，也讓大模型的部署環(huán)境變得十分復雜。大模型部署是一個系統(tǒng)性的問題，涉及到算力設備兼容、依賴庫配置、繁瑣的安裝步驟等等多個方面。
在硬件方面，算力設備的多樣性增加了兼容適配復雜性。在大模型訓練環(huán)境中，集成了多種類型和規(guī)格的算力設備，如不同型號的GPU、高速互連網(wǎng)絡、高性能分布式存儲等。這些設備在硬件架構、指令集和接口標準上存在差異，導致與操作系統(tǒng)、應用軟件以及其他硬件設備的兼容適配變得極為復雜，同時驅動和應用軟件選型不當將影響算力輸出效率。
在軟件方面，依賴庫及配置的龐雜性對訓練環(huán)境的魯棒性構成威脅。大模型訓練依賴大量的軟件庫、框架和配置參數(shù)，這些依賴項之間存在著復雜的依賴關系和嚴格的版本兼容性要求。一旦某個依賴項出現(xiàn)問題，如版本不匹配、配置錯誤或缺失，都可能導致訓練環(huán)境崩潰或性能急劇下降。
在部署方面，大模型訓練環(huán)境搭建流程比較繁瑣。算力支持層面，在確定GPU、網(wǎng)卡等硬件設備基礎上，需要安裝操作系統(tǒng)、下載硬件驅動并對驅動進行編譯；應用軟件方面，下載安裝CUDA、Cudnn、DCGM等AI軟件棧，以及相關管理和監(jiān)控軟件。最后，還要運行相關Benchmark對系統(tǒng)進行性能摸底。
KOS Al定制版 "2步"搞定大模型訓練環(huán)境部署
針對用戶在大模型部署中遇到的困難，浪潮信息推出KOS Al定制版，實現(xiàn)了覆蓋驅動和應用軟件編譯、鏡像文件構建、系統(tǒng)發(fā)布與部署的鏡像開發(fā)全流程創(chuàng)新， 解決了部署大模型訓練環(huán)境中遇到的硬件兼容適配、依賴項龐雜及安裝部署流程繁瑣等問題，讓大模型部署化繁為簡。
針對硬件兼容適配挑戰(zhàn)，浪潮信息KOS技術團隊憑借深厚的技術沉淀和經(jīng)驗積累，遴選出十余款GPU和infiniband卡的最佳驅動，驗證不同硬件環(huán)境下的軟件兼容性，優(yōu)化BIOS、底層驅動、文件系統(tǒng)和網(wǎng)絡等多項指標，實現(xiàn)平臺資源利用效率最大化。目前KOS已經(jīng)與1200+硬件板卡、250+服務器整機、400+數(shù)據(jù)庫中間件完成兼容性認證。
面對軟件依賴庫龐雜的問題，KOS Al定制版對鏡像構建過程中的軟件包安裝列表進行了擴展，并優(yōu)化了軟件包的集成范圍和安裝順序，解決軟件安裝依賴問題，確保在集成大量軟件的情況下，操作系統(tǒng)能夠順利完成安裝，且保證系統(tǒng)安裝完成后，驅動和應用軟件能夠正常進行編譯和安裝。同時，面對AI大模型訓練過程中某些應用軟件體積龐大，無法直接構建為rpm包集成至鏡像的挑戰(zhàn)，采用"軟件切割與再聚合"技術，將超大型軟件包進行分割，并在聚合后校驗其哈希值，以確保軟件的一致性，從而有效解決了超大軟件集成難題，實現(xiàn)了超大應用軟件的自動化安裝。
大模型部署的關鍵是單節(jié)點環(huán)境配置。在簡化發(fā)布與部署方面，為了解決大模型訓練集群單節(jié)點環(huán)境配置復雜的問題，KOS技術團隊開發(fā)了一套環(huán)境配置自動化部署腳本。該腳本能夠智能檢測操作系統(tǒng)的啟動狀態(tài)，只在系統(tǒng)安裝完成后的首次重啟時自動運行，確保在不同節(jié)點上快速部署大模型運行環(huán)境。在此之后的系統(tǒng)啟動中，該腳本將不再執(zhí)行，從而實現(xiàn)集群環(huán)境中單節(jié)點環(huán)境的自動部署。
用戶依托KOS AI定制版，僅需2步即可實現(xiàn)大模型訓練環(huán)境快速部署。
步驟1：利用PXE實現(xiàn)自動化系統(tǒng)部署
KOS AI定制版集成了大模型訓練環(huán)境部署所需的驅動、應用軟件和依賴庫等，用戶只需要把該定制版鏡像當作普通鏡像一樣進行自動化部署，通過PXE方式實現(xiàn)操作系統(tǒng)自動化安裝。
步驟2：正常開機啟動，完成環(huán)境部署
定制版鏡像安裝完成后，通過管理節(jié)點向計算節(jié)點下發(fā)重啟指令，計算節(jié)點重啟后，大模型訓練環(huán)境部署即可完成。
面對操作系統(tǒng)與AI結合的趨勢，KOS定位智算時代最AI的操作系統(tǒng)，全面優(yōu)先擁抱AI，深度融合AI能力。KOS Al定制版簡化了大模型部署流程，通過Al定制版部署大模型訓練環(huán)境具有簡單高效、廣泛兼容和運行穩(wěn)定等特點，大幅降低了用戶開發(fā)大模型的技術門檻。
