(資料圖)
IT之家 6 月 25 日消息，AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語言模型 MPT-30B，該模型具有 300 億參數(shù)，訓練成本“僅有其他同類競品模型的零頭”，有望促進行業(yè)逐步降低此類模型訓練成本，擴大 AI 模型在更廣泛領域的運用。
▲ 圖源 MosaicML
MosaicML 公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示，MPT-30B 的訓練成本為 70 萬美元（約 502.44 萬元人民幣），遠低于 GPT-3 等同類產(chǎn)品所需的數(shù)千萬美元訓練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓練，并且更適合部署在本地硬件上。
據(jù)悉，MosaicML 使用了 Alibi 和 FlashAttention 技術來優(yōu)化模型，可以實現(xiàn)更長的文本長度和對 GPU 計算的更高利用率。MosaicML 也是少數(shù)幾個能夠使用 Nvidia H100 GPU 的實驗室，相比以往成果，當下每塊 GPU 的吞吐量增加了 2.4 倍以上，可帶來更快的完成時間。
除了讓 AI 技術更容易獲得之外，MosaicML 還專注于提高數(shù)據(jù)質量并提高模型性能。他們目前正在開發(fā)一款工具，可以幫助用戶在預訓練過程中分層加入特定領域的數(shù)據(jù)，以確保訓練中開業(yè)實現(xiàn)多樣化和高質量的數(shù)據(jù)組合。
MosaicML 公司表示，將模型擴展到 300 億參數(shù)只是第一步，接下來他們將以降低成本為前提，推出體積更大、質量更高的模型。
IT之家注意到，目前開發(fā)者可以并使用開源的 MPT-30B 基礎模型，開發(fā)者還可以在本地硬件上使用自己的數(shù)據(jù)，對模型進行微調。
標簽：
