(資料圖片)

【ITBEAR科技資訊】6月25日消息，AI 創(chuàng)業(yè)公司MosaicML近日發(fā)布了一款名為MPT-30B的語言模型，該模型擁有300億參數(shù)，訓(xùn)練成本遠(yuǎn)低于其他競爭對手，有望推動AI模型在更廣泛領(lǐng)域的應(yīng)用并逐步降低訓(xùn)練成本。

MosaicML首席執(zhí)行官兼聯(lián)合創(chuàng)始人Naveen Rao表示，MPT-30B的訓(xùn)練成本僅為70萬美元(約502.44萬元人民幣)，遠(yuǎn)低于類似產(chǎn)品如GPT-3所需的數(shù)千萬美元訓(xùn)練成本。該模型由于成本低、體積小，可以更快速地進(jìn)行訓(xùn)練，并且更適合在本地硬件上部署。

據(jù)ITBEAR科技資訊了解，MosaicML采用了Alibi和FlashAttention技術(shù)來優(yōu)化模型，這些技術(shù)可以實(shí)現(xiàn)更長的文本長度和更高的GPU計(jì)算利用率。MosaicML還是少數(shù)幾個(gè)能夠使用Nvidia H100 GPU的實(shí)驗(yàn)室之一，相較于以往的成果，他們的每塊GPU吞吐量提高了2.4倍以上，從而可以更快地完成訓(xùn)練過程。

除了使AI技術(shù)更易獲取外，MosaicML還專注于提高數(shù)據(jù)質(zhì)量并提升模型性能。他們目前正在開發(fā)一款工具，可以在預(yù)訓(xùn)練過程中逐步引入特定領(lǐng)域的數(shù)據(jù)，以確保訓(xùn)練中包含多樣化且高質(zhì)量的數(shù)據(jù)組合。

MosaicML表示，將模型參數(shù)擴(kuò)展到300億只是第一步，接下來他們將以降低成本為前提，推出更大體積、更高質(zhì)量的模型。

需要注意的是，開發(fā)者可以從Hugging Face下載并使用開源的MPT-30B基礎(chǔ)模型，還可以使用自己的數(shù)據(jù)在本地硬件上進(jìn)行微調(diào)。

關(guān)鍵詞：