(相關(guān)資料圖)
9月8日,在上海舉辦的外灘大會上,螞蟻集團正式發(fā)布了金融大模型,并開源生成式AI編程平臺CodeFuse。螞蟻集團首席技術(shù)官、平臺技術(shù)事業(yè)群總裁何征宇在接受采訪時介紹,螞蟻大模型走純自研的技術(shù)路線,以全棧布局、長線發(fā)展為原則,以創(chuàng)造產(chǎn)業(yè)價值為目標(biāo)。為此,螞蟻堅決投入大模型底層基礎(chǔ)設(shè)施,目前已建成萬卡AI集群,訓(xùn)練效率領(lǐng)先行業(yè),為大模型產(chǎn)業(yè)化應(yīng)用提供有力支撐。
何征宇介紹,螞蟻一直以來堅持核心技術(shù)自主創(chuàng)新,2022年底正式立項大模型研發(fā),目前已形成從基礎(chǔ)大模型到行業(yè)大模型以及產(chǎn)業(yè)應(yīng)用的全棧布局。
今天發(fā)布的螞蟻金融大模型基于螞蟻基礎(chǔ)大模型,針對金融產(chǎn)業(yè)深度定制。何征宇介紹,螞蟻基礎(chǔ)大模型平臺具備萬卡異構(gòu)集群,其中千卡規(guī)模訓(xùn)練MFU可達(dá)到40%,集群有效訓(xùn)練時長占比90%以上,RLHF訓(xùn)練在同等模型效果下訓(xùn)練吞吐性能相較于業(yè)界方案提升3.59倍,推理性能相較于業(yè)界方案提升約2倍,處于業(yè)界先進水平。
何征宇表示,未來螞蟻將持續(xù)探索和精進大模型的五大能力方向。一是,建設(shè)高質(zhì)量的數(shù)據(jù)標(biāo)注團隊,沉淀高質(zhì)量數(shù)據(jù)體系;二是,攻堅基礎(chǔ)大模型算法,以及高效綠色工程能力,提升模型邏輯推理等能力;三是,從通用語言大模型到通用多模態(tài)大模型,從一般通識走向全面專業(yè);四是,建設(shè)高效的大模型評測標(biāo)準(zhǔn)和評測體系,加快大模型迭代速度;五是,建設(shè)大模型安全能力,保障大模型健康可持續(xù)發(fā)展。
在產(chǎn)業(yè)端,螞蟻將結(jié)合自身能力優(yōu)勢和大模型技術(shù)特征,重點探索金融、民生、科技服務(wù)等領(lǐng)域的落地應(yīng)用。
關(guān)鍵詞: