【資料圖】
國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布境內(nèi)深度合成服務(wù)算法備案清單,百度阿里騰訊字節(jié)訊飛等在列。6 月20 日,國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布境內(nèi)深度合成服務(wù)算法備案清單(2023 年6 月),其中包括美團(tuán)在線智能客服算法、快手短視頻生成合成算法、百度文生圖內(nèi)容生成算法、百度PLATO 大模型算法、火山引擎智能美化特效算法、騰訊會(huì)議虛擬背景算法、天貓小蜜智能客服算法、訊飛星火認(rèn)知大模型算法等。《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十九條明確規(guī)定,具有輿論屬性或者社會(huì)動(dòng)員能力的深度合成服務(wù)提供者,應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行備案和變更、注銷(xiāo)備案手續(xù)。深度合成服務(wù)技術(shù)支持者應(yīng)當(dāng)參照履行備案和變更、注銷(xiāo)備案手續(xù)。網(wǎng)信辦官網(wǎng)專(zhuān)門(mén)指出:“請(qǐng)尚未履行備案手續(xù)的深度合成服務(wù)提供者和技術(shù)支持者盡快申請(qǐng)備案”。我們認(rèn)為,此次清單的發(fā)布,為應(yīng)用的合規(guī)奠定了法律基礎(chǔ),未來(lái)應(yīng)用的落地有望進(jìn)一步加速。
騰訊云披露行業(yè)大模型方案進(jìn)展,并公布MaaS(Model-as-a-Service)能力全景圖。根據(jù)騰訊云官微,騰訊云基于企業(yè)痛點(diǎn)和需求,依托騰訊云TI 平臺(tái)打造的行業(yè)大模型精選商店,提供涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開(kāi)發(fā)等一站式行業(yè)大模型解決方案。內(nèi)置多個(gè)高質(zhì)量行業(yè)大模型,涵蓋金融、傳媒、文旅、政務(wù)、教育等多個(gè)行業(yè)場(chǎng)景。兼容支持多模型訓(xùn)練任務(wù),企業(yè)可以按需取用。在此基礎(chǔ)上,企業(yè)不僅可以加入獨(dú)有的場(chǎng)景、數(shù)據(jù),快速精調(diào)生成專(zhuān)屬模型;也可根據(jù)業(yè)務(wù)場(chǎng)景需求,按需定制不同參數(shù)、規(guī)格的模型服務(wù)。同時(shí),騰訊云還提供完善的大模型工具鏈和配套服務(wù),包括數(shù)據(jù)標(biāo)注、訓(xùn)練、測(cè)試、評(píng)估、部署等全套工具,助力快速精調(diào)大模型,客戶(hù)按需靈活使用,加速大模型在產(chǎn)業(yè)的落地。同時(shí),提供本地化的訓(xùn)練、落地及陪跑優(yōu)化服務(wù),為客戶(hù)掃清落地障礙。算力方面,騰訊云新一代HCC 高性能計(jì)算集群,專(zhuān)為大模型訓(xùn)練打造,具備業(yè)界最高的3.2T 互聯(lián)帶寬,將整體算力性能提升3 倍;即將推出的騰訊云向量數(shù)據(jù)庫(kù)(Tencent Cloud VectorDB),源自騰訊每日處理千億次檢索的向量引擎(OLAMA),單索引支持10 億級(jí)向量規(guī)模,更適合AI 運(yùn)算、檢索,數(shù)據(jù)接入AI 效率提升10 倍。我們認(rèn)為,騰訊云在行業(yè)大模型的發(fā)力有望使得行業(yè)信息化公司受益,這些公司擁有行業(yè)數(shù)據(jù)和行業(yè)know-how,能夠更好地與大模型公司合作,從而推出相關(guān)的行業(yè)大模型。
微軟發(fā)布 DeepSpeed ZeRO++,有望進(jìn)一步提升模型訓(xùn)練效率。6 月22 日,微軟在官方blog 發(fā)文,正式介紹了最新的 DeepSpeed ZeRO++。相比于ZeRO,ZeRO++的進(jìn)步主要在以下兩方面:(1)ZeRO++加速大型模型預(yù)訓(xùn)練和微調(diào)。
每個(gè)GPU 上 batch size 較小時(shí): 無(wú)論是在數(shù)千個(gè) GPU 上預(yù)訓(xùn)練大型模型,還是在數(shù)百個(gè)甚至數(shù)十個(gè) GPU 上對(duì)其進(jìn)行微調(diào),當(dāng)每個(gè) GPU 的batch size較小時(shí),ZeRO++ 提供比 ZeRO 高 2.2 倍的吞吐量,直接減少訓(xùn)練時(shí)間和成本。低帶寬計(jì)算集群: ZeRO++ 使低帶寬集群能夠?qū)崿F(xiàn)與帶寬高 4 倍的高端集群類(lèi)似的吞吐量。因此,ZeRO++ 可以跨更廣泛的集群進(jìn)行高效的大型模型訓(xùn)練。(2)ZeRO++加速 ChatGPT 類(lèi)的 RLHF 訓(xùn)練。雖然 ZeRO++ 主要是為訓(xùn)練而設(shè)計(jì)的,但它的優(yōu)化也自動(dòng)適用于 ZeRO-Inference,因?yàn)橥ㄐ砰_(kāi)銷(xiāo)對(duì)于ZeRO 的訓(xùn)練和推理同樣適用。 因此,ZeRO++ 可以提高人類(lèi)反饋強(qiáng)化學(xué)習(xí)(RLHF) 等算法的效率, 因?yàn)镽LHF 結(jié)合了訓(xùn)練和推理。通過(guò)與DeepSpeed-Chat 的集成,與原始 ZeRO 相比,ZeRO++ 可以將 RLHF 訓(xùn)練的生成階段效率提高多達(dá) 2 倍,強(qiáng)化學(xué)習(xí)訓(xùn)練階段效率提高多達(dá) 1.3 倍。博文中最后指出:“用于 DeepSpeed-Chat 的 ZeRO++ 將在未來(lái)幾周內(nèi)發(fā)布。”
我們認(rèn)為,DeepSpeed ZeRO++的發(fā)布,或有助于模型訓(xùn)練效率的進(jìn)一步提升,對(duì)AI 全行業(yè)的發(fā)展帶來(lái)更加積極的作用。
建議關(guān)注:浪潮信息、中科曙光、科大訊飛、金山辦公、新國(guó)都、賽意信息、博彥科技。
風(fēng)險(xiǎn)提示:AI 技術(shù)發(fā)展不及預(yù)期。
關(guān)鍵詞: