【資料圖】

國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布境內(nèi)深度合成服務(wù)算法備案清單，百度阿里騰訊字節(jié)訊飛等在列。6 月20 日，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布境內(nèi)深度合成服務(wù)算法備案清單（2023 年6 月），其中包括美團(tuán)在線智能客服算法、快手短視頻生成合成算法、百度文生圖內(nèi)容生成算法、百度PLATO 大模型算法、火山引擎智能美化特效算法、騰訊會(huì)議虛擬背景算法、天貓小蜜智能客服算法、訊飛星火認(rèn)知大模型算法等。《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十九條明確規(guī)定，具有輿論屬性或者社會(huì)動(dòng)員能力的深度合成服務(wù)提供者，應(yīng)當(dāng)按照《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》履行備案和變更、注銷(xiāo)備案手續(xù)。深度合成服務(wù)技術(shù)支持者應(yīng)當(dāng)參照履行備案和變更、注銷(xiāo)備案手續(xù)。網(wǎng)信辦官網(wǎng)專(zhuān)門(mén)指出：“請(qǐng)尚未履行備案手續(xù)的深度合成服務(wù)提供者和技術(shù)支持者盡快申請(qǐng)備案”。我們認(rèn)為，此次清單的發(fā)布，為應(yīng)用的合規(guī)奠定了法律基礎(chǔ)，未來(lái)應(yīng)用的落地有望進(jìn)一步加速。

騰訊云披露行業(yè)大模型方案進(jìn)展，并公布MaaS（Model-as-a-Service）能力全景圖。根據(jù)騰訊云官微，騰訊云基于企業(yè)痛點(diǎn)和需求，依托騰訊云TI 平臺(tái)打造的行業(yè)大模型精選商店，提供涵蓋模型預(yù)訓(xùn)練、模型精調(diào)、智能應(yīng)用開(kāi)發(fā)等一站式行業(yè)大模型解決方案。內(nèi)置多個(gè)高質(zhì)量行業(yè)大模型，涵蓋金融、傳媒、文旅、政務(wù)、教育等多個(gè)行業(yè)場(chǎng)景。兼容支持多模型訓(xùn)練任務(wù)，企業(yè)可以按需取用。在此基礎(chǔ)上，企業(yè)不僅可以加入獨(dú)有的場(chǎng)景、數(shù)據(jù)，快速精調(diào)生成專(zhuān)屬模型；也可根據(jù)業(yè)務(wù)場(chǎng)景需求，按需定制不同參數(shù)、規(guī)格的模型服務(wù)。同時(shí)，騰訊云還提供完善的大模型工具鏈和配套服務(wù)，包括數(shù)據(jù)標(biāo)注、訓(xùn)練、測(cè)試、評(píng)估、部署等全套工具，助力快速精調(diào)大模型，客戶(hù)按需靈活使用，加速大模型在產(chǎn)業(yè)的落地。同時(shí)，提供本地化的訓(xùn)練、落地及陪跑優(yōu)化服務(wù)，為客戶(hù)掃清落地障礙。算力方面，騰訊云新一代HCC 高性能計(jì)算集群，專(zhuān)為大模型訓(xùn)練打造，具備業(yè)界最高的3.2T 互聯(lián)帶寬，將整體算力性能提升3 倍；即將推出的騰訊云向量數(shù)據(jù)庫(kù)（Tencent Cloud VectorDB），源自騰訊每日處理千億次檢索的向量引擎（OLAMA），單索引支持10 億級(jí)向量規(guī)模，更適合AI 運(yùn)算、檢索，數(shù)據(jù)接入AI 效率提升10 倍。我們認(rèn)為，騰訊云在行業(yè)大模型的發(fā)力有望使得行業(yè)信息化公司受益，這些公司擁有行業(yè)數(shù)據(jù)和行業(yè)know-how，能夠更好地與大模型公司合作，從而推出相關(guān)的行業(yè)大模型。

微軟發(fā)布 DeepSpeed ZeRO++，有望進(jìn)一步提升模型訓(xùn)練效率。6 月22 日，微軟在官方blog 發(fā)文，正式介紹了最新的 DeepSpeed ZeRO++。相比于ZeRO，ZeRO++的進(jìn)步主要在以下兩方面：（1）ZeRO++加速大型模型預(yù)訓(xùn)練和微調(diào)。

每個(gè)GPU 上 batch size 較小時(shí)： 無(wú)論是在數(shù)千個(gè) GPU 上預(yù)訓(xùn)練大型模型，還是在數(shù)百個(gè)甚至數(shù)十個(gè) GPU 上對(duì)其進(jìn)行微調(diào)，當(dāng)每個(gè) GPU 的batch size較小時(shí)，ZeRO++ 提供比 ZeRO 高 2.2 倍的吞吐量，直接減少訓(xùn)練時(shí)間和成本。低帶寬計(jì)算集群： ZeRO++ 使低帶寬集群能夠?qū)崿F(xiàn)與帶寬高 4 倍的高端集群類(lèi)似的吞吐量。因此，ZeRO++ 可以跨更廣泛的集群進(jìn)行高效的大型模型訓(xùn)練。（2）ZeRO++加速 ChatGPT 類(lèi)的 RLHF 訓(xùn)練。雖然 ZeRO++ 主要是為訓(xùn)練而設(shè)計(jì)的，但它的優(yōu)化也自動(dòng)適用于 ZeRO-Inference，因?yàn)橥ㄐ砰_(kāi)銷(xiāo)對(duì)于ZeRO 的訓(xùn)練和推理同樣適用。 因此，ZeRO++ 可以提高人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF） 等算法的效率， 因?yàn)镽LHF 結(jié)合了訓(xùn)練和推理。通過(guò)與DeepSpeed-Chat 的集成，與原始 ZeRO 相比，ZeRO++ 可以將 RLHF 訓(xùn)練的生成階段效率提高多達(dá) 2 倍，強(qiáng)化學(xué)習(xí)訓(xùn)練階段效率提高多達(dá) 1.3 倍。博文中最后指出：“用于 DeepSpeed-Chat 的 ZeRO++ 將在未來(lái)幾周內(nèi)發(fā)布。”

我們認(rèn)為，DeepSpeed ZeRO++的發(fā)布，或有助于模型訓(xùn)練效率的進(jìn)一步提升，對(duì)AI 全行業(yè)的發(fā)展帶來(lái)更加積極的作用。

建議關(guān)注：浪潮信息、中科曙光、科大訊飛、金山辦公、新國(guó)都、賽意信息、博彥科技。

風(fēng)險(xiǎn)提示：AI 技術(shù)發(fā)展不及預(yù)期。

關(guān)鍵詞：