關(guān)于大模型開(kāi)源還是閉源，業(yè)界爭(zhēng)議已久。有認(rèn)為同樣參數(shù)規(guī)模下，開(kāi)源模型能力不如閉源的，堅(jiān)定看好閉源路線(xiàn)的，也有認(rèn)為只有開(kāi)源才能在推動(dòng)了技術(shù)的發(fā)展，促進(jìn)產(chǎn)業(yè)整體繁榮的。

騰訊則又一次選擇了開(kāi)源。在5月開(kāi)源混元文生圖大模型后，11月5日，騰訊又開(kāi)源了兩款大模型，分別是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”，支持企業(yè)及開(kāi)發(fā)者精調(diào)、部署等不同場(chǎng)景的使用需求，可在HuggingFace、Github等技術(shù)社區(qū)直接下載，免費(fèi)可商用。

騰訊機(jī)器學(xué)習(xí)技術(shù)總監(jiān)，混元算法負(fù)責(zé)人康戰(zhàn)輝認(rèn)為，不同的業(yè)務(wù)需求決定了是否采用開(kāi)源或閉源策略。對(duì)于一些超級(jí)復(fù)雜的業(yè)務(wù)，閉源模型更能提供高效的解決方案，因?yàn)樗茉诔杀竞陀脩?hù)能力的提升上做到更優(yōu)。相比之下，開(kāi)源模型則面向不同類(lèi)型的開(kāi)發(fā)者，尤其是中小企業(yè)和個(gè)人開(kāi)發(fā)者，降低了他們的技術(shù)門(mén)檻，并且能夠通過(guò)廣泛的社區(qū)合作來(lái)推動(dòng)技術(shù)的不斷發(fā)展。

他強(qiáng)調(diào)，騰訊的戰(zhàn)略是基于長(zhǎng)期主義，不急功近利。盡管大模型的開(kāi)源在市場(chǎng)上如火如荼，但騰訊并不認(rèn)為開(kāi)源有“早晚之分”。此次開(kāi)源也是在經(jīng)過(guò)一年多的探索，在閉源模式下，將產(chǎn)品和技術(shù)積累到一定程度后，才選擇了開(kāi)源。他們的目標(biāo)是深耕AI時(shí)代的基礎(chǔ)設(shè)施建設(shè)，將大模型打磨成熟后開(kāi)放給開(kāi)發(fā)者，并通過(guò)不斷完善與優(yōu)化來(lái)增強(qiáng)社區(qū)的信任和認(rèn)可。

開(kāi)源Hunyuan-Large：最大參數(shù)的MoE架構(gòu)模型

騰訊Hunyuan-Large（混元Large）模型總參數(shù)量 389B，激活參數(shù)量 52B ，上下文長(zhǎng)度高達(dá)256K，公開(kāi)測(cè)評(píng)結(jié)果顯示，在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測(cè)集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度上，騰訊混元Large全面領(lǐng)先，超過(guò)Llama3.1、Mixtral等一流的開(kāi)源大模型。

此外，混元Large模型，與騰訊混元Pro、混元Turbo等不同尺寸的模型共享基礎(chǔ)架構(gòu)，源自騰訊同一技術(shù)體系。

混元Large 在各類(lèi)測(cè)試集上得分領(lǐng)先現(xiàn)有主流開(kāi)源模型｜圖片來(lái)源：騰訊

混元Large在模型結(jié)構(gòu)和訓(xùn)練策略上進(jìn)行了全面的技術(shù)突破。首先，在結(jié)構(gòu)創(chuàng)新上，混元Large深入探索了MoE（混合專(zhuān)家）Scaling Law，推出了共享專(zhuān)家路由和回收路由等優(yōu)化策略，并采用專(zhuān)家特化的學(xué)習(xí)率調(diào)整策略，顯著提升了不同專(zhuān)家的利用效率和模型的穩(wěn)定性，從而帶來(lái)了效果上的提升。

MoE模型的優(yōu)勢(shì)在于它通過(guò)專(zhuān)家路由機(jī)制，只激活部分專(zhuān)家進(jìn)行計(jì)算，因此能夠以較低的計(jì)算成本處理更大規(guī)模的任務(wù)。與Dense模型相比，MoE在訓(xùn)練和推理時(shí)的計(jì)算效率更高，同時(shí)可以通過(guò)增加專(zhuān)家數(shù)量，擴(kuò)展模型的容量和智能水平。

雖然MoE有很多優(yōu)勢(shì)，但它在業(yè)界應(yīng)用不多，主要是因?yàn)閷?shí)現(xiàn)起來(lái)很難。MoE也有一些挑戰(zhàn)，比如MoE的訓(xùn)練穩(wěn)定性較差，涉及多個(gè)專(zhuān)家時(shí)容易出現(xiàn)負(fù)載不均衡，訓(xùn)練起來(lái)非常復(fù)雜。其次，由于專(zhuān)家之間的負(fù)載差異，某些專(zhuān)家可能訓(xùn)練不足，導(dǎo)致模型收斂困難，最終影響預(yù)測(cè)準(zhǔn)確性。

在模型后期訓(xùn)練（Post-Train）中，混元Large也做了大量?jī)?yōu)化。它通過(guò)分類(lèi)提升了數(shù)學(xué)、邏輯推理、代碼等方面的能力，應(yīng)對(duì)了SFT（監(jiān)督微調(diào)）領(lǐng)域多樣、數(shù)學(xué)和代碼高質(zhì)量數(shù)據(jù)難獲取等挑戰(zhàn)，并在一階段離線(xiàn)DPO（離線(xiàn)偏好優(yōu)化）基礎(chǔ)上，增設(shè)了二階段的在線(xiàn)強(qiáng)化策略，進(jìn)一步優(yōu)化了模型的表現(xiàn)。

數(shù)據(jù)方面，騰訊混元Large建立了涵蓋數(shù)十個(gè)類(lèi)目、具備高質(zhì)量和多樣性的中英文數(shù)據(jù)集，使模型在多方面的效果有明顯提升，尤其在數(shù)學(xué)和代碼處理方面，性能提高超過(guò)10%。為應(yīng)對(duì)長(zhǎng)文閱讀理解和多文檔總結(jié)等領(lǐng)域的測(cè)評(píng)難題，騰訊還基于公開(kāi)數(shù)據(jù)開(kāi)發(fā)了企鵝卷軸（PenguinScrolls）數(shù)據(jù)集，計(jì)劃對(duì)外開(kāi)放，以支持長(zhǎng)文方向的技術(shù)研究。

這些長(zhǎng)文處理能力已應(yīng)用到騰訊AI助手騰訊元寶中，支持最多256K長(zhǎng)度的上下文處理，相當(dāng)于整本《三國(guó)演義》的文字量。用戶(hù)可以一次上傳10個(gè)文檔，或解析多個(gè)微信公眾號(hào)鏈接與網(wǎng)址，讓元寶具備深度解析的獨(dú)特能力。

在工程平臺(tái)方面，騰訊自研的Angel機(jī)器學(xué)習(xí)平臺(tái)為混元Large提供了強(qiáng)大的訓(xùn)練和推理支持。針對(duì)MoE模型的通信效率問(wèn)題，AngelPTM框架進(jìn)行了多項(xiàng)優(yōu)化，使訓(xùn)練速度達(dá)到了主流框架DeepSpeed的2.6倍。推理方面，騰訊還推出了AngelHCF-vLLM框架，在保證精度的前提下節(jié)省了50%以上的顯存，相較于BF16主流框架提升了1倍以上的吞吐量。

目前，混元Large模型已上架騰訊云的TI平臺(tái)。TI平臺(tái)不僅配備了大模型精調(diào)工具鏈，支持靈活的數(shù)據(jù)標(biāo)注，還提供Angel加速能力，讓用戶(hù)可以便捷地啟動(dòng)混元Large的精調(diào)，幫助企業(yè)快速訓(xùn)練出符合業(yè)務(wù)需求的專(zhuān)屬大模型，顯著提升研發(fā)效率。

同時(shí)，騰訊還開(kāi)放了混元大模型PaaS平臺(tái)，支持十余種API服務(wù)，涵蓋了文字生成、圖像生成、角色扮演、FunctionCall、代碼等多種需求，滿(mǎn)足不同場(chǎng)景下的模型應(yīng)用。

經(jīng)過(guò)在騰訊內(nèi)部廣泛應(yīng)用和驗(yàn)證，混元大模型的能力已嵌入到包括騰訊元寶、微信公眾號(hào)、小程序、微信讀書(shū)、騰訊廣告、騰訊游戲、騰訊會(huì)議等近700個(gè)內(nèi)部業(yè)務(wù)和場(chǎng)景中。

混元3D-1.0模型：3D生成開(kāi)源先鋒

騰訊這次開(kāi)源的混元3D生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開(kāi)源大模型，可以幫助 3D 創(chuàng)作者和藝術(shù)家實(shí)現(xiàn) 3D 資產(chǎn)的自動(dòng)化生成。

此前，Stability AI先后與VAST合作開(kāi)源了快速3D物體重建模型TripoSR、與Tripo AI聯(lián)合開(kāi)源了Stable Fast 3D模型，但整體而言，業(yè)界3D生成大模型的開(kāi)源依舊較為稀缺，這主要是因?yàn)?D生成技術(shù)在計(jì)算資源、技術(shù)門(mén)檻和數(shù)據(jù)獲取方面的要求遠(yuǎn)高于2D模型。

混元3D-1.0模型生成的3D資產(chǎn)｜圖片來(lái)源：騰訊

3D生成大模型的開(kāi)發(fā)對(duì)計(jì)算資源要求高，且技術(shù)和成本門(mén)檻遠(yuǎn)超2D模型；同時(shí)，3D數(shù)據(jù)獲取難度大、數(shù)據(jù)稀缺，進(jìn)一步限制了開(kāi)源的可行性。此外，由于3D生成模型應(yīng)用市場(chǎng)較窄，企業(yè)傾向于保留技術(shù)優(yōu)勢(shì)，騰訊此次開(kāi)源Hunyuan3D，成為了推動(dòng)行業(yè)進(jìn)步的一個(gè)重要突破。

此次首批開(kāi)源模型包含輕量版和標(biāo)準(zhǔn)版，輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn)，現(xiàn)已在技術(shù)社區(qū)公開(kāi)，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供開(kāi)發(fā)者、研究者等各類(lèi)用戶(hù)免費(fèi)使用。

此外，Hunyuan3D-1.0也已登陸騰訊云HAI平臺(tái)，利用其高性?xún)r(jià)比的GPU算力和一鍵部署功能，降低了模型的使用和部署門(mén)檻。通過(guò)HAI的可視化WebUI界面，用戶(hù)能夠更輕松地使用該模型，為3D資產(chǎn)創(chuàng)作提供了更多可能。

Hunyuan3D-1.0解決了現(xiàn)有3D生成模型在生成速度和泛化能力上的不足，能夠幫助3D創(chuàng)作者和藝術(shù)家自動(dòng)化生產(chǎn)3D資產(chǎn)。該模型不僅具備強(qiáng)大的泛化能力和可控性，還能重建各種尺度的物體，從建筑到小型工具或花草都能輕松處理。根據(jù)定性和定量的多維度評(píng)估，Hunyuan3D-1.0的生成質(zhì)量已達(dá)到開(kāi)源模型中的領(lǐng)先水平。

在兩個(gè)公開(kāi)的3D數(shù)據(jù)集——GSO和OmniObject3D上，Hunyuan3D-1.0的表現(xiàn)優(yōu)于主流開(kāi)源模型，整體能力屬于國(guó)際領(lǐng)先水平。從細(xì)節(jié)層面看，該模型在幾何、紋理、紋理-幾何一致性、3D合理性和指令遵循等方面的表現(xiàn)都非常出色。

在應(yīng)用方面，3D生成技術(shù)已經(jīng)開(kāi)始在騰訊的多個(gè)業(yè)務(wù)中落地。例如，騰訊地圖基于混元3D大模型發(fā)布了自定義3D導(dǎo)航車(chē)標(biāo)功能，用戶(hù)可以創(chuàng)作個(gè)性化的3D車(chē)標(biāo)，相比傳統(tǒng)方案，生成速度提高了91%。此外，騰訊元寶APP也上線(xiàn)了“3D角色夢(mèng)工廠(chǎng)”功能，支持個(gè)性化的UGC 3D人物生成。

之所以在這個(gè)時(shí)間點(diǎn)選擇開(kāi)源3D生成大模型，騰訊混元3D模型負(fù)責(zé)人郭春超談到，一方面是因?yàn)轵v訊業(yè)務(wù)非常豐富，從公司自身業(yè)務(wù)出發(fā)做3D生成是極其有必要的，畢竟動(dòng)漫、游戲、影視這種偏娛樂(lè)類(lèi)的項(xiàng)目都離不開(kāi)3D資產(chǎn)，另一方面則是因?yàn)?D生成還處于前半程發(fā)展階段，它要進(jìn)一步發(fā)展，需要社區(qū)一起努力，需要有更好的模型、更強(qiáng)的生成能力釋放出來(lái)，所以這次開(kāi)源也是為了推動(dòng)這一領(lǐng)域的進(jìn)一步發(fā)展。

隨著騰訊在自研大模型技術(shù)上的不斷進(jìn)步和應(yīng)用經(jīng)驗(yàn)的積累，開(kāi)源已成為混元大模型的戰(zhàn)略之一。可以看出，騰訊開(kāi)源戰(zhàn)略的核心是從公司自身的業(yè)務(wù)需求出發(fā)，逐步開(kāi)放具有核心競(jìng)爭(zhēng)力的模型。開(kāi)源的大模型首先要考慮的是騰訊的內(nèi)部技術(shù)積累和業(yè)務(wù)需求，確保技術(shù)的可用性和商業(yè)價(jià)值。在確保核心模型得到充分應(yīng)用后，會(huì)再逐步推出一些更為小型的模型，以適應(yīng)多樣化的市場(chǎng)需求，并為更廣泛的開(kāi)發(fā)者提供支持。

另外，此次大模型開(kāi)源的是參數(shù)權(quán)重，并不涉及到數(shù)據(jù)和代碼，但是接下來(lái)混元會(huì)往前走一步，會(huì)把訓(xùn)練的代碼開(kāi)源出來(lái)，同時(shí)會(huì)把評(píng)估期開(kāi)源出來(lái)， 康戰(zhàn)輝稱(chēng)，「希望向業(yè)界展示更多的誠(chéng)意」。