久久久久在线观看_又色又爽又黄的免费视频播放_一区中文字幕_日韩电影在线播放

首頁(yè)>資訊中心>騰訊混元 開(kāi)源兩大新模型:3890 億參數(shù)最大 MoE,3D 大模型生成資產(chǎn)僅需 10 秒

騰訊混元 開(kāi)源兩大新模型:3890 億參數(shù)最大 MoE,3D 大模型生成資產(chǎn)僅需 10 秒


更新時(shí)間:2024-12-16 11:21:44 文章來(lái)源:企業(yè)大腦 瀏覽:3152 編輯:新格小鹿

關(guān)于大模型開(kāi)源還是閉源,業(yè)界爭(zhēng)議已久。有認(rèn)為同樣參數(shù)規(guī)模下,開(kāi)源模型能力不如閉源的,堅(jiān)定看好閉源路線(xiàn)的,也有認(rèn)為只有開(kāi)源才能在推動(dòng)了技術(shù)的發(fā)展,促進(jìn)產(chǎn)業(yè)整體繁榮的。

騰訊則又一次選擇了開(kāi)源。在5月開(kāi)源混元文生圖大模型后,11月5日,騰訊又開(kāi)源了兩款大模型,分別是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”,支持企業(yè)及開(kāi)發(fā)者精調(diào)、部署等不同場(chǎng)景的使用需求,可在HuggingFace、Github等技術(shù)社區(qū)直接下載,免費(fèi)可商用。

騰訊機(jī)器學(xué)習(xí)技術(shù)總監(jiān),混元算法負(fù)責(zé)人康戰(zhàn)輝認(rèn)為,不同的業(yè)務(wù)需求決定了是否采用開(kāi)源或閉源策略。對(duì)于一些超級(jí)復(fù)雜的業(yè)務(wù),閉源模型更能提供高效的解決方案,因?yàn)樗茉诔杀竞陀脩?hù)能力的提升上做到更優(yōu)。相比之下,開(kāi)源模型則面向不同類(lèi)型的開(kāi)發(fā)者,尤其是中小企業(yè)和個(gè)人開(kāi)發(fā)者,降低了他們的技術(shù)門(mén)檻,并且能夠通過(guò)廣泛的社區(qū)合作來(lái)推動(dòng)技術(shù)的不斷發(fā)展。

他強(qiáng)調(diào),騰訊的戰(zhàn)略是基于長(zhǎng)期主義,不急功近利。盡管大模型的開(kāi)源在市場(chǎng)上如火如荼,但騰訊并不認(rèn)為開(kāi)源有“早晚之分”。此次開(kāi)源也是在經(jīng)過(guò)一年多的探索,在閉源模式下,將產(chǎn)品和技術(shù)積累到一定程度后,才選擇了開(kāi)源。他們的目標(biāo)是深耕AI時(shí)代的基礎(chǔ)設(shè)施建設(shè),將大模型打磨成熟后開(kāi)放給開(kāi)發(fā)者,并通過(guò)不斷完善與優(yōu)化來(lái)增強(qiáng)社區(qū)的信任和認(rèn)可。

開(kāi)源Hunyuan-Large:最大參數(shù)的MoE架構(gòu)模型

騰訊Hunyuan-Large(混元Large)模型總參數(shù)量 389B,激活參數(shù)量 52B ,上下文長(zhǎng)度高達(dá)256K,公開(kāi)測(cè)評(píng)結(jié)果顯示,在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測(cè)集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度上,騰訊混元Large全面領(lǐng)先,超過(guò)Llama3.1、Mixtral等一流的開(kāi)源大模型。

此外,混元Large模型,與騰訊混元Pro、混元Turbo等不同尺寸的模型共享基礎(chǔ)架構(gòu),源自騰訊同一技術(shù)體系。


混元Large 在各類(lèi)測(cè)試集上得分領(lǐng)先現(xiàn)有主流開(kāi)源模型|圖片來(lái)源:騰訊

混元Large在模型結(jié)構(gòu)和訓(xùn)練策略上進(jìn)行了全面的技術(shù)突破。首先,在結(jié)構(gòu)創(chuàng)新上,混元Large深入探索了MoE(混合專(zhuān)家)Scaling Law,推出了共享專(zhuān)家路由和回收路由等優(yōu)化策略,并采用專(zhuān)家特化的學(xué)習(xí)率調(diào)整策略,顯著提升了不同專(zhuān)家的利用效率和模型的穩(wěn)定性,從而帶來(lái)了效果上的提升。

MoE模型的優(yōu)勢(shì)在于它通過(guò)專(zhuān)家路由機(jī)制,只激活部分專(zhuān)家進(jìn)行計(jì)算,因此能夠以較低的計(jì)算成本處理更大規(guī)模的任務(wù)。與Dense模型相比,MoE在訓(xùn)練和推理時(shí)的計(jì)算效率更高,同時(shí)可以通過(guò)增加專(zhuān)家數(shù)量,擴(kuò)展模型的容量和智能水平。

雖然MoE有很多優(yōu)勢(shì),但它在業(yè)界應(yīng)用不多,主要是因?yàn)閷?shí)現(xiàn)起來(lái)很難。MoE也有一些挑戰(zhàn),比如MoE的訓(xùn)練穩(wěn)定性較差,涉及多個(gè)專(zhuān)家時(shí)容易出現(xiàn)負(fù)載不均衡,訓(xùn)練起來(lái)非常復(fù)雜。其次,由于專(zhuān)家之間的負(fù)載差異,某些專(zhuān)家可能訓(xùn)練不足,導(dǎo)致模型收斂困難,最終影響預(yù)測(cè)準(zhǔn)確性。

在模型后期訓(xùn)練(Post-Train)中,混元Large也做了大量?jī)?yōu)化。它通過(guò)分類(lèi)提升了數(shù)學(xué)、邏輯推理、代碼等方面的能力,應(yīng)對(duì)了SFT(監(jiān)督微調(diào))領(lǐng)域多樣、數(shù)學(xué)和代碼高質(zhì)量數(shù)據(jù)難獲取等挑戰(zhàn),并在一階段離線(xiàn)DPO(離線(xiàn)偏好優(yōu)化)基礎(chǔ)上,增設(shè)了二階段的在線(xiàn)強(qiáng)化策略,進(jìn)一步優(yōu)化了模型的表現(xiàn)。

數(shù)據(jù)方面,騰訊混元Large建立了涵蓋數(shù)十個(gè)類(lèi)目、具備高質(zhì)量和多樣性的中英文數(shù)據(jù)集,使模型在多方面的效果有明顯提升,尤其在數(shù)學(xué)和代碼處理方面,性能提高超過(guò)10%。為應(yīng)對(duì)長(zhǎng)文閱讀理解和多文檔總結(jié)等領(lǐng)域的測(cè)評(píng)難題,騰訊還基于公開(kāi)數(shù)據(jù)開(kāi)發(fā)了企鵝卷軸(PenguinScrolls)數(shù)據(jù)集,計(jì)劃對(duì)外開(kāi)放,以支持長(zhǎng)文方向的技術(shù)研究。

這些長(zhǎng)文處理能力已應(yīng)用到騰訊AI助手騰訊元寶中,支持最多256K長(zhǎng)度的上下文處理,相當(dāng)于整本《三國(guó)演義》的文字量。用戶(hù)可以一次上傳10個(gè)文檔,或解析多個(gè)微信公眾號(hào)鏈接與網(wǎng)址,讓元寶具備深度解析的獨(dú)特能力。

在工程平臺(tái)方面,騰訊自研的Angel機(jī)器學(xué)習(xí)平臺(tái)為混元Large提供了強(qiáng)大的訓(xùn)練和推理支持。針對(duì)MoE模型的通信效率問(wèn)題,AngelPTM框架進(jìn)行了多項(xiàng)優(yōu)化,使訓(xùn)練速度達(dá)到了主流框架DeepSpeed的2.6倍。推理方面,騰訊還推出了AngelHCF-vLLM框架,在保證精度的前提下節(jié)省了50%以上的顯存,相較于BF16主流框架提升了1倍以上的吞吐量。

目前,混元Large模型已上架騰訊云的TI平臺(tái)。TI平臺(tái)不僅配備了大模型精調(diào)工具鏈,支持靈活的數(shù)據(jù)標(biāo)注,還提供Angel加速能力,讓用戶(hù)可以便捷地啟動(dòng)混元Large的精調(diào),幫助企業(yè)快速訓(xùn)練出符合業(yè)務(wù)需求的專(zhuān)屬大模型,顯著提升研發(fā)效率。

同時(shí),騰訊還開(kāi)放了混元大模型PaaS平臺(tái),支持十余種API服務(wù),涵蓋了文字生成、圖像生成、角色扮演、FunctionCall、代碼等多種需求,滿(mǎn)足不同場(chǎng)景下的模型應(yīng)用。

經(jīng)過(guò)在騰訊內(nèi)部廣泛應(yīng)用和驗(yàn)證,混元大模型的能力已嵌入到包括騰訊元寶、微信公眾號(hào)、小程序、微信讀書(shū)、騰訊廣告、騰訊游戲、騰訊會(huì)議等近700個(gè)內(nèi)部業(yè)務(wù)和場(chǎng)景中。

混元3D-1.0模型:3D生成開(kāi)源先鋒

騰訊這次開(kāi)源的混元3D生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開(kāi)源大模型,可以幫助 3D 創(chuàng)作者和藝術(shù)家實(shí)現(xiàn) 3D 資產(chǎn)的自動(dòng)化生成。

此前,Stability AI先后與VAST合作開(kāi)源了快速3D物體重建模型TripoSR、與Tripo AI聯(lián)合開(kāi)源了Stable Fast 3D模型,但整體而言,業(yè)界3D生成大模型的開(kāi)源依舊較為稀缺,這主要是因?yàn)?D生成技術(shù)在計(jì)算資源、技術(shù)門(mén)檻和數(shù)據(jù)獲取方面的要求遠(yuǎn)高于2D模型。


混元3D-1.0模型生成的3D資產(chǎn)|圖片來(lái)源:騰訊

3D生成大模型的開(kāi)發(fā)對(duì)計(jì)算資源要求高,且技術(shù)和成本門(mén)檻遠(yuǎn)超2D模型;同時(shí),3D數(shù)據(jù)獲取難度大、數(shù)據(jù)稀缺,進(jìn)一步限制了開(kāi)源的可行性。此外,由于3D生成模型應(yīng)用市場(chǎng)較窄,企業(yè)傾向于保留技術(shù)優(yōu)勢(shì),騰訊此次開(kāi)源Hunyuan3D,成為了推動(dòng)行業(yè)進(jìn)步的一個(gè)重要突破。

此次首批開(kāi)源模型包含輕量版和標(biāo)準(zhǔn)版,輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn),現(xiàn)已在技術(shù)社區(qū)公開(kāi),包含模型權(quán)重、推理代碼、模型算法等完整模型,可供開(kāi)發(fā)者、研究者等各類(lèi)用戶(hù)免費(fèi)使用。

此外,Hunyuan3D-1.0也已登陸騰訊云HAI平臺(tái),利用其高性?xún)r(jià)比的GPU算力和一鍵部署功能,降低了模型的使用和部署門(mén)檻。通過(guò)HAI的可視化WebUI界面,用戶(hù)能夠更輕松地使用該模型,為3D資產(chǎn)創(chuàng)作提供了更多可能。

Hunyuan3D-1.0解決了現(xiàn)有3D生成模型在生成速度和泛化能力上的不足,能夠幫助3D創(chuàng)作者和藝術(shù)家自動(dòng)化生產(chǎn)3D資產(chǎn)。該模型不僅具備強(qiáng)大的泛化能力和可控性,還能重建各種尺度的物體,從建筑到小型工具或花草都能輕松處理。根據(jù)定性和定量的多維度評(píng)估,Hunyuan3D-1.0的生成質(zhì)量已達(dá)到開(kāi)源模型中的領(lǐng)先水平。

在兩個(gè)公開(kāi)的3D數(shù)據(jù)集——GSO和OmniObject3D上,Hunyuan3D-1.0的表現(xiàn)優(yōu)于主流開(kāi)源模型,整體能力屬于國(guó)際領(lǐng)先水平。從細(xì)節(jié)層面看,該模型在幾何、紋理、紋理-幾何一致性、3D合理性和指令遵循等方面的表現(xiàn)都非常出色。

在應(yīng)用方面,3D生成技術(shù)已經(jīng)開(kāi)始在騰訊的多個(gè)業(yè)務(wù)中落地。例如,騰訊地圖基于混元3D大模型發(fā)布了自定義3D導(dǎo)航車(chē)標(biāo)功能,用戶(hù)可以創(chuàng)作個(gè)性化的3D車(chē)標(biāo),相比傳統(tǒng)方案,生成速度提高了91%。此外,騰訊元寶APP也上線(xiàn)了“3D角色夢(mèng)工廠(chǎng)”功能,支持個(gè)性化的UGC 3D人物生成。

之所以在這個(gè)時(shí)間點(diǎn)選擇開(kāi)源3D生成大模型,騰訊混元3D模型負(fù)責(zé)人郭春超談到,一方面是因?yàn)轵v訊業(yè)務(wù)非常豐富,從公司自身業(yè)務(wù)出發(fā)做3D生成是極其有必要的,畢竟動(dòng)漫、游戲、影視這種偏娛樂(lè)類(lèi)的項(xiàng)目都離不開(kāi)3D資產(chǎn),另一方面則是因?yàn)?D生成還處于前半程發(fā)展階段,它要進(jìn)一步發(fā)展,需要社區(qū)一起努力,需要有更好的模型、更強(qiáng)的生成能力釋放出來(lái),所以這次開(kāi)源也是為了推動(dòng)這一領(lǐng)域的進(jìn)一步發(fā)展。

隨著騰訊在自研大模型技術(shù)上的不斷進(jìn)步和應(yīng)用經(jīng)驗(yàn)的積累,開(kāi)源已成為混元大模型的戰(zhàn)略之一。可以看出,騰訊開(kāi)源戰(zhàn)略的核心是從公司自身的業(yè)務(wù)需求出發(fā),逐步開(kāi)放具有核心競(jìng)爭(zhēng)力的模型。開(kāi)源的大模型首先要考慮的是騰訊的內(nèi)部技術(shù)積累和業(yè)務(wù)需求,確保技術(shù)的可用性和商業(yè)價(jià)值。在確保核心模型得到充分應(yīng)用后,會(huì)再逐步推出一些更為小型的模型,以適應(yīng)多樣化的市場(chǎng)需求,并為更廣泛的開(kāi)發(fā)者提供支持。

另外,此次大模型開(kāi)源的是參數(shù)權(quán)重,并不涉及到數(shù)據(jù)和代碼,但是接下來(lái)混元會(huì)往前走一步,會(huì)把訓(xùn)練的代碼開(kāi)源出來(lái),同時(shí)會(huì)把評(píng)估期開(kāi)源出來(lái), 康戰(zhàn)輝稱(chēng),「希望向業(yè)界展示更多的誠(chéng)意」。



版權(quán)所有 企業(yè)大腦網(wǎng) www.QYDN.com