華為近期發(fā)布的盤古Pro MoE大模型,,通過(guò)動(dòng)態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計(jì),實(shí)現(xiàn)了以小打大的優(yōu)異性能,。然而,近日一項(xiàng)發(fā)布于GitHub的研究引發(fā)業(yè)界關(guān)注,,該研究認(rèn)為,,華為推出的盤古大模型與阿里巴巴發(fā)布的通義千問(wèn)Qwen-2.5 14B模型在參數(shù)結(jié)構(gòu)上存在“驚人一致”,。
7月5日下午,,華為盤古團(tuán)隊(duì)發(fā)布聲明表示,盤古Pro MoE開源模型是基于昇騰硬件平臺(tái)開發(fā)和訓(xùn)練的基礎(chǔ)大模型,,并非基于其他廠商模型增量訓(xùn)練而來(lái)。該模型在架構(gòu)設(shè)計(jì)和技術(shù)特性方面做了關(guān)鍵創(chuàng)新,,是全球首個(gè)面向昇騰硬件平臺(tái)設(shè)計(jì)的同規(guī)格混合專家模型,。盤古Pro MoE提出了分組混合專家模型(MoGE)架構(gòu),有效解決了大規(guī)模分布式訓(xùn)練的負(fù)載均衡難題,,提升了訓(xùn)練效率,。
聲明還指出,盤古Pro MoE開源模型部分基礎(chǔ)組件的代碼實(shí)現(xiàn)參考了業(yè)界開源實(shí)踐,,涉及其他開源大模型的部分開源代碼。華為嚴(yán)格遵循開源許可證的要求,,在開源代碼文件中清晰標(biāo)注了開源代碼的版權(quán)聲明,。這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導(dǎo)的開源協(xié)作精神,。華為始終堅(jiān)持開放創(chuàng)新,,尊重第三方知識(shí)產(chǎn)權(quán),,提倡包容,、公平,、開放、團(tuán)結(jié)和可持續(xù)的開源理念,。
華為感謝全球開發(fā)者與合作伙伴對(duì)盤古大模型的關(guān)注和支持,,高度重視開源社區(qū)的建設(shè)性意見(jiàn)。希望通過(guò)盤古大模型開源,,與志同道合的伙伴一起探索并不斷優(yōu)化模型能力,,加速技術(shù)突破與產(chǎn)業(yè)落地,。華為歡迎并期待大家在開源社區(qū)Ascend Tribe就技術(shù)細(xì)節(jié)進(jìn)行深入、專業(yè)的交流,。