豆包大模型發(fā)布各領(lǐng)域技術(shù)進(jìn)展,!字節(jié)跳動(dòng)旗下的豆包大模型于12月30日公布了2024年全領(lǐng)域的技術(shù)進(jìn)展,。自5月15日首次亮相以來,,該模型在通用語言,、視頻生成、語音對話,、視覺理解等方面的能力已經(jīng)躋身國際第一梯隊(duì),。
截至2024年12月,最新版的豆包通用模型Doubao-pro-1215綜合能力較5月提升了32%,,已全面對齊GPT-4o,,并在數(shù)學(xué)、專業(yè)知識等部分復(fù)雜場景任務(wù)中表現(xiàn)更佳,。其推理服務(wù)價(jià)格僅為GPT-4o的八分之一,。通過海量數(shù)據(jù)優(yōu)化及模型架構(gòu)創(chuàng)新,包括提升模型稀疏度和引入強(qiáng)化學(xué)習(xí),,該模型的理解精度和生成質(zhì)量得到了大幅提升。
豆包還首次披露了其大模型具備300萬字窗口的長文本處理能力,,能夠一次輕松閱讀上百篇學(xué)術(shù)報(bào)告,,每百萬tokens處理延遲僅15秒。這背后的技術(shù)包括上下文關(guān)聯(lián)數(shù)據(jù)算法STRING等,,這些技術(shù)顯著增強(qiáng)了LLM利用海量外部知識的能力,,并通過稀疏化及分布式方案將時(shí)延降至十秒級。