1月15日,,MiniMax發(fā)布了新一代01系列模型,,并將其開(kāi)源。該系列包括基礎(chǔ)語(yǔ)言大模型MiniMax-Text-01和視覺(jué)多模態(tài)大模型MiniMax-VL-01,。據(jù)稱(chēng),,這些模型首次大規(guī)模實(shí)現(xiàn)了線(xiàn)性注意力機(jī)制,使得傳統(tǒng)Transformer架構(gòu)不再是唯一選擇,。新模型的參數(shù)量達(dá)到4560億,,單次激活參數(shù)為459億。其綜合性能可與海外頂尖模型媲美,,能夠高效處理長(zhǎng)達(dá)400萬(wàn)token的上下文,,這一長(zhǎng)度是GPT-4o的32倍,也是Claude-3.5-Sonnet的20倍,。
中科院女工程師開(kāi)源AI模型對(duì)抗deepfake
2024-09-04 11:36:24中科院女工程師開(kāi)源AI模型對(duì)抗deepfake