昆侖萬維推出全球首款AI短劇平臺SkyReels,短劇進入“無人區(qū)”
和你說一個新鮮事——以后你所刷到的短劇,,從臺前到幕后,,可能都沒有“人”影了。在傳統(tǒng)模式里,,一部短劇的生產鏈條,,從劇本研發(fā)、制作到發(fā)行,,每一個環(huán)節(jié)里都站滿了“人”,,而現在因為AI的出現,可能只需要一個會在屏幕面前擺動鼠標的導演,,就能完成所有的流程,。(傳統(tǒng)模式下的短劇生產流程)8月19日,昆侖萬維發(fā)布全球首個集成視頻大模型與3D大模型的AI短劇平臺SkyReels,。SkyReels平臺集劇本生成,、角色定制、分鏡,、劇情,、對白/BGM及影片合成于一體,讓創(chuàng)作者“一鍵成劇”,,輕松制作高質量AI視頻,。昆侖萬維AI短劇平臺SkyReels的推出,標志著全球AI短劇創(chuàng)作實現了一次重大的技術飛躍,。也就是說,,不需要請演員、找場地,,借用AI的力量,,打開SkyReels,操作一下鍵盤,,就能制做出一部短劇了,。AI做短劇,開始跨入“無人區(qū)”,。昆侖萬維布局AI短劇的野心:做顛覆原有生產模式的新物種出海做短劇,,并不是一件新鮮事。2022年,,中文在線的短劇產品ReelShort上線,,一年后便登上美國iOS娛樂榜免費第1名,不久后,,ShortTV,、DramaBox等后起之秀也持續(xù)輸出爆款短劇。它們的題材以霸總,、愛情,、狼人為主,ReelShort爆款短劇《The Double Life of My Billionaire Husband》就包含了“英雄救美”,、“財產爭奪”等環(huán)節(jié),。(ReelShort爆款短劇《The Double Life of My Billionaire Husband》劇情解析)這類短劇通常都是本土原創(chuàng),即出海團隊需要結合本土文化和用戶興趣,,創(chuàng)作出符合當地用戶審美品味的劇本,,它們能夠精準地捕捉令當地人“上頭”的劇情爽點。
這些短劇的核心問題在于,,需要足夠了解并鉆研本土文化,、制作周期較長,,并且需要耗費一定的成本在尋找本土演員上。
其實,,初始的出海短劇模式十分簡單粗暴,,它們通常直接將中國本土的爽劇進行字幕翻譯后,便在當地播出,,為了減少違和感,,一些出海團隊會利用AI對短劇的演員口型進行優(yōu)化,看上去像是“頂著一張中國面孔的演員在用英文講臺詞”,,但一些觀眾依舊覺得生硬,,就像我們在中國看歐美影視劇時,見到藍眼碧發(fā)的歐美人用著奇怪的口吻講中文一樣,,很難讓觀眾有真正的代入感,。于是,一些出海團隊會使用AI對短劇中的演員進行“換臉”,,這樣就更能讓當地人接受,。可見,,過去的出海團隊為了做出一部受歡迎的短劇,,會想出各種“招”,燒了不少腦部CPU,。那么,,在大模型時代,有沒有一款短劇產品,,能夠打破文化差異,、不受語言限制,將所有環(huán)節(jié)都用AI來解決,?正好在ReelShort出海的同一年,,昆侖萬維看準
AIGC
的系統(tǒng)性機會,通過對移動互聯網時代的成功模式進行復盤,,發(fā)現密碼就在于“免費+To C”模式,,而觀察至今依舊還活得很好的“巨頭”公司,會發(fā)現不少都將某個垂類做到了極致,。昆侖萬維董事長兼CEO方漢據此判斷,,可以遵循這一套邏輯出擊AIGC市場。昆侖萬維想到了“AI
UGC
”策略,,先從C端的高頻場景出手,,比如探索網文、短劇、動畫,、音樂等細分賽道的獨角獸畫像,。其中,短劇也成為了昆侖萬維高層的重要選項,,他們希望能將做出一款顛覆原有短劇生產模式的新物種,。AI短劇平臺SkyReels也在這樣的邏輯之下誕生,它是由AI驅動的一站式短劇視頻創(chuàng)作平臺,,從劇本生成、角色生成,、分鏡頭融合到最后的短劇生成,,從頭到尾都由AI生成??傮w而言,,SkyReels就像導演的AI Agent一樣,可以將一個簡單的創(chuàng)意變成一部短劇,。從頭到尾都是Agent以
Sora
為代表的AI視頻生成模型出現后,,國內外也有很多玩家陸續(xù)推出視頻生成大模型,比如Pixverse,、
快手可靈
,、智影清源,同時也出現了一批使用這些大模型制作影視作品的新興導演,。雖然使用這些模型能獲得不錯的視頻生成效果,,但想做一部成熟的影片,對使用者本身的專業(yè)能力依舊有一定要求,,他們需要具備較高的編劇能力和藝術審美能力,。比如,使用者需要事先做好構圖,、想像出想要的鏡頭畫面,,再使用包含專業(yè)術語的prompt在
Midjourney
等產品上調試出滿意的圖片,隨后導入進視頻生成產品中做鏡頭調整,,最后導出作品,。雖然這些工具也大大縮短了影視作品的制作鏈條,但它們面向的更多是
PUGC
群體,,而SkyReels的使用門檻更低,,整個操作流程簡單智能,輸入一個創(chuàng)意,,接下來的可以都交給AI,,
相比而言,SkyReels作為全球首款AI短劇平臺,是一款受眾群體更大的UGC產品,。
(SkyReels產品演示)SkyReels是全球首個混合3D引擎和生成式AI的視頻創(chuàng)作平臺,,使用流程也十分簡單,選擇創(chuàng)作短片之后,,輸入創(chuàng)意,,可以選擇想要的視頻風格,比如動漫風格,、現實主義,、吉卜力風格等,就能一鍵生成劇本,。系統(tǒng)會根據劇本故事需要,,自動生成角色,隨后用戶便可以查看自動生成的分鏡劇本,,再將其一鍵轉化為視頻,并能夠自動將內容轉換為
1080P 60幀
的高清視頻,;
單次可生成視頻長度達180秒
,相比Sora單次可生成60秒視頻,、可靈單次可生成10秒視頻,,有顯著突破。(傳統(tǒng)的短劇生成模式 VS SkyReels生成)整體來看,,一個短劇的完整生產鏈,,涵蓋劇本生成、角色定制,、分鏡生成,、劇集拍攝和后期生成,而SkyReels用三個自研大模型就能提升這條生產鏈的效率,。
在內容研發(fā)流程中,,傳統(tǒng)的短劇生產方式,
是從現成的網絡小說中選取部分章節(jié),,再根據短劇的特點做改編,,需要編劇能夠結合受眾的興趣,巧妙設置劇情的轉折點,,這樣才能提升用戶對下一個章節(jié)付費的意愿,。SkyReels在這個環(huán)節(jié)利用自研劇本大模型
SkyScript
,替代了傳統(tǒng)短劇人工式的內容研發(fā),。昆侖萬維首先構建了億級的高質量短劇結構化數據集SkyScript-100M,,該數據集針對海量精彩短劇的劇情節(jié)奏、爽點,、情緒變化進行了高質量標注,;此外,算法團隊設計了漸進式生成的劇本生成框架,實現了模型能夠輸出高度結構化的精彩劇本,,不論是新手還是資深編劇,,都可以通過這套模型創(chuàng)作出吸引人的短劇劇本。(SkyScript劇本大模型技術原理圖)擁有一個動人的故事之后,,下一步是將這些故事轉化成分鏡頭劇本,,在傳統(tǒng)的生產模式中,這個環(huán)節(jié)需要邀請演員,、線下設置場景,,導演需要和演員溝通要領,再進行拍攝,,涉及到人力和布景成本,。但這些都可以通過AI大模型替代,SkyReels在這個環(huán)節(jié)使用的是昆侖萬維
自研分鏡大模型StoryboardGen,,
該模型對影視動畫數據進行逆向處理,從而得到高質量的工業(yè)級分鏡數據集,,并且設計了分鏡多智能體框架,,高質量實現場景、鏡頭,、角色和動作的生成,。在圖像生成效果上,昆侖萬維使用自研首創(chuàng)的DiT-Moe模型,,提升圖像質量,。就如在正式拍攝的過程中一樣,需要將分鏡頭有機融合在一起,,才能得到一個完整的故事體系,。
SkyReels使用WorldEngine,它是業(yè)界首個將AI 3D引擎與視頻大模型深度融合的創(chuàng)新平臺,,實現了3D 生成,、視頻生成、3D與視頻混合創(chuàng)作
,。WorldEngine創(chuàng)新平臺包含多個子環(huán)節(jié),,每個環(huán)節(jié)又分別使用了不同的模型。
在3D生成模塊中,,
使用的是自研的Sky3DGen大模型,,它能夠生成多樣化的3D元素和場景,從自然景觀到未來都市,,從靜態(tài)物體到動態(tài)角色,,并且提供了實時的3D場景交互能力,使得用戶可以即時看到調整和編輯的效果,加快創(chuàng)作流程,。在WorldEngine的加持下,,用戶可以構建3D虛擬影棚,實現虛擬拍攝體驗,。
在3D與視頻混合創(chuàng)作模塊,,昆侖萬維以圖層融合技術為核心,打造3D與視頻混合創(chuàng)作模式,。視頻中的任意元素都可以自由選擇使用3DAI引擎生成或者視頻大模型生成,。此外,針對混合中遇到的光照和風格差異細節(jié),,昆侖萬維單獨訓練了融合生成模型,,使得圖層融合后的視頻呈現較好的一致性。
由于引擎的使用,,與傳統(tǒng)的視頻生成相比,,WorldEngine實現了成本下降,同時,,生成速度也提升了數個量級,。雖然一個短視頻到這里基本完成生成了,但常常刷劇的群體也會感受到,,好的臺詞功底和BGM對劇情的展示,,有著事半功倍的效果。在臺詞上,,SkyReels的AI文本理解技術,,經過上萬本小說的深度學習,能夠自動化地從文本中識別角色對話,、情感表達,,并預測出合理的句間停頓。在旁白方面SkyReels通過情感化語音合成技術,,幫助旁白用抑揚頓挫的韻律,,讓角色對話充滿豐富充沛的情感。昆侖萬維透露,,SkyReels的智能體不僅能理解文字,,更能智能分析劇本中的場景氛圍,“基于先進的多模態(tài)檢索和背景音樂(BGM)生成能力,,我們能夠為視頻智能配上合理的背景音樂,,讓每一幀畫面都與音樂完美融合?!崩鋈f維AI短劇平臺SkyReels這一革命性的工具,有望帶來AI短劇用戶生成內容(UGC)與專業(yè)用戶生成內容(PUGC)的爆發(fā)式增長,,為短劇內容生態(tài)注入前所未有的活力,,推動短劇內容創(chuàng)作與消費市場的進一步快速增長。一個由AI技術驅動的短劇創(chuàng)作與消費的時代,,正在到來,。昆侖萬維AI UGC的全球布局國海證券研報提到,AI有望提高短劇產能,,降低成本,。短劇出海市場空間保守預測約為360億美元。SkyReels是昆侖萬維出海布局策略中的一個縮影,,背后是他們All in AIGC的戰(zhàn)略思考,。2020年,昆侖萬維創(chuàng)始人周亞輝就看到了AIGC的潛力,,他們預判AI體系之下將會迎來新的內容的黃金時代,。昆侖萬維董事長兼CEO方漢回顧移動互聯網時代的機遇,總結爆紅內容產品的規(guī)律,,發(fā)現大多數都是“免費+To C”的模式,,因為群體基數足夠大,只要產品能夠戳中用戶的需求點,,就能獲得指數級的用戶增長,,打造“AI UGC”平臺成為昆侖萬維的核心策略,即給1%的內容創(chuàng)作者提供服務,、讓99%的用戶消費內容。那么,,AIGC時代爆紅的產品畫像是怎樣的,?方漢認為,適配AI的端側新硬件,、新手機誕生的時候,,或許就是AIGC獲得顛覆性成果的時候,但這個過程還需要3~5年,,而當下的核心任務是找準機會點,,做好預判并占據AIGC的風口。按照移動互聯網時代的規(guī)律,,每個國家都可能有自己的超級App,,也可能一個超級App同時在多個國家劃分地盤。方漢經過一番思考后,,認為應該先占據用戶性價比和接受程度高的國家,,比如歐美、日韓和中國,,再逐步擴散到中東,、東南亞,、南美等地區(qū)。圈定國家之后,,昆侖萬維的管理層開始思考能夠誕生超級App的垂類,,他們不斷問自己“怎么樣才能變成巨頭?”上一個時代至今還活著的內容巨頭,,基本都深耕某一個垂直娛樂品類,,比如網文、短劇,、動畫,,同樣的邏輯在AIGC上也會重演。目前,,昆侖萬維已經針對“AI UGC”策略在國內進行系統(tǒng)布局,,在大模型、AI搜索,、AI音樂等板塊均已構建產品矩陣,。其中,昆侖萬維的大模型已歷經多次迭代:2月份推出新版
MoE
大語言模型“天工2.0”與新版“天工AI智能助手”APP,;4月份“天工3.0”基座大模型與“天工SkyMusic”音樂大模型正式開啟公測,;6月份昆侖萬維開源開源隸屬于“天工3.0”的 2 千億稀疏大模型 Skywork-MoE,在
OpenAI
宣稱封鎖來自非支持國家和地區(qū)的API流量時,,天工開放平臺面向OpenAl API用戶推出“一鍵搬家計劃”,,并提供1.5億Tokens的API調用資源,其中就包括天工2.0及天工3.0大模型,。在迭代大模型的同時,,AI搜索也進入方漢的重點關注范疇,昆侖萬維早于OpenAI的SearchGPT一年時間布局AI搜索,,并在今年對搜索產品進行升級,,支持搜索文本、圖片,、視頻等板塊,,用戶可將結果以思維導圖、表格,、大綱等形式呈現,,并能保存大綱及思維導圖直接生成PPT。除了產品層面,,昆侖萬維耶聯合國際高校,,開源數字智能體研發(fā)工具包AgentStudio,為研究人員和開發(fā)者提供覆蓋智能體完整開發(fā)流程的綜合性平臺,。不論國內還是海外,,每一個語言體系都需要有自己的一套產品,,昆侖萬維相信,AIGC平臺在全球的紅利期即將到來,。
昆侖萬維推出全球首款AI短劇平臺SkyReels,,短劇進入“無人區(qū)”!
5月27日,昆侖萬維集團在公眾號宣布,,其產品天工AI的日活躍用戶數突破100萬,,展現出用戶對該平臺的高度熱情
2024-05-27 15:47:02昆侖萬維:天工AI日活用戶超過100萬近期,,國產第一款3A游戲《黑神話:悟空》的上線,,激起了一股“西游熱”和人人爭當“悟空”的激情。
2024-09-03 21:59:01張?zhí)鞇叟亩虅?/span>豎屏短劇作為一種新興的文化傳播形式,正在全球范圍內迅速崛起,,成為中華文化輸出的新窗口,。
2024-06-04 15:47:53周星馳王晶請注意4月17日,,昆侖萬維發(fā)布重要消息:其自主研發(fā)的“天工3.0”基座大模型及“天工SkyMusic”音樂大模型已面向公眾開放公測
2024-04-17 15:00:08昆侖萬維宣布天工3.0大模型開啟公測近期,,“王媽”這一角色因在手機社交平臺上頻繁為職場人士發(fā)聲而受到廣泛關注
2024-06-04 09:29:21王媽被指無資質短劇已完成備案