“世界模型”——AI下一個“必爭之地”，英偉達(dá)、谷歌雙雙下場

熱點 2025年01月08日 01:00 50 admin

　　來源：硬AI

　　作者：趙穎

　　黃仁勛身著新皮衣亮相2025?CES，除了推出炸裂的GPU RTX 5090之外，還宣布入局AI領(lǐng)域當(dāng)下最關(guān)鍵的方向一“世界模型”。

　　1月7日，黃仁勛在2025年拉斯維加斯消費電子展（CES）上宣布，推出Cosmos世界模型（Cosmos World Foundation Models，簡稱Cosmos WFMs），該模型專為理解物理世界打造，可預(yù)測和生成“物理感知”的視頻。

　　具體來看，Cosmos WFMs分為三類：

（1）Nano：適用于低延遲和實時應(yīng)用；（2）Super：高性能基線模型；（3）最高質(zhì)量和保真度輸出。

　　這些模型的參數(shù)規(guī)模從40億到140億不等，Nano最小，Ultra最大。英偉達(dá)還發(fā)布了上采樣模型、針對增強(qiáng)現(xiàn)實優(yōu)化的視頻解碼器以及確保負(fù)責(zé)任使用的guardrail模型。

　　實際上，除了英偉達(dá)，谷歌以及不少初創(chuàng)企業(yè)也在追逐世界模型，谷歌旗下DeepMind組建世界模型研究團(tuán)隊，聘請Sora核心人員Tim Brooks掌舵。此外，“AI教母”李飛飛的World Labs、初創(chuàng)公司Decart、 Odyssey也都涉足其中。

　　不僅引得一眾科技企業(yè)逐鹿，“世界模型”還被業(yè)內(nèi)吹捧為是AI領(lǐng)域的下一個關(guān)鍵突破，那么“世界模型”到底指的是什么？它的重要之處在于哪里？

　　英偉達(dá)入局“世界模型”，一眾科技巨頭“逐鹿”

　　據(jù)英偉達(dá)介紹稱，Cosmos WFMs經(jīng)過了9000萬億個token的訓(xùn)練，數(shù)據(jù)來自2000萬小時的真實世界人類互動、環(huán)境、工業(yè)、機(jī)器人和駕駛數(shù)據(jù)。模型可針對特定應(yīng)用進(jìn)行微調(diào)，通過英偉達(dá)API和NGC目錄、GitHub和AI開發(fā)平臺Hugging Face可獲得。

　　多家企業(yè)已開始試用Cosmos，英偉達(dá)表示，Waabi、Wayve、Fortellix和Uber等多家已經(jīng)承諾在各種用例中試用CosmosWFM，從視頻搜索和策劃到為自動駕駛汽車構(gòu)建AI模型。

　　不過，由于英偉達(dá)拒絕透露訓(xùn)練數(shù)據(jù)的具體來源，這引發(fā)了版權(quán)爭議，分析稱這正是英偉達(dá)將這些模型稱為“開放”而不是“開源”的原因。

“世界模型”——AI下一個“必爭之地”，英偉達(dá)、谷歌雙雙下場

　　與此同時，谷歌DeepMind也在積極布局世界模型領(lǐng)域。根據(jù)TechCrunch報道，DeepMind正在組建一支專門的世界模型研究團(tuán)隊，以擴(kuò)大其在該領(lǐng)域的領(lǐng)先地位。該團(tuán)隊將由前OpenAI研究員Tim Brooks領(lǐng)導(dǎo)，他于去年10月加入DeepMind。

　　DeepMind上個月發(fā)布了Genie，該模型可模擬虛擬世界以及逼真的動畫和物理效果，并支持所有這些元素之間的交互。例如用戶可以使用Genie創(chuàng)建的各種示例世界，包括航海模擬、賽博朋克西部片等，還可以使用文本、圖像或兩者的組合來提示Genie。

　　除了英偉達(dá)、谷歌等科技巨頭，還有不少耀眼的初創(chuàng)玩家。“AI教母”李飛飛的World Labs已籌集2.3億美元用于構(gòu)建“大世界模型”，以及Decart、 Odyssey等公司也入局其中。此外，OpenAI此前發(fā)布的Sora模型也可視為一種“世界模型“，它能夠模擬如畫家在畫布上留下筆觸等行為，以及渲染類似Minecraft的UI和游戲世界。

　　AI領(lǐng)域的下一個關(guān)鍵突破：世界模型

　　什么是AI“世界模型”？為什么它們很重要？

　　具體來看，世界模型是指通過大量圖像、音頻、視頻和文本數(shù)據(jù)訓(xùn)練，創(chuàng)建對世界運(yùn)作方式的內(nèi)部表征，并能推理行為的后果。這使它們能更好地理解和模擬現(xiàn)實世界的規(guī)律。

　　世界模型的概念源自人類大腦形成的心智模型，我們的大腦能夠?qū)⒏泄佾@取的抽象信息整合成對周圍世界的具體理解，從而形成“模型”，這些模型幫助我們預(yù)測和感知世界。

　　世界模型的特點是試圖超越數(shù)據(jù)，模擬人類的潛意識推理，例如，棒球擊球手能在毫秒內(nèi)決定如何揮棒，是因為他們能本能地預(yù)測球的軌跡。這種潛意識推理能力被認(rèn)為是實現(xiàn)人類級智能的先決條件之一。

　　“世界模型”的意義在于可以實現(xiàn)復(fù)雜推理和規(guī)劃，還將生成式視頻技術(shù)的突破：

1．生成式視頻技術(shù)的突破：世界模型在生成式視頻領(lǐng)域展現(xiàn)出巨大潛力。與傳統(tǒng)的生成模型相比，具備基本物理規(guī)律理解的世界模型能更準(zhǔn)確地模擬物體的運(yùn)動。例如，它不僅能預(yù)測籃球會彈跳，還能理解為什么會彈跳。Snap前AI負(fù)責(zé)人、Higgsfield公司CEO Alex Mashrabov表示，有了強(qiáng)大的世界模型，創(chuàng)作者就不需要為每個物體定義預(yù)期的運(yùn)動方式，模型本身就能理解這些。

2．復(fù)雜預(yù)測和規(guī)劃：Meta首席AI科學(xué)家Yann LeCun認(rèn)為，世界模型未來可能用于數(shù)字和物理領(lǐng)域的復(fù)雜預(yù)測和規(guī)劃。例如，給定一個臟亂的房間（初始狀態(tài)）和一個整潔的房間（目標(biāo)狀態(tài)），世界模型可以推理出一系列清潔行動，而不僅僅是根據(jù)觀察到的模式進(jìn)行操作。

　　擁有這些能力后，“世界模型”可廣泛賦能影視、游戲，自動駕駛以及機(jī)器人等行業(yè)。

　　World Labs聯(lián)合創(chuàng)始人Justin Johnson預(yù)測，未來的世界模型可能能夠按需生成用于游戲、虛擬攝影等用途的3D世界，大大降低開發(fā)成本和時間。世界模型將不僅能獲得圖像或視頻片段，還能得到一個完全模擬的、生動的、可交互的3D世界。

　　代表好萊塢動畫師和漫畫家的工會動畫協(xié)會（Animation Guild）一項2024年研究估計，人工智能有可能在未來兩年內(nèi)顛覆美國10多萬個電影、電視和動畫工作崗位。

　　世界模型還有望推動機(jī)器人技術(shù)進(jìn)步，通過增強(qiáng)機(jī)器人對周圍環(huán)境和自身的感知能力，幫助它們更好地理解所處情境并推理可能的解決方案。

“世界模型”——AI下一個“必爭之地”，英偉達(dá)、谷歌雙雙下場

　　盡管前景誘人，世界模型的發(fā)展仍面臨諸多技術(shù)挑戰(zhàn)：

巨大的計算需求：訓(xùn)練和運(yùn)行“世界模型”需要比當(dāng)前生成模型更多的計算能力；幻覺和偏見問題：像所有AI模型一樣，“世界模型”也會產(chǎn)生幻覺并內(nèi)化訓(xùn)練數(shù)據(jù)中的偏見。

訓(xùn)練數(shù)據(jù)限制：缺乏足夠廣泛而又具體的訓(xùn)練數(shù)據(jù)可能會加劇上述問題。復(fù)雜行為模擬：目前的模型難以準(zhǔn)確捕捉世界居民（如人類和動物）的行為。

　　過去一年AI技術(shù)在多元方向持續(xù)突破，世界模型被視為下一個重大突破。雖然距離成熟的“世界模型”還有數(shù)年時間距離，但這一技術(shù)已展現(xiàn)出巨大潛力。如果所有主要障礙都能克服，“世界模型”有望在虛擬世界生成、機(jī)器人技術(shù)和AI決策等領(lǐng)域帶來重大突破，為人工智能與現(xiàn)實世界的融合開辟新的途徑。

“世界模型”——AI下一個“必爭之地”，英偉達(dá)、谷歌雙雙下場