太平洋科技要聞

Ilya觀點(diǎn)得證！僅靠預(yù)測(cè)下一個(gè)token統(tǒng)一圖像文本視頻，智源發(fā)布原生多模態(tài)世界模型Emu3

量子位整合編輯：太平洋科技發(fā)布于：2024-10-23 15:11

OpenAI前首席科學(xué)家、聯(lián)合創(chuàng)始人Ilya Sutskever曾在多個(gè)場(chǎng)合表達(dá)觀點(diǎn)：

只要能夠非常好的預(yù)測(cè)下一個(gè)token，就能幫助人類達(dá)到通用人工智能（AGI）。

雖然，下一token預(yù)測(cè)已在大語(yǔ)言模型領(lǐng)域?qū)崿F(xiàn)了ChatGPT等突破，但是在多模態(tài)模型中的適用性仍不明確。多模態(tài)任務(wù)仍然由擴(kuò)散模型（如Stable Diffusion）和組合方法（如結(jié)合 CLIP視覺編碼器和LLM）所主導(dǎo)。

2024年10月21日，智源研究院正式發(fā)布原生多模態(tài)世界模型Emu3。該模型只基于下一個(gè)token預(yù)測(cè)，無(wú)需擴(kuò)散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。

Emu3在圖像生成、視頻生成、視覺語(yǔ)言理解等任務(wù)中超過(guò)了SDXL 、LLaVA、OpenSora等知名開源模型，但是無(wú)需擴(kuò)散模型、CLIP視覺編碼器、預(yù)訓(xùn)練的LLM等技術(shù)，只需要預(yù)測(cè)下一個(gè)token。

圖注：在圖像生成任務(wù)中，基于人類偏好評(píng)測(cè)，Emu3優(yōu)于SD-1.5與SDXL模型。在視覺語(yǔ)言理解任務(wù)中，對(duì)于12 項(xiàng)基準(zhǔn)測(cè)試的平均得分，Emu3優(yōu)于LlaVA-1.6。在視頻生成任務(wù)中，對(duì)于VBench基準(zhǔn)測(cè)試得分，Emu3優(yōu)于OpenSora 1.2。

Emu3提供了一個(gè)強(qiáng)大的視覺tokenizer，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散token。這些視覺離散token可以與文本tokenizer輸出的離散token一起送入模型中。與此同時(shí)，該模型輸出的離散token可以被轉(zhuǎn)換為文本、圖像和視頻，為Any-to-Any的任務(wù)提供了更加統(tǒng)一的研究范式。而在此前，社區(qū)缺少這樣的技術(shù)和模型。

此外，受益于Emu3下一個(gè)token預(yù)測(cè)框架的靈活性，直接偏好優(yōu)化（DPO）可無(wú)縫應(yīng)用于自回歸視覺生成，使模型與人類偏好保持一致。

Emu3研究結(jié)果證明，下一個(gè)token預(yù)測(cè)可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式，實(shí)現(xiàn)超越語(yǔ)言本身的大規(guī)模多模態(tài)學(xué)習(xí)，并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過(guò)將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到token本身，能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。下一個(gè)token預(yù)測(cè)為構(gòu)建多模態(tài)AGI提供了一條前景廣闊的道路。

目前Emu3已開源了關(guān)鍵技術(shù)和模型。（開源模型和代碼地址在文末）

Emu3一經(jīng)上線便在社交媒體和技術(shù)社區(qū)引起了熱議。

有網(wǎng)友指出，“這是幾個(gè)月以來(lái)最重要的研究，我們現(xiàn)在非常接近擁有一個(gè)處理所有數(shù)據(jù)模態(tài)的單一架構(gòu)。”

“Emu3 是一種非常新穎的方法（至少在我看來(lái)是這樣），它有機(jī)會(huì)將多模態(tài)合并為一，只需將它們都視為token即可。雖然還處于初期，但演示效果很不錯(cuò)。想象一下，我們可以無(wú)限擴(kuò)展視頻和生成多種模態(tài)�！�

甚至有網(wǎng)友評(píng)價(jià)：“也許我們會(huì)得到一個(gè)真正開放的 OpenAI v2？”

對(duì)于Emu3的意義和影響，有評(píng)論指出：“Emu3 將徹底改變多模態(tài)AI領(lǐng)域，提供無(wú)與倫比的性能和靈活性。”

“Emu3在各行各業(yè)的廣泛適用性和開源靈活性將為開發(fā)者和企業(yè)解鎖人工智能創(chuàng)新能力的機(jī)會(huì)。”

“對(duì)于研究人員來(lái)說(shuō)，Emu3意味著出現(xiàn)了一個(gè)新的機(jī)會(huì)，可以通過(guò)統(tǒng)一的架構(gòu)探索多模態(tài)，無(wú)需將復(fù)雜的擴(kuò)散模型與大語(yǔ)言模型相結(jié)合。這種方法類似于transformer在視覺相關(guān)任務(wù)中的變革性影響。”

“Emu3的統(tǒng)一方法將帶來(lái)更高效、更多功能的AI系統(tǒng)，簡(jiǎn)化多模態(tài)AI的開發(fā)和應(yīng)用以及內(nèi)容生成、分析和理解的新可能性�！�

“Emu3 改寫了多模態(tài)人工智能的規(guī)則…Emu3 重新定義了多模態(tài)AI，展示了簡(jiǎn)單可以戰(zhàn)勝?gòu)?fù)雜。多模態(tài)AI的未來(lái)變得更加精煉與強(qiáng)大。”

效果展示

1. 視覺理解

Emu3 展現(xiàn)了強(qiáng)大的圖像及視頻的感知能力，能夠理解物理世界并提供連貫的文本回復(fù)。值得注意的是，這種能力是在不依賴于基礎(chǔ)LLM模型和CLIP的情況下實(shí)現(xiàn)的。

1.1 圖像輸入

用戶問(wèn)題: Describe the landmark.

模型回答: The image showcases the Brooklyn Bridge, a prominent suspension bridge in New York City, recognized by its distinctive towers and the web of cables that support it. This iconic structure connects the boroughs of Brooklyn and Manhattan.

用戶問(wèn)題: Please describe the image in detail.

模型回答: The image is the cover of a magazine titled “Parktakes,” which is the Fall 2017 issue. The cover features two individuals in a white kayak, paddling on a body of water. The kayak is positioned diagonally, with the two individuals seated towards the front. Both individuals are wearing life jackets, which are red with black straps, and they are holding paddles with orange blades. The person on the left is a woman with long dark hair, wearing sunglasses and a black top. The person on the right is a man with short hair, wearing a green shirt and a light-colored cap. They both appear to be smiling and enjoying their time on the water.

The background shows a natural setting with trees and greenery, indicating that they are likely in a park or natural reserve. The water is calm, and the sky is not visible, suggesting a serene and peaceful environment.

The magazine cover includes several text elements:

1. Title: “Parktakes” is prominently displayed at the top in large, bold, blue letters.

2. Fall 2017 Issue: The issue is marked in the top right corner in a smaller, white font.

3. Main Feature: “Enjoy Fall Adventures in Parks” is written in a large, bold, orange font, emphasizing the theme of outdoor activities.

4. Additional Features: The cover lists several topics covered in the magazine:

- “Birding, Boating, and Hiking”

- “Seasonal Festivals”

- “New Attractions”

5. Registration Information: At the bottom, there is a call to action to “Registration begins Aug. 1 for full classes” and a website link: “www.fairfaxcounty.gov/parks.”

Analysis and Description

The cover of “Parktakes” effectively conveys the theme of outdoor recreational activities, particularly in parks. The image of the two individuals in a kayak suggests that the magazine features content related to kayaking, canoeing, and other water sports. The inclusion of life jackets indicates a focus on safety and preparedness for water activities. The mention of seasonal festivals and new attractions implies that the magazine includes information on various events and attractions within the parks.

The cover also highlights the magazine’s commitment to providing a comprehensive guide to outdoor activities, with a clear emphasis on safety and accessibility. The registration information suggests that the magazine is a resource for planning and participating in various outdoor activities, likely targeting a wide audience interested in parks and recreational activities.

In summary, the magazine cover is designed to attract readers interested in outdoor adventures, safety, and seasonal events within parks. The use of a kayak and life jackets emphasizes the magazine’s focus on water sports and safety, while the inclusion of various features and registration information suggests a well-rounded resource for park visitors.

1.2 視頻輸入

用戶問(wèn)題: What is the man doing in the video?

模型回答: The man in the video appears to be performing a fire dance, a form of entertainment where a person uses fire to create dynamic and visually appealing movements. The sparklers he holds produce a mesmerizing display of light and shadows, capturing the intensity of his performance.

2. 圖像生成

Emu3通過(guò)預(yù)測(cè)下一個(gè)視覺token來(lái)生成高質(zhì)量的圖像。該模型自然支持靈活的分辨率和不同風(fēng)格。

3. 視頻生成

與使用視頻擴(kuò)散模型以從噪聲生成視頻的Sora不同，Emu3只是通過(guò)預(yù)測(cè)序列中的下一個(gè)token來(lái)因果性的生成視頻。

4. 視頻預(yù)測(cè)

在視頻的上下文中，Emu3可以自然地?cái)U(kuò)展視頻并預(yù)測(cè)接下來(lái)會(huì)發(fā)生什么。模型可以模擬物理世界中環(huán)境、人和動(dòng)物。

Emu3技術(shù)細(xì)節(jié)

1 數(shù)據(jù)

Emu3是在語(yǔ)言、圖像和視頻混合數(shù)據(jù)模態(tài)上從頭開始訓(xùn)練的。

語(yǔ)言數(shù)據(jù)：使用與Aquila模型相同的語(yǔ)言數(shù)據(jù)，一個(gè)由中英文數(shù)據(jù)組成的高質(zhì)量語(yǔ)料庫(kù)。

圖像數(shù)據(jù)：構(gòu)建了一個(gè)大型圖像文本數(shù)據(jù)集，其中包括開源網(wǎng)絡(luò)數(shù)據(jù)、AI生成的數(shù)據(jù)和高質(zhì)量的內(nèi)部數(shù)據(jù)。整個(gè)數(shù)據(jù)集經(jīng)過(guò)了分辨率、圖片質(zhì)量、類型等方面的過(guò)濾過(guò)程。訓(xùn)練了一個(gè)基于Emu2的圖像描述模型來(lái)對(duì)過(guò)濾后的數(shù)據(jù)進(jìn)行標(biāo)注以構(gòu)建密集的圖像描述，并利用vLLM庫(kù)來(lái)加速標(biāo)注過(guò)程。

視頻數(shù)據(jù)：收集的視頻涵蓋風(fēng)景、動(dòng)物、植物和游戲等多個(gè)類別。

整個(gè)視頻處理流程包括了場(chǎng)景切分、文本過(guò)濾、光流過(guò)濾、質(zhì)量評(píng)分等階段。并使用基于圖像描述模型微調(diào)得到的視頻描述模型來(lái)對(duì)以上過(guò)濾后的視頻片段打標(biāo)文本描述。

2 統(tǒng)一視覺Tokenizer

在SBER-MoVQGAN的基礎(chǔ)上訓(xùn)練視覺tokenizer，它可以將4×512×512的視頻片段或512×512的圖像編碼成4096個(gè)離散token。它的詞表大小為32,768。Emu3的tokenizer在時(shí)間維度上實(shí)現(xiàn)了4×壓縮，在空間維度上實(shí)現(xiàn)了8×8壓縮，適用于任何時(shí)間和空間分辨率。

此外，基于MoVQGAN架構(gòu)，在編碼器和解碼器模塊中加入了兩個(gè)具有三維卷積核的時(shí)間殘差層，以增強(qiáng)視頻token化能力。

3 架構(gòu)

Emu3保留了主流大語(yǔ)言模型（即 Llama-2）的網(wǎng)絡(luò)架構(gòu)。不同點(diǎn)在于，其擴(kuò)展了Llama-2架構(gòu)中的嵌入層，以容納離散的視覺token。網(wǎng)絡(luò)中使用RMSNorm進(jìn)行歸一化。其還使用了GQA注意力機(jī)制、SwiGLU激活函數(shù)和一維旋轉(zhuǎn)位置編碼（RoPE）等技術(shù)，并并去除了注意力模塊中QKV層和線性投影層中的偏置。此外，還采用了0.1的dropout率來(lái)提高訓(xùn)練的穩(wěn)定性，使用QwenTokenizer對(duì)多語(yǔ)言文本進(jìn)行編碼。詳細(xì)架構(gòu)配置表。

4 預(yù)訓(xùn)練

在預(yù)訓(xùn)練過(guò)程中，首先要定義多模態(tài)數(shù)據(jù)格式。與依賴外部文本編碼器的擴(kuò)散模型不同，Emu3 原生集成了用于生成圖像/視頻的文本條件信息。在視覺和語(yǔ)言的固有token中新增了五個(gè)特殊token來(lái)合并文本和視覺數(shù)據(jù)，以為訓(xùn)練過(guò)程創(chuàng)建類似文檔的輸入。生成的訓(xùn)練數(shù)據(jù)結(jié)構(gòu)如下：

其中，[BOS] 和 [EOS] 是QwenTokenizer中的原始特殊token 。

額外新增的特殊token包括：

[SOV]表示視覺輸入（包含圖像和視頻的meta信息部分）的開始

[SOT]表示視覺token的開始

[EOV]表示視覺輸入的結(jié)束。

此外，特殊token [EOL] 和 [EOF] 作為換行符和換幀符插入到了視覺token中。元文本包含圖像的分辨率信息，視頻則包括分辨率、幀率和持續(xù)時(shí)間，均以純文本格式呈現(xiàn)。在構(gòu)建理解數(shù)據(jù)時(shí)，Emu3將部分?jǐn)?shù)據(jù)中的 “caption text”字段移至[EOV] token之后。

訓(xùn)練目標(biāo)：由于 Emu3 中的視覺信號(hào)已完全轉(zhuǎn)換為離散token，因此只需使用標(biāo)準(zhǔn)的交叉熵?fù)p失進(jìn)行下一個(gè)token預(yù)測(cè)任務(wù)的訓(xùn)練。為了防止視覺token在學(xué)習(xí)過(guò)程中占據(jù)主導(dǎo)地位，對(duì)與視覺token相關(guān)的損失加權(quán) 0.5。

訓(xùn)練細(xì)節(jié)：Emu3 模型在預(yù)訓(xùn)練期間利用非常長(zhǎng)的上下文長(zhǎng)度來(lái)處理視頻數(shù)據(jù)。為便于訓(xùn)練，采用了張量并行（TP）、上下文并行（CP）和數(shù)據(jù)并行（DP）相結(jié)合的方法。同時(shí)將文本和圖像數(shù)據(jù)打包成最大上下文長(zhǎng)度，以充分利用計(jì)算資源，同時(shí)需要確保在打包過(guò)程中不會(huì)分割完整的圖像。

預(yù)訓(xùn)練過(guò)程分為兩個(gè)階段，第一階段不使用視頻數(shù)據(jù)，訓(xùn)練從零開始，文本和圖像數(shù)據(jù)的上下文長(zhǎng)度為 5,120；在第二階段，引入視頻數(shù)據(jù)，并使用 131,072 的上下文長(zhǎng)度。

5 SFT階段

5.1 視覺生成

質(zhì)量微調(diào)：在預(yù)訓(xùn)練階段之后，對(duì)視覺生成任務(wù)進(jìn)行后訓(xùn)練，以提高生成輸出的質(zhì)量。使用高質(zhì)量數(shù)據(jù)進(jìn)行質(zhì)量微調(diào)。

直接偏好優(yōu)化：Emu3在自回歸多模態(tài)生成任務(wù)中采用直接偏好優(yōu)化（Direct Preference Optimization，DPO）技術(shù)，利用人類偏好數(shù)據(jù)來(lái)提高模型性能。

5.2 視覺語(yǔ)言理解

預(yù)訓(xùn)練模型經(jīng)過(guò)兩個(gè)階段的視覺語(yǔ)言理解后訓(xùn)練過(guò)程：1) 圖像到文本的訓(xùn)練以及 2) 指令調(diào)整。

第一階段：將圖像理解數(shù)據(jù)與純語(yǔ)言數(shù)據(jù)整合在一起，而與視覺token相關(guān)的損失則在純文本預(yù)測(cè)中被忽略。

第二階段：利用 LLaVA 數(shù)據(jù)集中的約 320 萬(wàn)個(gè)問(wèn)答對(duì)進(jìn)行指令微調(diào)。低于 512 × 512 或高于 1024 × 1024 的圖片將被調(diào)整到較低或較高的分辨率，同時(shí)保持相應(yīng)的長(zhǎng)寬比，而其他圖片則保持原始分辨率。

開源地址

除了先前經(jīng)SFT的Chat模型和生成模型外，智源研究院還在近日開源了Emu3生成和理解一體的預(yù)訓(xùn)練模型以及相應(yīng)的SFT訓(xùn)練代碼，以便后續(xù)研究和社區(qū)構(gòu)建與集成。

代碼：https://github.com/baaivision/Emu3
項(xiàng)目頁(yè)面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

未來(lái)方向

Emu3為多模態(tài)AI指出了一條富有想象力的方向，有機(jī)會(huì)將AI基礎(chǔ)設(shè)施收斂到單一技術(shù)路線上，為大規(guī)模的多模態(tài)訓(xùn)練和推理提供基礎(chǔ)。統(tǒng)一的多模態(tài)世界模型未來(lái)有廣泛的潛在應(yīng)用，包括自動(dòng)駕駛、機(jī)器人大腦、智能眼鏡助手、多模態(tài)對(duì)話和推理等。預(yù)測(cè)下一個(gè)token有可能通往AGI。

本文來(lái)源：量子位

預(yù)測(cè)下一個(gè)token 多模態(tài)模型 Emu3

量子位

原創(chuàng)欄目