首頁(yè) > 科技要聞 > 科技> 正文

叫板Sora！Adobe推出AI視頻神器，一句話(huà)P視頻

appso 整合編輯：太平洋科技 發(fā)布于：2024-10-16 14:26

最近 AI 視頻領(lǐng)域異常熱鬧，Adobe 也剛剛加入了這場(chǎng)混戰(zhàn)。

在今年的 Adobe Max 大會(huì)上，Adobe 正式推出了自己的 AI 視頻模型——Firefly Video Model，進(jìn)軍生成式人工智能領(lǐng)域。

Adobe 的首席產(chǎn)品營(yíng)銷(xiāo)經(jīng)理 Meagan Keane 表示，F(xiàn)irefly Video Model 的推出旨在簡(jiǎn)化加速視頻創(chuàng)作，并且增加視頻的故事講述能力。概括來(lái)講，這個(gè)模型包含三個(gè)有趣且實(shí)用的功能：

Generative Extend（生成拓展）

Text-to-Video（文生視頻）

Image-to-Video（圖生視頻）

其中，Generative Extend 已經(jīng)被集成至 Adobe 所開(kāi)發(fā)的專(zhuān)業(yè)視頻編輯軟件 Premiere Pro 當(dāng)中；Text-to-Video 和 Image-to-Video 則剛剛在 Firefly Web app 中推出 beta 版本。

顧名思義，如果你拍攝的視頻片段太短或缺失某些部分，Generative Extend 可以幫你在視頻片段的開(kāi)頭或結(jié)尾進(jìn)行「生成式擴(kuò)展」。

也就是說(shuō)，假如所需的鏡頭不可用，或者某個(gè)鏡頭的剪輯時(shí)機(jī)過(guò)早或過(guò)晚，剪輯師只需要拖動(dòng)該視頻片段的開(kāi)頭或結(jié)尾，Generative Extend 就可以自動(dòng)填充生成式內(nèi)容，以保持視頻的連貫、平滑。

Generative Extend 的生成式視頻擴(kuò)展功能演示（視頻來(lái)自 Adobe，下同）

這意味著如果視頻創(chuàng)作者在拍攝過(guò)程中得到了一個(gè)「廢鏡頭」，他可能不再需要回到原場(chǎng)地重新拍攝，而是利用 Generative Extend 直接對(duì)原片段進(jìn)行擴(kuò)展和修復(fù)。

一定程度上講，這確實(shí)有助于提高視頻創(chuàng)作效率——當(dāng)然，是在 Generative Extend 所延伸的片段質(zhì)量過(guò)硬的情況下。

遺憾的是，該功能目前的最大分辨率限制為1080p，且片段最長(zhǎng)只能擴(kuò)展兩秒鐘。

因此，Generative Extend 只適合對(duì)視頻片段進(jìn)行微小的調(diào)整，即它只能幫助用戶(hù)修復(fù)某些細(xì)節(jié)，卻不能代替創(chuàng)作者本身，進(jìn)行大篇幅的創(chuàng)作。

Generative Extend 還可以幫助用戶(hù)拍攝過(guò)程中進(jìn)行調(diào)整，糾正在拍攝過(guò)程中視線(xiàn)偏移或其他意外產(chǎn)生的移動(dòng)。

除了視頻之外，Generative Extend 還可以用于音頻的平滑編輯。它可以將視頻中的環(huán)境背景音效擴(kuò)展長(zhǎng)達(dá)十秒鐘時(shí)間，但無(wú)法對(duì)對(duì)話(huà)或音樂(lè)進(jìn)行拓展。

Generative Extend 的音頻擴(kuò)展功能示意

如果你想在視頻創(chuàng)作過(guò)程中省點(diǎn)力氣，你可以使用 Text-to-Video 功能直接生成。

同它的「老前輩」Runway 和 OpenAI 的 Sora 一樣，用戶(hù)只需要輸入他們想要生成的視頻的文本描述，它就可以模擬「真實(shí)電影」、「3D動(dòng)畫(huà)」和「定格動(dòng)畫(huà)」等各種風(fēng)格生成相應(yīng)的視頻片段。

值得一提的是，用 Text-to-Video 生成的視頻片段還可以使用一系列「相機(jī)控制」進(jìn)行進(jìn)一步細(xì)化處理，這些控制能夠模擬真實(shí)的相機(jī)角度、運(yùn)動(dòng)和拍攝距離等。

相機(jī)控制選項(xiàng)（圖片來(lái)源：Adobe）

Image-to-Video 功能則更進(jìn)一步，允許用戶(hù)在視頻創(chuàng)作過(guò)程中添加「參考圖像」，以生成更加貼近用戶(hù)想象的視頻。

視頻創(chuàng)作者可以從一張圖像和照片出發(fā)，利用 Image-to-Video 功能直接制作「B-roll」（電影和視頻制作術(shù)語(yǔ)，指的是除了主要拍攝內(nèi)容（A-roll）之外的輔助視頻素材）。

用戶(hù)還可以通過(guò)上傳視頻的單幀，并由 Image-to-Video 自動(dòng)補(bǔ)充缺失幀，以此來(lái)創(chuàng)建完整的特寫(xiě)鏡頭。

「眾所周知，視頻不能P，所以一定是真的�！�

然而，Image-to-Video 的「賽博重拍」功能，直接讓這句話(huà)變成過(guò)去式。它宛如一只「上帝之手」，可以讓用戶(hù)對(duì)視頻內(nèi)容（視頻中的人物動(dòng)作等）直接進(jìn)行操作和修改。

修改后的視頻片段，提示文本：一只戴著手套的宇航員的手進(jìn)入畫(huà)面，并拔掉了其中一根黃色電纜，具有電影感。

目前，Text-to-Video 和 Image-to-Video 功能生成視頻片段的最大長(zhǎng)度僅為五秒鐘，質(zhì)量最高為 720p 和每秒 24 幀。視頻生成時(shí)間大約為 90 秒，Adobe 正在開(kāi)發(fā)「渦輪模式」來(lái)縮短這一時(shí)間。

視頻生成質(zhì)量的不足表明，用戶(hù)還無(wú)法用 Firefly Video Model 生成一部完整的電影，暫時(shí)只能作為創(chuàng)作輔助工具來(lái)使用。

Adobe 強(qiáng)調(diào)，F(xiàn)irefly Video Model 只會(huì)在許可內(nèi)容（如 Adobe Stock）和公共領(lǐng)域內(nèi)容上對(duì)該模型進(jìn)行訓(xùn)練，而不會(huì)在客戶(hù)提供的內(nèi)容上進(jìn)行。

此外，使用 Firefly Video Model 創(chuàng)建或編輯的視頻可以?xún)?nèi)嵌內(nèi)容憑證，旨在為創(chuàng)作者和內(nèi)容出處提供歸屬證明，有助于聲明 AI 使用情況和所有權(quán)權(quán)益，以保證「商業(yè)安全」。

本文來(lái)源：Appso

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
    • 二維碼 回到頂部