北京企业网站设计 网站制作 网站建设 北京设计网
文生视频下一站，Meta已经开始视频生视频了
机器之心报道
编辑：小舟、大盘鸡
文本指导的视频到视频（V2V）合成在各个领域具有广泛的应用，例如短视频创作以及更广泛的电影行业。扩散模型已经改变了图像到图像（I2I）的合成方式，但在视频到视频（V2V）合成方面面临维持视频帧间时间一致性的挑战。在视频上应用 I2I 模型通常会在帧之间产生像素闪烁。
为了解决这个问题，来自得州大学奥斯汀分校、Meta GenAI 的研究者提出了一种新的 V2V 合成框架 ——FlowVid，联合利用了源视频中的空间条件和时间光流线索（clue）。给定输入视频和文本 prompt，FlowVid 就可以合成时间一致的视频。
总的来说，FlowVid 展示了卓越的灵活性，可与现有的 I2I 模型无缝协作，完成各种修改，包括风格化、对象交换和局部编辑。在合成效率上，生成 30 FPS、512×512 分辨率的 4 秒视频仅需 1.5 分钟，分别比 CoDeF、Rerender 和 TokenFlow 快 3.1 倍、7.2 倍和 10.5 倍，并且保证了合成视频的高质量。
·······
|
