Runway Gen-4 解决了 AI 视频的最大问题:跨场景的角色一致性
快速阅读: 《VentureBeat 公司》消息,Runway推出新一代AI视频生成模型Gen-4,提升角色和场景一致性,获谷歌等支持。该技术引发行业对就业、版权等问题的担忧,同时也降低了电影制作门槛,推动创意表达的新时代到来。
加入我们的每日和每周通讯,获取行业领先的人工智能报道的最新动态和独家内容。了解更多Runway AI公司今天推出了其最先进的AI视频生成模型,进入了创造可能改变电影制作工具的新阶段。
新的Gen-4系统在多个镜头中引入了角色和场景的一致性——这一能力直到现在都让大多数AI视频生成器望尘莫及。这家总部位于纽约的初创公司获得了谷歌、英伟达和Salesforce的支持,正在向所有付费订阅者和企业客户发布“Gen-4”,并计划在本周晚些时候推出更多功能。用户可以在720p分辨率下生成五秒和十秒的片段。
就在几天前,OpenAI的图像生成功能引发了文化现象,数百万用户通过ChatGPT请求了类似工作室吉卜力风格的图片。这一病毒式趋势变得如此流行,以至于暂时崩溃了OpenAI的服务器,首席执行官山姆·阿尔特曼发推文称“我们的GPU正在熔化”。吉卜力风格的图片也引发了关于版权的激烈讨论,许多人质疑AI公司是否可以合法模仿独特的艺术风格。
**视觉连续性:AI电影制作中的缺失环节**
角色和场景一致性——在多个镜头和角度中保持相同的视觉元素——一直是AI视频生成的阿喀琉斯之踵。当角色的脸部在剪辑之间微妙变化或背景元素无解释地消失时,内容的人工性质会立即被观众察觉。
这一挑战源于这些模型在根本上的工作方式。以前的AI生成器将每一帧视为独立的创意任务,它们之间的联系松散。想象一下要求一屋子的艺术家各自绘制电影的一帧,而看不到前后的内容——结果将是视觉上支离破碎的。
Runway的Gen-4似乎通过创建视觉元素的持久记忆解决了这个问题。一旦一个角色、物体或环境被建立起来,系统可以从不同的角度渲染它,同时保持其核心属性。这不仅仅是一个技术改进;这是从创造有趣的视觉片段到讲述实际故事的区别。
根据Runway的文档,Gen-4允许用户提供主体的参考图像并描述他们想要的构图,AI从不同的角度生成一致的输出。该公司声称该模型可以在保持主体、对象和风格一致性的同时生成具有真实运动的视频。
为了展示该模型的能力,Runway发布了几个完全使用Gen-4制作的短片。其中一部名为《纽约是个动物园》的电影通过将逼真的动物放置在电影般的纽约场景中展示了该模型的视觉效果。另一部名为《检索》的电影跟随探险家寻找神秘花朵,并在短短一周内完成制作。
**从面部动画到世界模型:Runway的AI电影制作进化**
Gen-4基于Runway的先前工具构建。去年十月,该公司发布了Act-One功能,允许电影制作者从智能手机视频捕捉面部表情并将其转移到AI生成的角色上。随后一个月,Runway在其Gen-3 Alpha Turbo模型中增加了类似3D的摄像机控制,使用户能够在保留角色形态的同时放大和缩小场景。
这一轨迹揭示了Runway的战略愿景。虽然竞争对手专注于创建越来越逼真的单张图片或片段,但Runway一直在组装完整的数字制作流水线的组件。这种方法更接近实际电影制作者的工作方式——将表现、覆盖范围和视觉连续性视为相互关联的挑战,而不是孤立的技术障碍。
从面部动画工具到一致的世界模型的演变表明,Runway明白AI辅助电影制作需要遵循传统制作的逻辑才能真正有用。这是创建技术演示和构建专业人员可以实际融入其工作流程的工具之间的区别。
**AI视频的十亿美元之战升温**
对于Runway来说,财务影响是巨大的,据说该公司正在筹集一轮新融资,这将使公司的估值达到40亿美元。根据财务报告,这家初创公司旨在今年推出新产品和视频生成模型的API后实现3亿美元的年度化收入。
Runway追求好莱坞合作伙伴关系,与狮门影业达成协议,创建一个基于该工作室超过20,000个标题目录的定制AI视频生成模型。该公司还建立了百部影片基金,为使用AI制作电影的电影制作者提供高达100万美元的资金。
“我们相信最好的故事尚未被讲述,但传统的融资机制常常忽视行业中更大生态系统内的新出现的愿景,”Runway在其基金网站上解释道。
然而,这项技术引起了电影行业专业人士的担忧。由动画工会委托进行的一项2024年研究发现,75%采用AI的电影制作公司减少了、合并了或取消了工作岗位。该研究预测,到2026年,超过100,000个美国娱乐业岗位将受到生成式AI的影响。
**版权问题紧随AI的创作爆炸**
和其他AI公司一样,Runway因其训练数据受到法律审查。该公司目前正因艺术家指控其未经许可使用受版权保护的作品来训练AI模型而在诉讼中为自己辩护。Runway引用了合理使用原则作为其辩护理由,尽管法院尚未对这一版权法应用作出最终裁决。
上周,随着OpenAI的吉卜力工作室功能的推出,版权辩论加剧了,该功能允许用户在没有明确许可的情况下生成类似宫崎骏动画工作室风格的图片。与拒绝生成活着艺术家风格图片但允许工作室风格的OpenAI不同,Runway尚未公开其模仿风格的政策。随着AI模型变得越来越复杂,这种区别感觉越来越武断。
学习广泛的艺术传统和复制特定创作者风格之间的界限已经模糊到了几乎看不见的地步。当AI能够完美模仿耗时几十年才发展起来的宫崎骏视觉语言时,我们要求它模仿工作室还是艺术家本身是否重要?
在被问及训练数据来源时,Runway以竞争为由拒绝提供具体信息。这种透明度已成为AI开发者的标准做法,但仍然是创作者争论的焦点。
**工具已经在这里,但我们将会讲述什么样的故事?**
随着营销公司、教育内容创作者和企业传播团队探索像Gen-4这样的工具如何简化视频制作,问题从技术能力转向了创意应用。对于电影制作者来说,这项技术既代表着机会也意味着颠覆。
独立制片人获得了以前只有大型工作室才能使用的视觉特效功能,而传统的视效和动画专业人士面临着不确定的未来。令人尴尬的现实是,技术限制从未阻止大多数人制作引人入胜的电影。保持视觉连续性不会突然创造出一代讲故事的天才。然而,它可能会减少过程中的摩擦,让更多的人无需专业培训或昂贵设备就能尝试视觉叙事。
对于电影制作者来说,这项技术既代表着机会也意味着颠覆。独立制片人获得了以前只有大型工作室才能使用的视觉特效功能,而传统的视效和动画专业人士面临着不确定的未来。
也许Gen-4最具影响力之处并不是它可以创造什么,而是它暗示了我们未来与视觉媒体的关系。我们正在进入一个生产瓶颈不再是技术技能或预算,而是想象力和目的的时代。在一个任何人都可以创造任何他们能描述的图像的世界里,重要的问题是:什么值得展示?
随着制作电影所需的东西只需一张参考图像和一个提示词,最重要的问题不是AI能否制作吸引人的视频,而是当我们手握工具可以表达任何想法时,我们能否找到有意义的内容可言。
**VB每日商业用例洞察**
如果你想给老板留下深刻印象,VB每日可以帮你做到。我们为你提供业内内幕,从监管变化到实际部署,以便你可以分享见解以获得最大回报。现在就订阅阅读我们的隐私政策感谢订阅。查看更多VB新闻简报。
发生错误。
(以上内容均由Ai生成)