OpenAI Sora：“原始版”世界模拟器 我们离黑客帝国还有多远？

春节假期临近尾声。面对持续进攻的谷歌等对手，OpenAI堪称放出了自ChatGPT有史以来最强的大招——Sora。

Sora是OpenAI自研的文生视频扩散模型，可以生成不同长宽比和分辨率的高质量、高保真视频，长度可达1分钟。在一些行业观察人士眼里，Sora不仅性能遥遥领先于竞争对手，甚至可以被视为一款“世界模拟器”。

Sora：大力出奇迹的产物

刚刚发布Gemini 1.5 Pro的谷歌，没有尝到半点甜头。刚刚官宣更新几个小时，OpenAI就拿着Sora来炸场，和Gemini有关的消息，基本都被埋在了铺天盖地的Sora新闻流里。

据一些观察人士推测，OpenAI可能早在去年3月就已经完成了Sora的开发，所以才能在公关战中稳稳占据主动权。

Sora到底优秀在哪里？简单来说，它是一个“大力出奇迹”的产物。

Sora结合了扩散模型（DALL-E3）和转换器架构（ChatGPT）。通过这种组合，该模型可以像ChatGPT处理文本一样处理视频（即图像帧的时间序列）。

最令人印象深刻的特点是它能够逼真地模拟物理世界（OpenAI 将其描述为 “新兴的模拟能力”）。在此之前，还没有任何文字视频模型能与之相媲美。

例如，Sora“可以在单个生成的视频中创建多个镜头，准确地体现人物和视觉风格”。它可以制作长达1分钟的视频，但你也可以随心所欲地制作短视频。可以制作不同分辨率的竖版、方形和水平视频。而且计算量越高，视频质量也会越高。

AI科学家、创业者贾佳亚在社交媒体上表示：Sora基于视频的三维结构分解压缩，用不同分辨率，不同时长，不同场景的各类视频大量训练diffusion model。在学术界连VIT的256*256的分辨率都没法改的情况下，Sora直接用上了高清以及更大的分辨率，这没几千上万张H100都不敢想象如何开始这个项目。

Sora能够学习真实世界的物理规则

OpenAI表示，Sora不仅能理解提示中出现的风格、场景、角色、物体和概念等，还能理解“这些事物在物理世界中是如何存在的”。

Sora通过海量视频，以梯度下降的方式在神经参数中隐含地学习物理引擎。Sora是一个可学习的模拟器，或称“世界模型”。亦即，Sora可能已经学会了一套隐含的物理规则，为视频生成过程提供信息。

毫无疑问，这是AI理解世界的关键一步。OpenAI在博文的最后写道：Sora是能够理解和模拟现实世界的模型的基础，我们相信这种能力将成为实现AGI的重要里程碑。

在OpenAI的Dalle-3图像生成器所使用的扩散模型版本和GPT-4基于变换器的引擎的支持下，Sora不仅能按照提示要求制作视频，而且还能显示出对电影技术的熟练掌握。

这就是讲故事的天赋。在另一部根据“渲染华丽的珊瑚礁纸艺世界，到处都是五颜六色的鱼和海洋生物”的提示制作的视频中。该项目的另一位研究员Bill Peebles指出，Sora通过拍摄角度和时机的选择，创造了一种叙事的推动力：

实际上有多个镜头的变化——这些变化不是拼接在一起的，而是由模型一次性生成的。我们没有告诉它要这么做，它只是自动这么做了。

Sora不仅能根据文本制作图像和视频，或将图像和视频转换为其他视频，而且还能以通用、可扩展的方式完成这些工作，这一点与竞争对手不同。

这种通用性和可扩展性促使人们预测人工智能将颠覆好莱坞和整个电影制作。考虑到进步的速度，想象一下几个月后人工智能模型能够制作出长达5或10分钟的多场景、多角色复杂视频并不是什么疯狂的事情。

目前Sora还在接受安全检查和对抗性测试，没有正式发布。OpenAI希望从“世界各地的政策制定者、教育工作者和艺术家”那里收集反馈意见。他们还在开发一种检测分类器来识别Sora制作的视频，并研究如何防止错误信息。

要想让文字视频威胁到真正的电影制作，恐怕还需要很长一段时间。你不可能把120个一分钟长的Sora片段拼接成一部连贯的电影，因为模型不会以完全相同的方式对提示做出反应，因此无法确保输出视频的连续性。

但时间限制并不妨碍Sora和类似的软件颠覆TikTok、Reel和其他短视频平台的生产方法。

一位研究者表示：要制作一部专业电影，你需要大量昂贵的设备，这种模式将使在社交媒体上制作视频的普通人有能力制作出非常高质量的内容。