2024-02-16 OpenAI发布首个文生视频模型Sora
界面新闻记者 | sxWgP程璐
界面新闻编辑 | 文姝琪
2月16日凌晨，OpenAI再次扔出一枚深水炸弹，发布了首个文生视频模型Sora。据介绍，Sora可以直接输出长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。
目前官网上已经更新了48个视频demo，在这些demo中，Sora不仅能准确呈现细节，还能理解物体在物理世界中的存在，并生成具有丰富情感的角色。该模型还可以根据提示、静止图像甚至填补现有视频中的缺失帧来生成视频。
例如一个Prompt（大语言模型中的提示词）的描述是：在东京街头，一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。
在Sora生成的视频里，女士身着黑色皮衣、红色裙子在霓虹街头行走，不仅主www.czybx.com体连贯稳定，还有多镜头，包括从大街景慢慢切入到对女士的脸部表情的特写，以及潮湿的街道地面反射霓虹灯的光影效果。
另一个Prompt则是，一只猫试图叫醒熟睡的主人，要求吃早餐，主人试图忽略这只猫，但猫尝试了新招，最终主人从枕头下拿出藏起来的零食，让猫自己再多待一会儿。在这个AI生成视频里，猫甚至都学会了踩奶，对主人鼻头的触碰甚至都是轻轻的，接近物理世界里猫的真实反应。
OpenAI表示，他们正在教AI理解和模拟运动中的物理世界，目标是训练模型来帮助人们解决需要现实世界交互的问题。
随后OpenAI解释了Sora的工作原理，Sora是一个扩散模型，它从类似于静态噪声的视频开始，通过多个步骤逐渐去除噪声，视频也从最初的随机像素转化为清晰的图像场景。Sora使用了Transformer架构，有极强的扩展性。
视频和图像是被称为“补丁”的较小数据单位集合，每个“补丁”都类似于GPT中的一个标记（Token），通过统一的数据表达方式，可以在更广泛的视觉数据上训练和扩散变化，包括不同的时间、分辨率和纵横比。
Sora是基于白熊资讯网过去对DALLE和GPT的研究www.czybx.com基础构建，利用DALLE 3的重述提示词技术，为视觉模型训练数据生成高描述性的标注，因此模型能更好的遵循文本指令。
一位YouTube博主Paddy Galloway发表了对Sora的感想，他表示内容创作行业已经永远的改变了，并且毫不夸张。“我进入YouTube世界已经15年时间，但OpenAI刚刚的展示让我无言…动画师/3D艺术家们有麻烦了，素材网站将sxWgP变得无关紧要，任何人都可以无壁垒获得难以置信的产品，内容背后的‘想法’和故事将变得更加重要。”
但Sora模型当前也存在弱点。OpenAI称它可能难以准确模拟复杂场景的物理原理，并且可能无法理解因果关系。例如，一个人可能咬了一口饼干后，饼干会没有咬痕，玻璃破碎的物理过程可能也无法被准确呈现。
内容版权声明：除非注明原创否则皆为转载，再次转载请注明出处。
相关文章
-
2024-11-15 辽篮一天裁掉双外援
【来源：东北新闻网】阿丘尔和沙约克（左）被终止外援合同，寻找大外援成关键。张文魁摄11月14日，辽宁男篮宣布，与阿丘尔和沙约克终止外援合同。面对第一阶段联赛表现低于预期的两名外援，辽宁男篮此次果断决定...
2024-11-15 06:57:21辽篮一天裁掉双外援 -
2024-11-14 通下水道强行要数千元 12人被判刑
马桶下水道被堵住大家第一时间都会想到在网上找管道疏通师傅然而师傅上门之后二话不说就往马桶里倒两瓶管道疏通剂下去厕所如果还是没通师傅就会继续倒疏通剂下去结算时费用竟然高达数千元面对质疑价钱的客户师傅吵嚷...
2024-11-14 16:41:20通下水道强行要数千元 12人被判刑 -
2024-11-12 中国治沙人给沙漠穿上格子衫
中国太牛了！中国治沙人让沙漠穿上“格子衫”，在浩瀚的沙漠中，筑起一条连接城市的道路，而这番操作让外媒直接惊呼：中国有魔方！能挡住风沙。在中国广袤的塔克拉玛干沙漠，治沙工人们凭借一种神奇的“方格网”技术...
2024-11-12 10:39:37中国治沙人给沙漠穿上格子衫 -
-
-
-
-
2024-11-13 特朗普宣布马斯克将领导政府效率部
△埃隆·马斯克当地时间11月12日，美国当选总统特朗普宣布，美国企业家埃隆·马斯克与维韦克·拉马斯瓦米将在他就任总统后共同领导拟成立的“政府效率部”。△维韦克·拉马斯瓦米特朗普表示，“政府效率部”将“...
2024-11-13 08:58:41特朗普宣布马斯克将领导政府效率部 -
-
