[ad_1]
Runway 将 Midjourney 和 Stable Diffusion 搁置一旁，推出了该公司所说的完全由文本提示生成的第一批文本到视频 AI 艺术片段。
该公司表示，它正在提供一个候补名单，以加入它所谓的文本到视频 AI 的“第二代”，此前为它的第一个更简单的文本到视频工具提供了一个类似的候补名单，这些工具使用真实世界的场景作为模型。
去年人工智能艺术出现时，它使用了文本到图像的模型。 用户将输入描述场景的文本提示，该工具将尝试使用它对现实世界“种子”、艺术风格等的了解来创建图像。 Midjourney 等服务在云服务器上执行这些任务，而 Stable Diffusion 和 Stable Horde 则利用在家用 PC 上运行的类似 AI 模型。
然而，文本到视频是下一步。 有多种方法可以实现这一点：Pollinations.ai 已经积累了一些您可以试用的模型，其中一个只是简单地获取一些相关场景并构建一个将它们串在一起的动画。 另一个简单地创建图像的 3D 模型并允许您缩放。
跑道采用不同的方法。 该公司已经提供了 AI 驱动的视频工具：修复以从视频（而不是图像）中删除对象、AI 驱动的背景虚化、文字记录和字幕等。 它的第一代文本到视频工具允许您构建一个真实世界的场景，然后将其用作模型以将文本生成的视频叠加在其上。 这通常是作为图像完成的，例如，您可以在其中拍摄金毛猎犬的照片并使用 AI 将照片转换为杜宾犬的照片。
那是 Gen 1。 Runway 的 Gen 2，正如该公司在推特上所说，可以使用现有的图像或视频作为基础。 但该技术还可以根据文本提示完全自动生成短视频剪辑，仅此而已。
正如 Runway 的推文所表明的那样，这些剪辑都很短（最多只有几秒钟），颗粒感非常强，并且帧率很低。 目前尚不清楚 Runway 何时会发布该模型以供早期访问或一般访问。 但 Runway Gen 2 页面上的示例确实展示了各种各样的视频提示：纯文本到视频的 AI、文本+图像到视频等等。 看起来你给模型的输入越多，你的运气就越好。 在现有对象或场景上应用视频“叠加”似乎可以提供最流畅的视频和最高分辨率。
Runway 已经提供 12 美元/月的“标准”计划，允许无限制的视频项目。 但某些工具，例如实际训练自己的肖像或动物生成器，需要额外支付 10 美元的费用。 目前尚不清楚 Runway 将对其新模型收取多少费用。
什么跑道 做 然而，证明的是，在短短几个月内，我们已经从文本到图像的 AI 艺术转变为文本到视频的 AI 艺术……我们所能做的就是惊讶地摇头。
[ad_2]
Source link
