ソラが現れなかったとき、OpenAI の敵は武器を使用して街を破壊しました。
今日,旧金山初创公司 Luma AI 打出一手王牌,推出新一代 AI 视频生成模型 Dream Machine。人人免费可用。
据介绍,该模型能够根据简单的文本描述生成高质量、逼真视频,效果堪比 Sora。
尽管官方声称该模型能在短短两分钟内生成 120 帧视频,但由于访问量激增,许多用户在官网中苦苦等待数小时。
Luma 的产品增长主管 Barkley Dai 不得不在 Discord 上发文解释 ——
「目前我们面临巨大的需求,正在努力提升我们的处理能力。所有视频生成任务都会保留,只是需要在队列中稍作等待。一旦我们增加了处理能力,我会立刻在这里通知大家!」
有网友表示,目前,Luma 是 AI 视频领域的新王者。
还有网友称,「我们不再需要 Sora !」不知 OpenAI 看了作何感想。
不过也有网友吐槽,制作 8 个视频后,系统提示「超出最大使用限制」,并且没有解释应该等待多长时间才能制作新视频。
先是快手可灵开启内测,排队人数超过 5 万人,紧接着 Luma 就祭出杀手锏 Dream Machine,人人免费可用。
与其他 AI 视频模型相比,Dream Machine 具有以下几个特点:
2. 动作逼真,流畅,还融入电影级别的摄影技巧和戏剧张力;
Luma 官方和广大网友们陆续整活儿,奉上了一出出精彩的视觉盛宴。
例如,这段使用文本生成的视频,画面是一辆汽车在马路上狂飙。无论是行驶过程还是镜头转换,丝滑逼真。
一个低至地面的摄像机,跟踪一群小仓鼠深入洞穴,这画面与 Sora 的蚂蚁视频有异曲同工之妙,不过,Dream Machine 使用的是图生视频功能,俗称「垫图」。
一个身穿橙色 T 恤的光头男人在房间内移动,人物的逼真程度以及画面构图媲美电影大片。
这是一个废墟场景拍摄镜头。地面上废弃的绳子、木板以及墙面的涂鸦呈现地自然真实。
画面中,一名妙龄女子挥舞裙摆跳舞,动作行云流水,像极了奢侈品广告大片。不过美中不足的是,裙摆、头发会出现形变。
甚至有网友生成了一段杀手枪战的动作场景。
网友 @ai_mov_director 还用它生成一段 1 分钟的故事片 ——「Break The Tie」,在保持人物一致性方面,Dream Machine 有两把刷子。
除了生成逼真视频外,Dream Machine 也可以尝试不同风格。
比如日本动漫风:
迪士尼风格:
总体来看,Dream Machine 在视频的逼真度、流畅度方面值得称道,不过它并非完美。
曾为苹果、三星、谷歌等知名品牌执导过广告的 Julien Vallee 表示,Dream Machine 能够模仿自然摄像机动作,特别是手持拍摄时,效果非常逼真。然而,与其他模型一样,它也需要一些试错,才能生成出色的镜头。
2024 年是大选之年,OpenAI 为了不惹事,一直把 Sora 藏着掖着。
当 Sora「千呼万唤」不出来时,对手们却纷纷祭出大杀器来炸街。
既然 Dream Machine、可灵都打着「对标 Sora」的旗号,那么,我们索性就搞个竞技场,让 Dream Machine、可灵与 Sora 同台 PK。
Prompt 1:photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.
中文提示词 1:两艘海盗船在一杯咖啡中航行时相互争斗的逼真特写视频。
Prompt 2:Nighttime footage of hermit crabs using light bulbs as shells.
Prompt 3:macro shot of a leaf showing tiny trains moving through its veins.
中文提示词 3:一片叶子的微距照片,显示微小的火车在叶脉中移动。
Prompt 4:A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.
中文提示词 4:一个时髦的女人走在东京的街道上,到处都是温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克、红色长裙、黑色靴子,拿着一个黑色钱包。她戴着太阳镜,涂着红色的口红。她走起路来自信而随意。街道是潮湿和反光的,创造了一个彩色灯光的镜子效果。许多行人走来走去。
Prompt 5:Archeologists discover a generic plastic chair in the desert, excavating and dusting it with great care.
中文提示词 5:考古学家在沙漠中发现了一把普通的塑料椅子,他们小心翼翼地挖掘并掸去了上面的灰尘。
Prompt 6:a computer hacker labrador retreiver wearing a black hooded sweatshirt sitting in front of the computer with the glare of the screen emanating on the dog's face as he types very quickly.
中文提示词 6:一只穿着黑色连帽运动衫的电脑黑客拉布拉多猎犬坐在电脑前,当它快速打字时,屏幕的眩光照射在狗的脸上。
Dream Machine 火了,也让其背后的公司 Luma AI 出尽了风头。
Luma AI 成立于 2021 年,最初只是一家聚焦于 3D 内容生成的技术公司。
首席执行官 Amit Jain 曾是苹果公司的计算机视觉系统工程师,首席技术官 Alex Yu 曾是加州大学伯克利分校的研究生(放弃博士学业创办了 Luma AI )。二人在 3D 视觉、机器学习、实时图形学等领域都有所建树。
A 轮融资由 Amplify Partners、Nventures(Nvidia 投资部门)和 General Catalyst 领投,共筹集 2000 万美元;B 轮融资则由硅谷顶级风投公司 Andreessen Horowitz、英伟达领投,筹集 4300 万美元。截至目前,公司共融资 7000 多万美元,估值在 2 亿到 3 亿美元之间。
去年 11 月,Luma AI 在 Discord 服务器上推出了文生 3D 模型 Genie。后来推出 1.0 版本,把出图时间从 20 多秒提升到了 10 秒之内。
没想到,这次 Luma AI 直接转道 AI 视频领域。
据官网显示,Luma AI 核心团队仅 34 人,从名字看,有 5 人是华人。
联合创始人兼首席技术官 Alex Yu,2021 年从加州大学伯克利分校毕业。期间,他在伯克利人工智能研究实验室与 Angjoo Kanazawa 教授一起进行 NeRFs 研究。
同年毕业于加州大学伯克利分校的 Angela Dong,曾在 Drive.ai、Lyft Level 5 和 Zipline 等公司实习,随后又加入 Cruise 担任仿真工程师,专注于为感知模型训练创造合成数据。目前,她在 Luma 担任机器学习工程师。
首席科学家 Jiaming Song 本科毕业于清华大学,硕博毕业于斯坦福大学。在加入 Luma AI 之前,他曾担任英伟达学习和感知(Learning and Perception)研究团队和深度想象(Deep Imagination)研究团队的研究科学家。
此外,Quei-An Chen 和 Paul Yoo 在 Luma 担任研究科学家。
(左为Quei-An Chen,右为Paul Yoo)
其中 Quei-An Chen 在 NeRF 领域深耕,曾因其在 Github 上发起的多个热门开源项目而声名鹊起,比如 Neural Scene Flow Fields 和 Instant-NGP。在加入 Luma 之前,他在 DENSO 公司和 LINE 公司参与了多个 3D 视觉技术项目。
https://lumalabs.ai/dream-machine/creations
以上がソラレベルのプレイヤーがまた登場します!ソラとケリングと比較してみました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。