设计者看呆了，印象派插画转视频，揭示了Luma隐藏的玩法。

刚刚玩过Pika 2.0这个“最好的免费AI视频生成工具”之后，网友们又有了新的乐趣。

昨天晚上，我在微博上看到了设计师@Simon_阿文 Po制作了一组AI制作的照片。本来他想让这个名字“难堪”Dream Machine”大模型，但是…小丑张嘴说话，旋转木马开始旋转，独角兽开始飞奔，po主大叫“我疯了”。

▲静帧生成“马戏团”视频(来源：Simon_阿文）

我也很惊讶，这绝对是迄今为止的第一个。可以将风格化图片转化为合理的视频模型。。(风格化是一种模拟真实艺术手法的创作方法，具有绘画或印象派的作用，不注重写实。)

Dream MachineLuma(造梦机)是2021年成立的。 昨天AI免费开放的视频生成了一个大模型，这家公司在A轮B轮中都获得了英伟达的投资。Luma 120帧图像(5秒视频)可在120秒内生成AI模型。

就官网效果视频而言，“人闭上眼睛，在水下呼吸”、"北极熊懒洋洋地在雪野里爬行"、“房间瞬间爆炸”…动感，真实，流畅，甚至有一些故事的延伸感！

▲Luma.官方视频效果AI

全球互联网的热情突然被点燃，大量用户涌入Luma AI网站，即使是今天早上我试用的时候，也会排队。我承认，Luma AI生成模型终于可以使用了。虽然视频帧率远不如Sora，但细节上还是有很多问题，但是比Pika半年推出的模型有了很大的进步。

01 实测：风格化感染力好，但是画质太有问题。

Luma AI造梦机的大模型使用起来很简单，只要登录官网，（https://lumalabs.ai/dream-machine）注册后，通过输入文字提示词，等待2分钟左右，即可获得5秒的视频。

我先后把一些风景照片，影视截图，Coser高清照片等等投给Luma AI，120s的时间不长。如果能忍受偶尔的卡屏，模型可以消化各种风格，拿出一些生动有趣的“电影级”画面。

第一，这个模型对于提示词的要求很低，即使你说“把图片变成视频”，Luma AI也可以自由发挥。比如我把电影《教父》的场景给模型，你能想象AI会如何“继续写作”吗？视频中，老教父站了起来，旁边的侍从一脸凝重地抓住了他。这张照片让人遐想，仿佛在暴风雨前准备出发。

▲影片《教父》生成视频

一直以来，大家对图片视频模型的印象大概是超现实还可以，但是风格化表现极差。这一次，Luma 但是AI的表现确实不同。

相对而言，文字视频的效果会更差一些。。我直接使用Luma AI给出的参考文本生成视频，可以看到视频中的熊突然跳到空地上，然后对一个不断变形的吉它使出了“无影爪”...运动范围不是很流畅。

▲文字“一只戴着墨镜的泰迪熊在美丽的瀑布前的丛林里，弹着电吉他，跳着舞，摇着头。”生成视频

我承认，Luma AI在做画面补充方面有一手，但是还是会在这一点上翻车，出现完全不符合内容逻辑的情况。。比如我把《楚门的世界》结尾的经典微笑画面交给了大模型，视频中闪现了两个被“楚门”包围的场景，太离谱了！不知道AI从哪里学到了第二张图片，有一种可恨的熟悉感。

▲影片《楚门的世界》生成了一段视频，提示词是“这个人笑得很开心，挥手告别的画面”

此外，了解物理世界对Luma来说 AI仍然是一个没有解决的问题。当一位网友把Sheldon在美剧《生活大爆炸》中的剧照投给Dream时。 Machine，Sheldon在视频生成中的动作细节与物理不符。这是AI视频生成的一个老问题。

▲Sheldon在《生活大爆炸》中生成了视频

最严重的问题实际上是画质。Luma AI生成视频的粒子效果是可以接受的，但本来并不难，但是低视频帧率，想必是一般的计算能力，图像纹理和材料差，大部分都是低渲染材料，细节表现失真。

这个问题也让我很困惑，Luma 为什么AI画面的逼真度比Sora差那么多？Luma AI模型校准为2分钟120帧。为了保证导出率，图片质量会比较低，渲染速度快的时候会有低渲染材料。然后，如果我们尝试分辨率稍低的材料，例如，如果我使用电影《五星大鼠》，效果可能会...或者不太好。

▲影片《五星大鼠》生成视频

总的来说，Luma.AI表现的最佳部分是运动平滑度、运动水平，它还具有一定的内容感染力。，例如，可以在5s视频中添加与风格和内容一致的动态图片。图片不仅仅是动作顺畅，还比之前更加有趣，更加讲故事。

尽管运动和内容具有良好的感染力，Luma.AI也坦率地承认，目前模型存在。重现自然动作、变形效果和文本一些困难。但我认为，成像质量就是Luma。.AI最大的问题，视频帧率很低，画面纹理和材料经不起仔细观看，细节失真。

▲Luma.AI评分(来源：乌鸦智能说)

人类构图首先学习的是物理逻辑，AI的学习路径大不相同。无论是Sora的屏幕视频中有很多错误，还是Luma 各种“自爆”还需要改进的问题，目前我在表达Luma大模型的同时，也意识到模拟现实世界还需要冲关。

02 图片几乎无法使用，实际价值需要解决

除生成效果外，视频生成长度(约5s)、商品易得性(完全免费)也是Luma AI模型的亮点。

要知道OpenAI“重弹”Sora虽然可以根据提示生成1分钟的视频，但是还没有开发出第一个测试。另外，开放的Pika、基于原创模型的Runway和PixVerse等文化视频产品，生成视频的长度只有3-4秒，有些产品还有付费门槛。

所以，Luma更容易获得，完全免费。 AI是否具有更实用的例子价值？

对于创意视频生成，广告创作，电影特效对于这个比较专业的例子，答案是：Luma AI不行，Sora也不行。江江影视从业者告诉乌鸦君，Luma AI生成视频画面质量太低，很难使用。。今年二月，第一财经的一篇报道还提到，一位纪实片从业者认为Sora不能直接用于影视剧，因为精细度不够。

Luma AI视频工具对艺术表现这一块也不一定打得通。。上面提到的设计师@Simon_阿文也开始反思AI对作品的第二次创作。他认为产生的视频导致了风格偏差，因小失大。“比如这只熊...感觉自己在工作室”。设计师的风格暂时无法通过AI视频进行精细复制。

▲@Simon_阿文 在作品中，狮子突然变成了卡通版。

03 英伟达看好，开放玩法有效吗？

AI生成视频跑道如火如荼，金融市场也表现出对视频生成领域的疯狂。今年3月，三名中国人创建了AI视频生成企业。（Haiper、爱诗科技、HeyGen）聚集在一起获得融资，融资金额超过千万美元。

Luma AI的融资过程也很顺利，截至今年1月，Luma AI已经筹集了超过7000万美元。A轮融资2000万美元，投资者包括Amplify Partners、英伟达、General Catalyst等。B轮融资4300万美元，a16z领投，Anjey Midha、Amplify、Matrix、参与英伟达等。

Luma 推动Dream的AI开放策略 Machine可以被所有人使用，这可能会使它在建立开发者和创作者社区方面具有显著的优势。据悉，Luma AI计划发布API和插件，将Dream Machine与流行的创意软件集成，进一步扩大其影响力。

从另一个角度来看，Luma团队可能无法获得足够的信息训练，所以他们不得不打开它来收集数据。然而，更好的视频生成项目可能不会打开，因为他们担心垃圾数据会降低AI的实践。

▲网站支持模型中Luma存在的问题

04 结论：AI视频生成正在普及

在过去，我们无法想象AI视频可以像Sora一样精细。、Luma这样的程度，从文生文到文生视频，图生视频，也只用了一年。Luma AI视频的质量令人惊叹，但是现在，它们除了作为展示AI潜力的案例外，还需要观察实际的落地价值。

Luma 等待AI生成视频工具的开放和收费，预示着AI视频工具的商业化将会加快。影视从业者江江也告诉乌鸦君，从视频制作人的角度来看，Ta认为这将成为一件技术困难的事情，AI已经突破或有突破的迹象。也许AI视频生成普及到实际落地的那一天不会让我们等太久。

本文来自微信微信官方账号“乌鸦智能说”（ID:wuyazhinengshuo），作者：智能秃鹫，36氪经授权发布。

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com