令人震惊！ AI实时生成游戏，每秒20帧，谷歌扩散模型最新突破一夜爆红
来源：爱酷猪责编：网络时间：2024-10-23 14:47:40
“比空还震撼”，AI可以实时生成游戏！
谷歌DeepMind创建了第一个完全AI驱动的实时游戏引擎——GameNGen。
在单个Google TPU 上，它以每秒20 帧的速度模拟经典射击游戏《DOOM》。
所有游戏画面都是根据玩家操作以及与复杂环境的交互而实时生成的。
也就是说，在你走进一扇门之前，门后的内容还不存在。
品质并不比提前储存的差。它可以是“假的，也可以是真的”，并且人类评估者很难检测到。
各种操作可以顺利转换：
GameNGen 背后是熟悉的扩散模型。
论文标题重新定义了游戏引擎：扩散模型是实时游戏引擎。
网友们看到这项研究后立即炸了锅，推特和Reddit上的相关帖子持续流行，发布者也愤怒不已。
很多人说它提供了一条全新的技术路径：
我认为人们还没有意识到这有多疯狂。我是一名专门致力于将生成式人工智能集成到游戏引擎中的开发人员，所以我确切地知道我在说什么。
这是构建虚拟事物的基础。未来，它可能能够扩展到任何可以获取数据的视频游戏，随后可能为尚不存在的游戏生成数据，从而创建新游戏。
这对我来说是一个个人里程碑，也是从手写在GPU 上运行的显式渲染代码到训练也在GPU 上运行的神经网络的完整循环。
那么，GameNGen 是如何做到的呢？
用扩散模型造AI DOOMers
GameNGen 训练过程分为两个主要阶段。
首先，训练一个强化学习代理来玩游戏并记录过程中的所有动作、技能和观察数据。这些记录成为第二阶段的训练数据集。
为了生成尽可能匹配人类游戏行为的训练数据，研究人员设计了一个简单的、特定于上下文的奖励函数，该函数根据一系列特定的游戏情况分配分数，包括：
玩家被击中，敌人被摧毁，物品或武器被捡起，生命值变化，弹药变化.
在第二阶段，基于预训练的Stable Diffusion v1.4来预测下一帧。该模型将过去的帧序列和动作作为条件输入并进行一些关键修改。
具体来说，所有文本条件首先被删除并替换为动作序列。每个动作都被编码为单个令牌，它通过交叉注意机制与模型交互。
历史观察结果（即之前的帧）被编码到潜在空间中，并与通道维度中当前的噪声潜在表示连接起来。
为了解决自回归生成中的误差累积，即自回归漂移问题，GameNGen引入了噪声增强技术。
在训练期间，模型向输入上下文帧添加不同级别的高斯噪声，并将噪声级别作为附加输入提供给模型。这使得模型能够学习纠正先前样本中的错误，这对于长期保持图像质量至关重要。
此外，为了提高图像质量，特别是细节和HUD（平视显示器）方面，研究人员对Stable Diffusion预训练自动编码器的解码器部分进行了微调。此过程使用MSE 损失来优化目标帧像素。
在推理阶段，GameNGen 使用DDIM 采样方法并采用无分类器引导技术，但仅适用于过去观察到的条件。研究人员发现，使用过去行动条件的指导并不能提高质量。
值得注意的是，该模型仅使用4 步DDIM 采样即可产生高质量结果，大大提高了生成速度。
GameNGen 在TPU-v5 硬件上运行，单个降噪步骤和自动编码器评估每次需要10 毫秒。
通过使用4 步采样和单个自动编码器评估，系统能够实现每秒20 帧的生成速率，这足以满足实时交互式游戏体验。
在
人类难以分辨真实和AI生成
实验中，人类评估者几乎无法区分短期轨迹上的模拟镜头和实际游戏镜头。
研究人员使用了两种主要的图像质量评估方法：LPIPS（一种基于感知的图像相似性度量）和PSNR（一种用于测量图像质量的常用指标）。
在teacher-forcing设置下，模型单帧预测质量PSNR为29.43，LPIPS为0.249。 PSNR 值与20-30 质量设置下的有损JPEG 压缩类似。
换句话说，GameNGen在模拟图像时能够在一定程度上保持较高的视觉质量，尽管可能会因压缩而导致一些细节损失。
在视频质量方面，对于长度为16帧（0.8秒）和32帧（1.6秒）的模拟，FVD分别为114.02和186.23。
对于人类评估，研究人员向10 名人类评估者提供了130 个随机短片（长度分别为1.6 秒和3.2 秒），并将模拟与真实游戏并排展示。
在1.6 秒和3.2 秒的片段中，人类只能在58% 和60% 的时间内正确区分真实游戏和模拟游戏。
基于Diffusion的最新突破
除了对效果感到惊讶之外，不少研究人员也表示这项研究并没有那么简单。这是基于扩散模型的最新突破。
动作条件世界模型更进了一步！神经网络模拟具有扩展现实世界交互数据的巨大潜力，特别是在物理模拟器表现不佳的领域。
然而在一片好评声中，也有网友指出，论文非常好，但称其为“游戏引擎”并不恰当：
希望他们说“渲染引擎”而不是“游戏引擎”。
游戏引擎是一种让一群人创造东西的工具，它会一直存在，尤其是与任何集成的超级人工智能一起。显然，今天的游戏引擎已经过时了，但我们已经在构建下一代引擎。
对于有人评论这些模型将取代传统游戏引擎，一些网友持有不同的看法。
一位游戏和3D技术领域的a16z投资者和一位前Unity员工给出了他的看法：
讽刺的是，训练这些模型需要输入控制器动作和输出帧作为来自传统游戏引擎的训练数据。
虽然我认为这些由扩散模型实时生成的帧最终将改变我们体验游戏的方式，但我仍然认为专业开发人员需要3D 场景图来进行触觉控制和创意表达。
开发人员可能会使用更传统的3D 创建引擎来创建游戏的“灰盒”版本，然后使用图像到图像模型来实时提升分辨率（类似于Nvidia 的DLSS 技术）。
未来，消费者将能够体验直接从文本创建游戏或虚拟世界的新方法。但在我看来，3D 场景图在专业工作流程中仍然占有一席之地。
您如何看待GameNGen 的研究？会给未来的游戏行业带来哪些变化？
项目主页：https://gamengen.github.io/论文链接：https://arxiv.org/pdf/2408.14837
参考链接：[1]https://www.reddit.com/r/singularity/comments/1f3055r/google_deepmind_we_present_gamengen_the_first/[2]https://x.com/_akhaliq/status/1828631472632172911[3]https://x.com/imxiaohu/status/1828732 438056755383
- 超过-
- 手游市场共35805款
- 软件市场共664款
- 资讯攻略共13257款
-
拳击手游大全
拳击游戏还是有很多的玩家都是非常的喜欢尝试的，很是刺激，并且也是能够发泄心中的不快吧，现在市面上是有很多的类型的拳击的游戏，这些游戏一般都是一些格斗的游戏，其实是非常的有趣，也是相当的刺激的，游戏中是有一些不同的场景都是能够去进行体验的，我们也是能够去刺激的进行对战的，小编现在就是收集了一些有意思的拳击游戏，相信你们一定会喜欢的。
-
趣味烧脑游戏大全
趣味烧脑游戏一般比较适合人们在无聊的时候打发时间，同时其操作以及游戏规则上都比较简单，让大家不会有上手很难的感受，可以轻轻松松就体验这个游戏的独特乐趣，并且随时下线都不用担心坑队友，同时也可以和好友一起来玩法，有多种挑战模式，可以根据自己的真实水平以及喜好来选择不同的挑战模式参与，收获到不一样的游戏趣味体验！
-
好玩的太空冒险类游
太空冒险类游戏顾名思义就是以外太空为背景打造的一类游戏，玩家在这种类型的游戏当中可以体验到非常独特有意思的太空冒险旅程，玩法内容的设计上充满了想象力，所有的场景都是人们在日常生活中从来没有见过的，而你可以驾驶各种各样的战舰展开无比激烈的星际对决，同时可以邀请身边的朋友一起参与到冒险当中，竞技对决的过程中十分注重
-
好玩的女生游戏推荐
这里面为大家收集了一系列比较好玩的女生游戏，并且将会不断的更新，每个玩家都可以根据自己的喜好来选择适合自己的游戏打发时间，每款游戏都设置了新手教程，这样方便大家更加轻松的上手，不同类型的游戏可以让你领略到不一样的游戏乐趣，并且在这里随时都可以尝试其他的玩法，让你一次性就可以玩个够，同时还可以将这里的游戏乐趣分享
-
令人震惊！ AI实时生成游戏，每秒20帧，谷歌扩散模型最新突破一夜爆红
02024-10-23
-
全价1299元即可获得！ DJI Neo 无人机评测：Cyberpet + 摄影工具人
02024-10-23
-
事实证明，长按微信2秒，其实隐藏了7大功能，每一项都非常有用。
02024-10-23
-
秒打西施连击，西施连击基本教学，西施连击教学
02024-10-23
-
就是这个小游戏，开启了无数90后的暴力游戏之路。
02024-10-23
-
保卫萝卜2第 30关攻略，保卫萝卜230关怎么过图解
02024-10-23 -
PUBG 愚人节玩法上线！像素风格的小游戏来了，你还可以完成它们并升级
02024-10-23
-
新笑傲江湖铸结护符，新笑傲江湖血战铸剑谷隐藏怎么打的
02024-10-23 -
金铲铲之战司令拉克鸡怎么玩的，金铲铲拉克斯出装
02024-10-23 -
背靠7.5亿用户，宝藏赛道正在悄然发财，腾讯也忍不住介入。
02024-10-23
用户评论
哇，这个游戏真是太厉害了！从第一天开始玩，就感受到它与别的游戏的不同之处。
有14位网友表示赞同！
自从AI技术应用到游戏制作上后，我觉得体验更加流畅而且更有沉浸感。
有10位网友表示赞同！
谷歌的扩散模型确实改变了游戏行业。尤其是实时生成新内容这一点，让人赞叹不已。
有13位网友表示赞同！
《震撼！AI实时生成游戏》这款游戏的20帧一秒的表现对我来说是一个全新的视觉盛宴。
有18位网友表示赞同！
我喜欢探索未知的游戏世界，《震撼！AI实时生成游戏》让我在每分每秒都有惊喜。
有10位网友表示赞同！
它的画质和流畅度非常出色，特别是它能快速适应不同玩家的需求，让我感到非常的方便。
有8位网友表示赞同！
这款游戏真的超出了我的预期。AI模型的融入不仅增加了游戏性，还提高了整体的游戏体验。
有7位网友表示赞同！
对于想要看到更多创新的游戏玩家来说，《震撼！AI实时生成游戏》是一个值得尝试的作品。
有14位网友表示赞同！
我简直被它一夜爆火的速度吸引了进来，感觉这个游戏是整个行业的未来趋势。
有6位网友表示赞同！
从游戏制作的角度看，《震撼！AI实时生成游戏》在技术上的突破确实让人惊叹不已。
有14位网友表示赞同！
能够看到游戏行业因人工智能的进步而焕发出新的活力，这让我感到非常兴奋。
有10位网友表示赞同！
这款游戏的每一帧都展现了惊人的画面效果和高分辨率，完全超出了我之前的任何期待。
有7位网友表示赞同！
谷歌扩散模型在《震撼！AI实时生成游戏》中的应用彻底改变了我对未来电子游戏的想象。
有14位网友表示赞同！
对新手来说，《震撼！AI实时生成游戏》不仅易上手，还能快速提升游戏技能。
有14位网友表示赞同！
游戏中AI实时生成的功能为玩家提供了高度定制化的体验，这是我非常喜欢的一点。
有8位网友表示赞同！
技术的发展让《震撼！AI实时生成游戏》拥有多元化和丰富的玩法，完全满足了我的多样性需求。
有9位网友表示赞同！
这款游戏的流畅度让人印象深刻，无论是单人模式还是多人对战，都能够提供高质量的游戏体验。
有20位网友表示赞同！
能亲眼见到AI在游戏领域大展身手，《震撼！AI实时生成游戏》是我接触过的最具革命性的作品之一。
有5位网友表示赞同！
随着人工智能的进步，《震撼！AI实时生成游戏》的出现真正推动了电子游戏行业的发展。
有6位网友表示赞同！
对于喜欢挑战的玩家来说，这不仅仅是游戏中的一次升级迭代，更是对自我极限的一种探索。
有19位网友表示赞同！