在过去半个世纪里,电子游戏一直是推动计算机技术变革的关键力量。从雅达利的第一代游戏机到持续几个世代的主机大战,从 NVIDIA(英伟达)的显卡到手机芯片里的 GPU,实质上都离不开游戏的推动作用。反过来,游戏的发展也离不开计算机技术。
过去几年,不管是在 PC 还是手机上,游戏性能的提升除了得益于 GPU 的持续改进,在另一方面也得益于超分、插帧技术的快速进步。稍早前,AMD 就又推出了新一代帧生成(俗称「插帧」)技术——AFMF 2 的技术预览,引起了玩家群体的广泛关注。
AMD AFMF 2 也来了:游戏体验进入新一轮「插帧」赛
AFMF 的全称是 AMD Fluid Motion Frames,第一代 AFMF 实际上今年 1 月才面向所有用户正式推出,结果仅仅半年后,又火速推出了新一代 AFMF 2 的技术预览。
AFMF 2 技术预览推出,图/雷科技
相比第一代,AFMF 2 的重点是大幅降低延迟、优化流畅度、提升性能,其中还针对快速运动进行了优化,此外还有更广泛的游戏兼容性以及更多的设置和玩法。AMD 官方也表态衬,AFMF 2 是一次帧生成技术的重大进步。
数毛社(Digital Foundry)的成员在体验过 AFMF 2 技术预览版后,总体上也是肯定了 AMD 带来的游戏性能提升,尽管在《赛博朋克 2077》的部分建筑场景下会出现明显的伪影。
理论上,配合 AMD FSR 3 的超分技术,AFMF 2 还能带来更好的游戏性能和画质表现。
而不仅是 AMD,其他各家厂商也都已经推出或者计划推出各自的插帧技术,同时推动技术的迭代和普及。在主要的几家大厂中,最早喊出 AI 驱动图形革命的 NVIDIA,旗下 DLSS(包含超分、插帧技术)已经发展到了 3.5 版本;高通基于骁龙平台的 AFME 超帧技术,2.0 版本也开始有了游戏进行适配。
腾讯游戏《塔瑞斯世界》适配高通 AFME 2.0,图/雷科技
此外,英特尔 XeSS 也在计划推出自己帧生成技术,英特尔图形研究副总裁 Anton Kaplanyan 去年介绍了名为 ExtraSS 的解决方案,其中就包含了插帧技术。不过联发科就有些耐人寻味,虽然最早尝试将超分技术引入手机游戏场景,但在插帧技术上还停留在视频上。
事实上,当我们回顾插帧技术在游戏领域的发展历史,其实可以追溯到早期的线性插值技术,通过简单的算法在两个关键帧之间生成过渡帧,较早就被应用在视频领域。而随着算力的提升和算法的进步,插帧技术逐渐演变为更为复杂和智能的系统,也终于能够应用在可以互动的游戏上。
尤其是这几年,以 NVIDIA 的 DLSS 技术为代表的超分和插帧技术,经历了多次的迭代,从最初的 DLSS 1.0 到现在的 DLSS 3.5,从靠 AI「脑补」像素到基于 AI 算法的渲染,并且还引入了帧生成技术。
不过,尽管 AI 插帧技术带来了诸多优势,但在游戏领域的应用仍然面临一些挑战和问题。比如对于快速变化的场景,AI 可能会生成不准确的帧,导致画面伪影和模糊。此外,不同厂商的实现方式和技术路径差异较大,也给很多用户在选择时带来了疑问和困惑。
都是插帧,大家有什么区别?
虽然各大厂商的插帧技术都能够实现「插帧」这一基本功能,但它们在实现方式和效果上却存在显著差异。
我们都知道,视频本质上是由一张张照片组成的,比如电影主流格式是 24 帧每秒,意味着 1 秒有 24 张照片。具体到游戏,插帧技术的核心就是在原始帧(图形渲染)之间通过 AI 生成新的帧,以此提升游戏的帧率和流畅度。
但如何生成新的帧以及如何处理,都会影响到实际游戏体验中插帧技术的延迟和画面效果。不同厂商在实现这一功能时采用的不同方法和路径,会直接导致效果不同,受到玩家群体的评价也不同。
NVIDIA DLSS 3:真正的 AI 驱动
「DLSS 是 AI 驱动图形领域的革命性突破」,图/英伟达
比如 NVIDIA 的 DLSS(Deep Learning Super Sampling,深度学习超采样),从 3.0 开始引入基于运动向量和运动检测的帧生成技术,通过深度学习和 AI 算法生成新帧,从而提升游戏的帧率和图像质量。
和其他算法通过分析图像变化和猜测运动相比,DLSS 的帧生成准确率更高,帧生成效果也更好,在对原始帧渲染影响不大的前提下插到 2 倍甚至更高。
数毛社(Digital Foundry)的测试就表明,在 RTX 4090 这张卡上,《漫威蜘蛛侠》4K 画质在开启 DLSS 3 的性能表现甚至可以到关闭 DLSS 的 203.6%,并且可以将画面劣化程度控制在基本无法感知的范畴内。
图/数毛社
不过需要指出,基于运动向量和运动检测的另一方面,是 DLSS 帧生成的实现依赖于 Tensor Core(AI 计算单元)和运动向量数据,通过获取帧间的运动信息,并生成高质量的中间帧。所以具体到实际中,DLSS 帧生成既依赖于集成 Tensor Core 的英伟达显卡,也依赖于游戏的适配和支持。
好在,凭借在游戏显卡市场的领先地位和长久的合作关系,英伟达对于游戏厂商的影响力不可小觑,很多 3A 大作也都适配了 DLSS 3 中的帧生成技术。
AMD AFMF 2:迈向 AI 驱动前,大幅改进延迟
相比之下,AMD 最新推出的 AFMF 2 不需要游戏的主动适配就能用,支持所有 DX11 和 DX12 游戏;还支持 AMD RDNA 2 架构的所有产品,包括 AMD Radeon RX 6000 和 7000 系列 GPU 或更新产品,以及基于 700M 的 APU。
简言之,AMD AFMF 2 在硬件和游戏层面都有更强的兼容性。核心在于,AFMF 2 并不基于运动向量,也不同于 NVIDIA DLSS 依赖 AI 计算单元的硬件加速。
虽然在帧生成质量上距离 DLSS 3 可能还有一定的差距,但在延迟上,AMD 宣称 AFMF 2 在《赛博朋克 2077》(4K、最高档光线追踪)中,AFMF 2 比起上一代 AFMF 降低了 28%的延迟。
图/ AMD
在配备 AMD Ryzen 7 8700G 处理器以及 Radeon 780M 集成显卡的电脑里运行 《CS 2》,可以在 1080p 解析度、画质非常高的设置下实现 120fps 以上的显示帧率,同时还有 12%的延迟降低。
另外在设置上,AFMF 2 还有「Search」和「Performance」两种模式,前者是最大力度提升画质和帧率,后者则是尽可能降低功耗来保证游戏流畅运行。
不过按照 AMD 首席技术官 Mark Papermaster 的说法,「(AMD)正在利用 AI 来升级我们的游戏设备。」再加之,RDNA 3 开始 AMD 终于加入了 AI 计算单元,似乎一切都在暗示:下一代 FSR(包括 AFMF)将真正基于 AI 进行设计和运行。
高通 AFME 2.0:解放手机功耗的「利器」
高通的 AFME,全称是 Adreno 图像运动引擎(Adreno Frame Motion Engine),最早在 2021 年引入,到去年骁龙峰会终于升级到了 2.0。而与手机上常见的其他游戏插帧方案不同,AFME 2.0 不需要外挂芯片,也不需要 CPU,仅仅依赖 GPU 进行计算。
在 7 月举办的骁龙游戏技术赏上,腾讯游戏的《塔瑞斯世界》就宣布引入了 AFME 2.0 技术,由于不调用 CPU,帧数实际表现更加稳定。
《塔瑞斯世界》引入 AFME 后,图/雷科技
相比 PC 上插帧技术的重点是提高游戏画面和帧率,插帧在移动端的应用,更大的意义其实还是在降低负载、降低功耗。
按照腾讯游戏国内发行线生态发展部引擎组负责人胡豪翔给出的数据,AFME2.0 在能耗上相较原生 60 帧方案降低大约 30%,画面更加流畅的同时,画质没有任何损失。
同时,一加也在利用骁龙平台实现更强的游戏性能,通过将帧生成与计算的整个过程放在高通芯片上完成,让生成帧与游戏渲染帧之间,只间隔一个 120Hz 的垂直同步周期。
AI 插帧,真正的游戏改变者
游戏与 GPU 的相互成就,早就不言而喻:
伴随游戏画质和复杂度的提升,GPU 的图形渲染性能需要不断提升,才能满足玩家对高帧率、高分辨率和逼真画面的追求。而为了支持最新的游戏大作,GPU 厂商不断提升计算能力和优化图像处理技术,也会推动游戏画质和复杂度的提升,从而提升玩家的沉浸感和互动体验。
不过肉眼可见的是,GPU 图形渲染性能的提升在一定程度上陷入了瓶颈,而基于 AI 的插帧技术,则为游戏和 GPU 的发展带来了新的契机。
在传统的图像处理中,需要在每一帧中进行复杂的图形渲染,占据大量算力。而 AI 插帧技术则通过生成新的中间帧,减少了每帧所需的计算量,从而显著提升了帧率和流畅度。
以 NVIDIA 的 DLSS 3.5 为例,该技术通过 AI 算法和光流加速器,能够在不牺牲图像质量的前提下,显著提高游戏的帧率。这不仅提升了玩家的游戏体验,也减少了对 GPU 的负担,使得中低端显卡也能够运行高要求的游戏。
插帧技术的影响是多方面的。在它的影响下,游戏开发商能够在保持高帧率的同时,提升游戏的画质和细节,从而吸引更多玩家。
此外,以 DLSS 3 为代表的 AI 插帧,还有望降低开发成本和时间,因为开发商不再需要为每个场景和动作单独优化图像处理算法。AI 插帧的普及使得游戏市场更加多元化,独立开发者和小型工作室也更容易利用这一技术,制作出高质量的游戏作品,增加了市场竞争力和创意空间。
另一方面,传统的 GPU 设计主要关注于提升计算能力和图像渲染性能,而 AI 插帧技术的引入则要求 GPU 具备更强的 AI 计算能力。
图/英伟达
为此,GPU 厂商开始在其产品中集成更多的 AI 处理单元,以支持 AI 插帧和其他 AI 驱动的图像处理技术。NVIDIA 的 RTX 40 系列显卡中就颇具争议地集成了更多的 Tensor Cores,专门用于 AI 计算和深度学习任务。包括 AMD,也开始引入 AI 计算单元。
同时,AI 技术的快速发展,也必然带动 AI 插帧的进步与普及。
按照目前的趋势来看,软件和硬件都在越来越倾向于 AI 加速计算,在根本上改变各种硬件的计算环境。而相比图形渲染,AI 驱动带来的游戏性能提升,不仅效益更高,还有更大的提升空间。
2024上半年,科技圈风起云涌。
大模型加速落地,AI手机、AI PC、AI家电、AI搜索、AI电商……AI应用层出不穷;
Vision Pro开售并登陆中国市场,再掀XR空间计算浪潮;
HarmonyOS NEXT正式发布,移动OS生态生变;
汽车全面进入“下半场”,智能化成头等大事;
电商竞争日益剧烈,卷低价更卷服务;
出海浪潮风起云涌,中国品牌迈上全球化征程;
……
7月流火,雷科技·年中回顾专题上线,总结科技产业2024上半年值得记录的品牌、技术和产品,记录过去、展望未来,敬请关注。