>  时尚 > A凭借神经新生机烘托技能为物理AI开发场景注入
A凭借神经新生机烘托技能为物理AI开发场景注入2025-07-04 08:00:48

摘要:DiffusionRenderer 引入了一种神经烘托技能,可用于。构思。范畴的内容生成和修改,也可用于。智能。轿车和。机器人。开发的组成数据生成。NVIDIA Research开发了一种。视频。AI

DiffusionRenderer 引入了一种神经烘托技能 ,凭借可用于 。神经生机构思 。烘托范畴的技能景注内容生成和修改,也可用于。为物智能。发场轿车和 。入新机器人 。凭借开发的神经生机组成数据生成。

NVIDIA Research开发了一种 。烘托视频 。技能景注AI。为物光源开关,发场可将白日场景转为夜景 ,入新将阳光明媚的凭借下午转为阴天,并可将扎眼的荧光灯调低为柔软天然照明。

这项名为 DiffusionRenderer 的技能是一项新式神经烘托技能,运用 AI。 模仿 。实际世界光线改变。DiffusionRenderer 将两个传统上天壤之别的进程(逆烘托和前向烘托)整合到一个共同的神经烘托引擎中,其功能优于最先进的办法 。

DiffusionRenderer 供给了一个用于视频光照操控 、修改和组成数据增强的结构 ,成为构思职业和物理 AI 开发的强壮东西 。

广告、电影和游戏开发范畴的创造者能够运用根据 DiffusionRenderer 的运用,在实际世界或 AI 生成的视频中增加、删去并修改光照。物理 AI。 开发者 。能够运用它在更多样化的照明条件下增强组成数据集 ,以练习机器人和智能轿车(AV)模型。

DiffusionRenderer 是 NVIDIA 发表于世界 。核算机视觉。与模式识别会议(CVPR)的 60 多篇论文之一,本届大会于当地时刻 6 月 11 日至 15 日在美国田纳西州举办。

打造令人愉悦的 AI 。

DiffusionRenderer 处理了仅运用 2D 视频数据对场景进行去光照和从头打光的应战。

去光照是一个处理图画并消除其光照作用的进程,然后仅保存底层目标的几许图形和原料特点。从头打光则恰恰相反  ,该进程能够在场景中增加或修改光线,一起坚持物体透明度和镜面反射(外表反射光线的办法)等杂乱特点的真实性。

经典的、根据物理学的烘托工作流需求 3D 几许数据来核算场景中的光线 ,以进行去光照和从头打光 。而 DiffusionRenderer 运用 AI 来预算单个 2D 视频的特点,包含法线、金属度和粗糙度  。

经过这些核算,DiffusionRenderer 能够生成新的暗影和反射  、更改光源、修改原料并将新目标刺进场景 ,所有这些都能坚持传神的照明条件。

运用由 DiffusionRenderer 驱动的运用  ,智能轿车开发者能够获取大部分是白日驾驭镜头的数据集  ,并随机对每个视频片段的光照进行调整 ,以创立更多具有阴天或雨天、具有扎眼照明和暗影的夜晚以及夜间场景的视频片段 。凭借这些增强数据,开发者能够优化其开发工作流 ,对智能轿车模型进行练习 、测验和验证,这些模型更具有应对严苛照明条件的才能。

假如创造者需求捕捉用于数字人物创造或特效制造的内容,能够运用 DiffusionRenderer 增强用于前期构思和模型的东西 ,然后在选用贵重的专用光照舞台体系捕捉制造质量的资料之前,探究并重复实验各种光照选项。

运用 NVIDIA Cosmos增强 DiffusionRenderer。

自完结原始论文以来 ,DiffusionRenderer 的暗地研讨团队已将他们的办法与 Cosmos Predict-1 进行了集成 ,后者是一套用于生成传神、物理感知型未来世界状况的世界根底模型。

这样一来 ,研讨人员观察到一种扩展效应,其间运用 Cosmos Predict 更大、更强的视频分散模型相应进步了 DiffusionRenderer 的去光照和从头打光质量,完结了更明晰、更精确和时刻上更共同的效果。

Cosmos Predict 是 NVIDIA Cosmos 的一部分 ,NVIDIA Cosmos 是一个由世界根底模型 、Tokenizer 、护栏和加快数据处理和办理工作流组成的渠道,可加快用于物理 AI 开发的组成数据生成 。

CVPR 上的 NVIDIA Research。

在 CVPR 上,NVIDIA 研讨人员展现了数十篇论文 ,主题包括轿车、医疗 、机器人等范畴 。三篇 NVIDIA 论文荣获本年最佳论文奖提名 :

FoundationStereo:该根底模型经过匹配立体图画中的像素,从 2D 图画中重建 3D 信息 。该模型已在超越 100 万张图画的数据集进步行了练习 ,可处理实际世界数据,功能优于现有办法  ,并可跨范畴通用 。

Zero-Shot Monocular Scene Flow Es 。ti 。mation in the Wild:本论文是 NVIDIA 和布朗大学的研讨人员通力合作的效果,介绍了一个用于猜测场景流的通用模型,即 3D 环境中点的运动场 。

Difix3D+:这篇论文由 NVIDIA 空间智能实验室的研讨人员完结 ,介绍了一种图画分散模型 ,可删去重建 3D 场景中新角度的伪影,然后进步 3D 出现的全体质量 。

NVIDIA 还在 CVPR 上荣获辅佐驾驭世界应战赛冠军 ,这标志着 NVIDIA 接连两年登顶端到端范畴排行榜,而且接连三年在大会上荣获辅佐驾驭世界应战奖 。

NVIDIA Research 在全球具有数百名科学家和 。工程师 。 ,专心于 AI、核算机图形学、核算机视觉 、智能轿车和机器人等范畴的研讨 。