直播中的 AI：Holoscan for Media 平台

云轩宝贝

Holoscan for Media 现已面向部分用户开放体验，它允许开辟者在 RTX AI PC 和工作站上运行 AI 赋能的直播媒体应用；别的，探索 Adobe、Blackmagic Design 和 Topaz Labs 在 IBC 上发布的全新由 RTX 驱动的视频编辑工具。

AI 正在通过增强内容创作、分发和消耗方式来改变广播行业，但整合这项技能大概具有挑衅性。

NVIDIA Holoscan for Media 将限量提供，这是一个软件界说的、AI 赋能的平台，可资助开辟者轻松将 AI 集成到直播媒体应用中，并允许媒体公司在 AI 所在的同一根本办法上运行直播媒体管线。

NVIDIA RTX AI 工作站和 PC 搭载用于实时图形处置惩罚和 AI 盘算的 NVIDIA GPU，为这些应用的开辟提供了抱负的根本。

在 IBC 广播和媒体技能展上，NVIDIA 携手 Adobe、Blackmagic Design 和 Topaz Labs 等相助搭档，共同展示最新的 RTX AI 赋能的视频编辑工具和技能，为直播媒体的进步助力。


NVIDIA Holoscan for Media：构建直播制作的将来

NVIDIA Holoscan for Media 是一个面向直播媒体的 AI 软件界说平台。


构建用于直播媒体应用开辟的强盛 AI 软件栈是一个复杂的过程，必要深厚的专业知识和资源。

这种技能复杂性，外加对大量高质量数据的需求以及将试点项目扩展至生产级性能的难度，每每会拦阻这些操持的全面摆设。别的，传统的软件开辟与专用硬件细密干系，进一步限定了创新，并使升级变得繁琐。

为了办理这些挑衅，NVIDIA Holoscan for Media 通过与 NVIDIA 广泛的 AI 软件开辟套件（SDK）无缝集成，使开辟者可以大概轻松创建用于直播媒体的尖端 AI 应用。这使得开辟者可以大概轻松地将先辈的 AI 功能融入应用之中，从而专注于开辟更复杂、更智能的媒体应用。媒体公司随后可以将这些应用无缝接入在平台上运行的直播视频管线。

直播媒体应用开辟的另一个典范挑衅是摆设服从低下。开辟者每每发现自己必要为差别的摆设方式开辟单独的版本，无论是在本地、云端还是在边沿。这不光增长了资本，还会延伸开辟周期。开辟者还必须分配资源来构建身份验证和时间协议等额外根本办法服务，从而进一步加剧了预算压力。

Holoscan for Media 的云原生架构支持应用从任何所在运行。为云端、边沿或本地摆设开辟的应用可以跨情况运行，无需单独构建。

Holoscan for Media 现已支持本地摆设，云端和边沿摆设也即将推出。该平台还包罗用于直播中音视频同步的准确时间协议（PTP）和用于应用间无缝通讯的网络媒体开放规范（NMOS），从而简化了复杂体系的管理。


使用 RTX AI PC 和工作站增强开辟本领


NVIDIA RTX AI PC 和工作站为开辟沉醉式媒体体验提供了坚固的根本，进一步增强了 Holoscan for Media 的潜力。

RTX AI PC 和工作站上的 CUDA 生态体系提供了浩繁针对媒体和 AI 工作负载优化的 NVIDIA SDK 和工具。这使得开辟者可以大概构建可从工作站无缝过渡到摆设情况的应用，确保其创建既妥当又具有可扩展性。

NVIDIA AI Enterprise 通过为企业开辟者摆设一整套针对 NVIDIA GPU 优化的 AI 软件、工具和框架，提供进一步的增强，助他们构建安全、稳固和可扩展的 AI 应用生产情况。这款企业级 AI 平台包罗 TensorFlow、PyTorch 和 RAPIDS 等简化摆设的盛行框架。

使用 NVIDIA AI Enterprise，开辟者可以直接在其媒体应用中构建盘算机视觉、自然语言处置惩罚和保举体系等先辈的 AI 功能。他们还可以在媒体工作流中完成复杂 AI 模子的原型计划、测试和摆设。


视频编辑者和爱好者们 —— 一起欢呼吧！


Blackmagic Design 的 DaVinci Resolve 19 Studio 现已推出，引入了可简化编辑工作流的 AI 功能：

• IntelliTrack AI 使得在编辑过程中稳固素材变得快速而简朴。它可以在 DaVinci Resolve 的 Fairlight 工具中用于跟踪屏幕上的对象，并于其在二维和三维空间中移动时主动天生音频平移。借助 AI 赋能的功能，编辑职员可以快速地在立体声场中平移或移动音频，控制混音情况中多个脚色的声音位置。
  
• UltraNR 是 DaVinci Resolve 的空间降噪调色板中的 AI 加快降噪模式。编辑职员可以使用它显着淘汰画面帧中的数字噪声（不抱负的颜色或亮度颠簸，会使细节含糊），同时保持图像清晰度。编辑职员还可以将该工具与时间降噪相团结，对具有更显着颠簸的活动图像举行更有用的降噪。
  
• RTX Video 视频超分辨率使用 AI 来锐化低分辨率视频。该技能可以大概检测和消除压缩拖影瑕疵，显着提升低质量视频的视觉效果。
  
• RTX Video HDR 采取 AI 增强算法将尺度动态范围视频重映射到生动美丽的 HDR10 色彩空间。云云，纵然没有可以大概录制 HDR 的摄像机，视频编辑职员也可以创建高动态范围内容。
  

IntelliTrack 和 UltraNR 在 NVIDIA RTX PC 和工作站上运行时，将得到性能提升。NVIDIA TensorRT 使它们在 GeForce GTX 4090 条记本电脑上的运行速率比在 Macbook Pro M3 Max 上快 3 倍。

全部 DaVinci Resolve AI 效果均由 RTX GPU 上的 TensorRT 加快。Resolve 更新包罗针对其美颜、边沿检测和水彩效果的 GPU 加快，使得其在 NVIDIA GPU 上的性能翻倍。


该更新还引入了 NVIDIA 的 H.265 超高画质（UHQ）模式，使用 NVENC 将 HEVC 编码服从进步 10%。


像素级美满相助搭档：
Topaz Video AI 和 Adobe After Effects


本年，Topaz Labs 推出了实用于 Video AI 的 Adobe After Effects 插件，Video AI 具备领先的视频升采样和插帧办理方案。该插件将全系列的增强和插帧模子直接集成到行业尺度的动态图形软件中。

Topaz Video AI 的 Apollo 模子发挥作用 — 使用插帧值将镜头速率放慢达 16 倍，显现令人赞叹的细节。


Topaz Video AI 的一个显着特点是它可以大概使用 Topaz 的 Apollo AI 模子制作震撼的慢动作视频，该模子可以将素材转换为高达 16 倍的慢动作。

Topaz Video AI 的 Apollo 模子发挥作用 —— 使用插帧值将镜头速率放慢达 16 倍，显现令人赞叹的细节。

该插件还善于升采样，非常恰当将低分辨率素材插入到大型项目中，而不会影响画质。它包罗 Topaz 的全部增强模子，如用于 4 倍放大的 Rhea 模子。

该插件专为速率而打造，在 RTX GPU 上由 NVIDIA TensorRT 加快，将 AI 性能提升多达 70%。Video AI 的将来更新将引入进一步的 TensorRT 性能改进和服从优化，包罗显着淘汰应用安装所需的 AI 模子文件数量。

随着 AI 的快速整合，广播行业的将来比以往任何时间都更加光明和创新。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！