标题: 直播中的 AI:Holoscan for Media 平台 [打印本页] 作者: 云轩宝贝 时间: 2024-10-16 16:53 标题: 直播中的 AI:Holoscan for Media 平台 Holoscan for Media 现已面向部分用户开放体验,它允许开辟者在 RTX AI PC 和工作站上运行 AI 赋能的直播媒体应用;别的,探索 Adobe、Blackmagic Design 和 Topaz Labs 在 IBC 上发布的全新由 RTX 驱动的视频编辑工具。
AI 正在通过增强内容创作、分发和消耗方式来改变广播行业,但整合这项技能大概具有挑衅性。
NVIDIA Holoscan for Media 将限量提供,这是一个软件界说的、AI 赋能的平台,可资助开辟者轻松将 AI 集成到直播媒体应用中,并允许媒体公司在 AI 所在的同一根本办法上运行直播媒体管线。
NVIDIA RTX AI 工作站和 PC 搭载用于实时图形处置惩罚和 AI 盘算的 NVIDIA GPU,为这些应用的开辟提供了抱负的根本。
为了办理这些挑衅,NVIDIA Holoscan for Media 通过与 NVIDIA 广泛的 AI 软件开辟套件(SDK)无缝集成,使开辟者可以大概轻松创建用于直播媒体的尖端 AI 应用。这使得开辟者可以大概轻松地将先辈的 AI 功能融入应用之中,从而专注于开辟更复杂、更智能的媒体应用。媒体公司随后可以将这些应用无缝接入在平台上运行的直播视频管线。
Holoscan for Media 的云原生架构支持应用从任何所在运行。为云端、边沿或本地摆设开辟的应用可以跨情况运行,无需单独构建。
Holoscan for Media 现已支持本地摆设,云端和边沿摆设也即将推出。该平台还包罗用于直播中音视频同步的准确时间协议(PTP)和用于应用间无缝通讯的网络媒体开放规范(NMOS),从而简化了复杂体系的管理。
使用 RTX AI PC 和工作站增强开辟本领
NVIDIA RTX AI PC 和工作站为开辟沉醉式媒体体验提供了坚固的根本,进一步增强了 Holoscan for Media 的潜力。
RTX AI PC 和工作站上的 CUDA 生态体系提供了浩繁针对媒体和 AI 工作负载优化的 NVIDIA SDK 和工具。这使得开辟者可以大概构建可从工作站无缝过渡到摆设情况的应用,确保其创建既妥当又具有可扩展性。
NVIDIA AI Enterprise 通过为企业开辟者摆设一整套针对 NVIDIA GPU 优化的 AI 软件、工具和框架,提供进一步的增强,助他们构建安全、稳固和可扩展的 AI 应用生产情况。这款企业级 AI 平台包罗 TensorFlow、PyTorch 和 RAPIDS 等简化摆设的盛行框架。
使用 NVIDIA AI Enterprise,开辟者可以直接在其媒体应用中构建盘算机视觉、自然语言处置惩罚和保举体系等先辈的 AI 功能。他们还可以在媒体工作流中完成复杂 AI 模子的原型计划、测试和摆设。
视频编辑者和爱好者们 —— 一起欢呼吧!
Blackmagic Design 的 DaVinci Resolve 19 Studio 现已推出,引入了可简化编辑工作流的 AI 功能:
IntelliTrack AI 使得在编辑过程中稳固素材变得快速而简朴。它可以在 DaVinci Resolve 的 Fairlight 工具中用于跟踪屏幕上的对象,并于其在二维和三维空间中移动时主动天生音频平移。借助 AI 赋能的功能,编辑职员可以快速地在立体声场中平移或移动音频,控制混音情况中多个脚色的声音位置。
UltraNR 是 DaVinci Resolve 的空间降噪调色板中的 AI 加快降噪模式。编辑职员可以使用它显着淘汰画面帧中的数字噪声(不抱负的颜色或亮度颠簸,会使细节含糊),同时保持图像清晰度。编辑职员还可以将该工具与时间降噪相团结,对具有更显着颠簸的活动图像举行更有用的降噪。
RTX Video 视频超分辨率使用 AI 来锐化低分辨率视频。该技能可以大概检测和消除压缩拖影瑕疵,显着提升低质量视频的视觉效果。
RTX Video HDR 采取 AI 增强算法将尺度动态范围视频重映射到生动美丽的 HDR10 色彩空间。云云,纵然没有可以大概录制 HDR 的摄像机,视频编辑职员也可以创建高动态范围内容。
IntelliTrack 和 UltraNR 在 NVIDIA RTX PC 和工作站上运行时,将得到性能提升。NVIDIA TensorRT 使它们在 GeForce GTX 4090 条记本电脑上的运行速率比在 Macbook Pro M3 Max 上快 3 倍。