浪潮|想用笔记本随时随地高质量开播？NVIDIA Broadcast帮你轻松实现算法|刘军

文章图片

文章图片

文章图片

文章图片

文章图片
近些年消费级CPU和GPU的性能飞速发展，如今的笔记本电脑性能已非常强大，并且对于绝大部分人来说，用笔记本电脑已经足够胜任几乎所有需要个人电脑的应用需求。
对于直播行业来说，目前互联网越来越讲究“移动化” ，不论身处何处，可以永远在线。而早年的直播行业，由于网络和计算性能的瓶颈，对于有较高质量的直播工作，大部分是采用台式机电脑进行直播，并且对于游戏主播来说，还需要使用两台台式机电脑同时工作——其中一台用来运行游戏，另外一台专门用来直播推流，这其实是相当不便的工作环境。
而随着如今PC性能的快速进步，计算性能方面已经不是问题，如今笔记本其实也足够用来进行高质量的直播，同时网络环境方面，目前我们的网络带宽也是越来越大，在这样的环境下，笔记本电脑自带的“移动”属性，非常契合直播的发展趋势，同时能提供相比手机直播更高的直播质量，而且对于游戏主播来说，更是一个不可或缺的解决方案。
说起PC端的直播，不得不提的一个软件是NVIDIA Broadcast ，这是NVIDIA利用如今芯片的AI计算性能打造的一款多功能直播辅助软件，可以实现噪音消除、虚拟背景、人像跟踪等功能。在最新的NVIDIA Broadcast 1.3.0版本中，还改进了音频背景消除的质量，改善了对情绪化语音（例如直播恐怖游戏时惊叫）的支持，并且在同时运行音频和视频效果时，进行显存优化，显存的使用减少了40% ，大大降低了对资源的占用。
测试平台NVIDIA Broadcast实现这些功能的原理是利用NVIDIA RTX GPU中Tensor Core（张量计算单元）的高效AI性能来处理计算的，NVIDIA RTX GPU中的Tensor Core是专门针对深度学习而设计的特殊计算核心，它尤其适合深度学习训练和深度学习推理，而在噪音消除、虚拟背景、人像跟踪这样的应用中，正是深度学习大展拳脚的领域，拥有Tensor Core和NVIDIA RTX显卡可以很好的实现这些功能。
如今的NVIDIA RTX GPU已经进化到第二代，采用NVIDIA Ampere架构和全新的8nm制程的GeForce RTX 30系列，多方面的进步使得即使在笔记本电脑上NVIDIA RTX GPU如今也可以提供强劲的性能，本次笔者用来体验NVIDIA Broadcast的测试环境就是一台GeForce RTX 3060笔记本，规格如下：
NVIDIA Broadcast功能体验噪音消除
噪音消除可以说是NVIDIA Broadcast的起点所在，因为在NVIDIA Broadcast之前的Turing显卡时代NVIDIA推过一款RTX Voice软件， RTX Voice也是利用AI识别来对音频进行处理，实现降噪的效果。之所以从音频方面开始做起，笔者个人觉得应该是相比于视频而言，音频的信息量更少，更容易进行计算处理。而随着后面AI计算能力的增强， NVIDIA RTX GPU也可以足够处理视频信息了，于是NVIDIA推出了NVIDIA Broadcast ，整合了音频处理功能与视频处理功能，丰富了辅助直播的多项功能。
NVIDIA Broadcast的噪音消除功能也是随着版本更迭越来越丰富的，在NVIDIA Broadcast 1.1.0.20版本中增加了宠物叫声的噪音配置文件，可以更加准确的识别出宠物叫声，而在NVIDIA Broadcast 1.2.0版本中又增加了房间回声消除功能，可以减少房间的混响效果，使通话更清晰。而现在最新的NVIDIA Broadcast 1.3.0版本中，还增强了对情绪化语音（例如直播恐怖游戏时惊叫）的支持。
【浪潮|想用笔记本随时随地高质量开播？NVIDIA Broadcast帮你轻松实现】就笔者的体验来说， NVIDIA Broadcast的各项噪声消除功能效果是很明显的，并且你可以自由调整强度来找到适合自己的平衡点，在目前最新的版本中还支持效果叠加，也就说噪音消除和房间回声消除可以同时应用，而且不管是声音收录输出的麦克风端还是播放声音的扬声器端都可以进行这种效果叠加。