对话五位英伟达技术专家：解析GTC China大会不容错过的技术干货( 二 ) 芯东西（公众号：aichip001）作者|心缘

NVIDIA在应用层面持续完善训练及推理产品所需要的各种功能。在NVIDIA内部，也有完整的应用来推动训练和推理产品的迭代，做到下层技术为上层应用服务、面向应用开发产品，而非闭门造车。
比如，多模态对话式AI服务框架Jarvis不但提供语音识别、语音合成、自然语言处理等模型，也包括计算机视觉中的姿态识别、说话人识别等模型，并使用Triton推理服务器将模型和请求对应起来，在数据中心中进行部署。
【对话五位英伟达技术专家：解析GTC China大会不容错过的技术干货】NVIDIA Merlin是今年GTC春季时发布的框架，包括应用于ETL和数据读取的NVTabular、专门用于训练推荐系统模型的HugeCTR ，其中HugeCTR是一个针对推荐系统和GPU高度优化的训练框架。通过NVTabular和HugeCTR ，数据读取的速度可提高80倍、模型训练的速度可提高20倍，最后训练好的模型可基于Triton进行部署。
Triton是部署方面非常重要的软件，同时支持各类模型运行在GPU、CPU上，当不同模型组成服务时，还要考虑到不同服务对延时、吞吐的要求，以便支持更上层的AI应用开发人员。此外， Triton还有自动化动态Batching ，对不同的请求进行打包以达到更高的吞吐，每一个模型拥有独立的调度队列以及灵活的模型加载。同时， Triton也提供了诸多利用率、吞吐、延时方面的指标，这些指标可以给到Kubernetes资源调度的工具使用。
三、定义未来数据中心的网络产品NVIDIA亚太区网络市场开发高级总监宋庆春重点分享了NVIDIA的NDR InfiniBand产品和DPU产品。
其中NDR InfiniBand产品充分体现了未来的网络架构——软件定义、硬件加速、云原生、网络计算的网络。 NVIDA NDR产品是业界首款400Gb/s的端到端网络解决方案，实现了网络通信中最难的AllReduce和All2All集合通信硬件卸载，能将集群非常轻松的扩展到上百万个节点。
数据中心级芯片NVIDIA DPU是集整个数据中心功能于单芯片的处理器，被定义为与CPU、GPU一起组成未来构建高性能、可扩展、安全数据中心的三大要素。 DPU可以将计算、存储、安全、网络等功能于一身，同时也实现了业务域和安全域的分离。
硬件背后还需要软件的支持。 NVIDIA为DPU所定义的DOCA SDK ，能将DPU硬件加速引擎充分调用，从而将DPU的性能发挥极致。
另外宋庆春观察到，在使用NVIDIA DPU时，无论是ASAP2还是SNAP ，都提供了更多的灵活性和更高的性能。
四、迄今实时渲染图形领域最好的技术方案在NVIDIA声望颇高的图形渲染方面，从前一代Turing架构到最新的Ampere架构，都显著增强了硬件实时光线追踪的渲染能力和AI加速能力。
据NVIDIA中国区工程和解决方案高级总监李浩南介绍，动态全局光照（RTXGI）和深度学习超采样技术（DLSS）被业界认为是迄今在实时渲染图形方面最好的技术方案。
RTXGI的优点是能大幅降低光线追踪的性能开销，并且没有噪点，也能很好的解决“漏光”的问题，其全局光照技术可以很好地兼顾性能和画质。 NDLSS的原理是在超算上通过训练数以万计的高品质渲染图片得到网络模型，然后将这个模型用在三维应用和游戏渲染中，在较低的分辨率上进行画面的重构，从而GPU渲染的桢率得到大幅度的提升，其最新2.1版本的画面重构能力从此前的4倍可以提升到9倍。
此外，针对企业级AR/VR应用及VR云游戏等需求， NVIDIA提供了NVIDIA CloudXR软件套件，基于RTX GPU技术可帮助客户在云端构建AR/VR应用。借助NVIDIA CloudXR ，用户无需在前端使用高性能PC ，就可以驱动沉浸式渲染场景。
文章插图
目前NVIDA已在腾讯云上提供基于NVIDIA CloudXR的SDK ，可为腾讯云客户供虚拟现实、增强现实及混合现实的一些高级别图形应用。