Nvidia的TensorRT深度学习推理平台在对话式AI中开辟了新天地

Nvidia公司正在通过发布用于高性能深度学习推理的TensorRT软件平台的新版本来增强其人工智能游戏。
TensorRT是一个结合了高性能深度学习推理优化器和可为AI应用程序提供低延迟，高吞吐量推理的运行时的平台。
推理是AI的重要方面。AI培训与算法理解数据集的能力的发展有关，而推理则是指算法对数据采取行动以推断出特定查询答案的能力。
最新版本在性能方面进行了一些重大改进。这些措施包括大大缩短了最先进的AI语言模型之一的推理时间，该模型称为“大型变形金刚的双向编码器表示法” 。众所周知， BERT-Large是一种自然语言处理培训的方法。它涉及在大型文本语料库(如Wikipedia)上训练通用语言理解模型，然后将其用作下游NLP任务的基础。
Nvidia表示TensorRT 6带有新的优化功能，可将带有T4图形处理单元的BERT的算法推理时间减少到5.8毫秒，而之前的性能阈值为10毫秒。
Nvidia表示，这种改进的性能足够快，以至于BERT现在对于企业首次在生产中进行部署是切实可行的。传统观点认为， NLP模型需要在不到10毫秒的时间内执行才能提供自然而引人入胜的体验。
英伟达表示，该平台还进行了优化，以加快对与语音识别，医疗应用的3D图像分割以及工业自动化中基于图像的应用有关的任务的推断。
Nvidia表示， TensorRT 6还增加了对动态输入批处理大小的支持，这应该有助于加快AI应用程序(例如具有变化的计算需求的在线服务)的速度。TensorRT开源存储库也不断发展，提供了新的培训样本，这些样本应有助于加快基于语言和图像的应用程序的推理速度。
Constellation Research Inc.分析师Holger Mueller表示，由于目前对话式AI平台的竞赛如火如荼，今天的改进是及时的。
“但是Nvidia仍然需要解决下一代应用程序的本地部署，除非它设法将TensorRT平台引入公共云， ” Mueller说。“ Nvidia在此方面拥有良好的业绩记录，但是这需要时间才能实现。”
【Nvidia的TensorRT深度学习推理平台在对话式AI中开辟了新天地】

Nvidia的TensorRT深度学习推理平台在对话式AI中开辟了新天地

推荐阅读

关于节约粮食的名言诗句关于节约粮食的名言和诗句

奋斗励志朋友圈句子励志短句致自己奋斗朋友圈

想发朋友圈表示心情不好的句子心情不好发朋友圈的句子心情短句

贝拉玻尿酸是合法的吗贝拉玻尿酸是进口的还是国产的

核桃仁做菜的菜谱，您知道桃仁脆溜鸡的做法

浅紫色显皮肤黑还是白

库伦旗景点

居家隔离和集中隔离的区别什么情况下要隔离28天

蝉蛹是什么

怎样能丰胸最安全有效