TensorRT 英伟达高性能深度学习推理平台

TensorRT 是一个高性能深度学习推理平台，它包括深度学习推理优化器和运行时，可为深度学习推理应用提供低延迟和高吞吐量。在推理期间，基于 TensorRT 的应用比仅 CPU 平台的执行速度快 40 倍。TensorRT 基于 CUDA，NVIDIA 的并行编程模型，能够利用 CUDA-X AI 中的库、开发工具和技术，为人工智能、自动机器、高性能计算和图形优化所有深度学习框架的推理。此库包含 TensorRT 插件和解释器（Caffe 和 ONNX），还有一些演示 TensorRT 平台的使用和功能的示例应用。