站长之家(ChinaZ.com)6月30日 消息:金山办公宣布与 NVIDIA 团队合作,通过 NVIDIA Tensor Core GPU、TensorRT 提升图像文档识别与理解的推理效率;
借助 NVIDIA Triton 推理服务器的部署,成功优化 GPU 利用率,提供高推理吞吐量。相比于 CPU 其 pipleline 耗时共下降84%;采用 NVIDIA Triton 推理服务器部署,其部署成本节省了23% 。
金山办公表示,我们有多个业务后边的 AI 服务已经通过采用该方案提高了速度和资源利用率,不仅给用户端带去了更高的速度响应,提高了用户体验,也为公司节约了大量的服务端 GPU 资源,收获了更高的效益。我们在文档识别与理解领域的应用案例也可以启发到 OCR 和版式识别领域的其他公司和学者,相信随着更多客户通过采用 TensorRT 加速会给行业带来很大的收益。