玄心撰写微软开源博客:ONNX Runtime 助力 Oracle Cloud 高性能深度学习推理
作为 Oracle Cloud AI Services Principal Machine Learning Tech Lead,Fuheng Wu(玄心)撰写了这篇 Microsoft Open Source Blog 技术文章,分享 Oracle 如何使用 ONNX Runtime 为来自 PyTorch、TensorFlow、PaddlePaddle 与 Scikit-learn 的模型提供跨框架、跨硬件的高性能推理服务。
基准测试显示,ONNX Runtime 比原始 PyTorch 推理快 30%–300%。
文章还比较了 TVM、OneDNN、OpenVINO 与 MLIR,并介绍执行提供程序如何让同一套服务代码适配不同推理引擎与 Oracle Cloud CPU 计算形状。
阅读技术文章 ↗