更新时间:2024-10-28 GMT+08:00
在线服务预测时,如何提高预测速度?
- 部署在线服务时,您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。
- 部署在线服务时,您可以增加“计算节点个数”。
如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。您可以根据实际需求进行选择。
- 推理速度与模型复杂度强相关,您可以尝试优化模型提高预测速度。
父主题: 在线服务