模型部署上线只是起点,真正的挑战在于稳定运行。一个计算机视觉(CV)模型服务,在负载升高时出现间歇性延迟飙升,或者对特定类型的图片返回低置信度结果,这些问题在生产环境中是常态。麻烦的是,常规的日志系统只会告诉你服务收到了请求、返回了结果,中
2023-10-27