一套用于金融风控场景的 TensorFlow 推理服务,其 P99 延迟目标是 50ms。当监控系统报告一次请求耗时 150ms 时,问题可能出在哪里?是入口的 Kong 网关插件执行缓慢,是负责特征提取的 Java 中台服务发生了 GC,
2023-10-27