归档 | drvively

2023

10

27

我们团队的第一个迭代版本在一个关键问题上栽了跟头：系统在处理突发图像流时会周期性地崩溃。最初的架构很简单，一个消费者从RabbitMQ队列中拉取图片消息，调用一个预训练模型进行特征提取，然后将生成的向量存入ChromaDB。在敏捷开发的背景

2023-10-27 数据工程

Python ChromaDB 敏捷开发 OpenCV 异步处理系统架构

27

我们面临一个棘手的遗留系统集成问题。一个老旧的ERP系统以一种近乎实时的方式，将结构复杂、深度嵌套的JSON格式业务事件吐出。最初的解决方案是通过定时任务批量拉取文件，但这导致数据延迟高达数小时，分析团队对此怨声载道。我们需要一个更接近流式

2023-10-27 数据工程

Azure Service Bus Pandas 容器化 Ansible

27

在 Docker Swarm 上运行了十几个微服务后，排查一个跨服务请求的问题变成了噩梦。日志散落在不同容器的标准输出里，通过 docker service logs <service_name> 逐个翻阅，没有统一的 trac

2023-10-27 可观测性

Styled-components Docker Swarm OpenSearch GraphQL Express.js

27

定义一个棘手的问题：超越快照式监控传统的容器运行时监控，无论是 ctr task ls 还是 Prometheus 指标，本质上都是对系统在某个时间点的“状态快照”。我们看到的是 CPU 使用率、内存占用这些聚合后的结果，但却丢失了导致这些

2023-10-27 分布式架构

InfluxDB containerd Event Sourcing Emotion

27

我们面临的第一个问题，并非技术选型，而是现实约束。团队维护着一个混合架构系统：一部分是运行在本地数据中心VM上的传统Java应用，另一部分是部署在云上的较新微服务。监控系统是分裂的，传统应用依赖于老旧的、基于文件的日志和有限的JMX指标，而

2023-10-27 可观测性工程

Seaborn 分布式与中间件 Azure Functions Chef Turbopack

27

问题的起点非常明确：一个外部系统以极高频率向我们推送小型计算任务，峰值可达每秒数万次。每个任务本身处理起来并不复杂，但其背后依赖一个CPU密集型的模拟模型。直接处理这些原子化请求会立刻摧毁后端系统，因为模型的初始化和单次运行的固定开销远大于

2023-10-27 分布式架构

Ray Tornado Micronaut 分布式计算高性能网关