drvively
本站致力于IT相关技术的分享
基于OpenCV与ChromaDB构建具备反压机制的实时图像向量化管道 基于OpenCV与ChromaDB构建具备反压机制的实时图像向量化管道
我们团队的第一个迭代版本在一个关键问题上栽了跟头：系统在处理突发图像流时会周期性地崩溃。最初的架构很简单，一个消费者从RabbitMQ队列中拉取图片消息，调用一个预训练模型进行特征提取，然后将生成的向量存入ChromaDB。在敏捷开发的背景
2023-10-27 数据工程
Python ChromaDB 敏捷开发 OpenCV 异步处理 系统架构
使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元 使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元
我们面临一个棘手的遗留系统集成问题。一个老旧的ERP系统以一种近乎实时的方式，将结构复杂、深度嵌套的JSON格式业务事件吐出。最初的解决方案是通过定时任务批量拉取文件，但这导致数据延迟高达数小时，分析团队对此怨声载道。我们需要一个更接近流式
2023-10-27 数据工程
Azure Service Bus Pandas 容器化 Ansible
为 Docker Swarm 集群构建基于 OpenSearch 和 GraphQL 的分布式追踪前端 为 Docker Swarm 集群构建基于 OpenSearch 和 GraphQL 的分布式追踪前端
在 Docker Swarm 上运行了十几个微服务后，排查一个跨服务请求的问题变成了噩梦。日志散落在不同容器的标准输出里，通过 docker service logs <service_name> 逐个翻阅，没有统一的 trac
2023-10-27 可观测性
Styled-components Docker Swarm OpenSearch GraphQL Express.js
基于 Event Sourcing 构建 containerd 运行时事件的可视化追踪架构 基于 Event Sourcing 构建 containerd 运行时事件的可视化追踪架构
定义一个棘手的问题：超越快照式监控传统的容器运行时监控，无论是 ctr task ls 还是 Prometheus 指标，本质上都是对系统在某个时间点的“状态快照”。我们看到的是 CPU 使用率、内存占用这些聚合后的结果，但却丢失了导致这些
2023-10-27 分布式架构
InfluxDB containerd Event Sourcing Emotion
构建基于 Chef 部署、Azure Functions 处理与 Seaborn 动态可视化的分布式遥测数据管道 构建基于 Chef 部署、Azure Functions 处理与 Seaborn 动态可视化的分布式遥测数据管道
我们面临的第一个问题，并非技术选型，而是现实约束。团队维护着一个混合架构系统：一部分是运行在本地数据中心VM上的传统Java应用，另一部分是部署在云上的较新微服务。监控系统是分裂的，传统应用依赖于老旧的、基于文件的日志和有限的JMX指标，而
2023-10-27 可观测性工程
Seaborn 分布式与中间件 Azure Functions Chef Turbopack
构建异构请求合并网关 Tornado Micronaut 与 Ray 的协同实践 构建异构请求合并网关 Tornado Micronaut 与 Ray 的协同实践
问题的起点非常明确：一个外部系统以极高频率向我们推送小型计算任务，峰值可达每秒数万次。每个任务本身处理起来并不复杂，但其背后依赖一个CPU密集型的模拟模型。直接处理这些原子化请求会立刻摧毁后端系统，因为模型的初始化和单次运行的固定开销远大于
2023-10-27 分布式架构
Ray Tornado Micronaut 分布式计算 高性能网关
2 / 5