drvively
本站致力于IT相关技术的分享
基于OpenCV与ChromaDB构建具备反压机制的实时图像向量化管道 基于OpenCV与ChromaDB构建具备反压机制的实时图像向量化管道
我们团队的第一个迭代版本在一个关键问题上栽了跟头：系统在处理突发图像流时会周期性地崩溃。最初的架构很简单，一个消费者从RabbitMQ队列中拉取图片消息，调用一个预训练模型进行特征提取，然后将生成的向量存入ChromaDB。在敏捷开发的背景
2023-10-27 数据工程
Python ChromaDB 敏捷开发 OpenCV 异步处理 系统架构
构建跨语言微服务体系下的事件驱动向量索引管道 构建跨语言微服务体系下的事件驱动向量索引管道
1. 定义问题：高吞吐与重计算解耦在一个多模态内容分析平台中，我们面临一个典型的架构挑战：系统需要接收来自用户的大量非结构化数据上传（如图片、文档），并为这些数据生成向量嵌入（Vector Embeddings）以支持语义搜索。这个过程包含
2023-10-27 分布式架构
Weaviate Kong Spring Framework Koa
在 Knative 环境中集成 ZeroMQ 构建无 Broker 的高性能事件网格 在 Knative 环境中集成 ZeroMQ 构建无 Broker 的高性能事件网格
在处理需要极致低延迟的事件驱动场景时，标准的云原生消息中间件，如 Kafka 或 RabbitMQ，有时会因其固有的 Broker 架构引入不可忽视的延迟和运维复杂性。一个典型的痛点是，Knative Eventing 虽然强大，但其依赖的
2023-10-27 云原生
Knative ZeroMQ Echo Go Serverless EDA
使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元 使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元
我们面临一个棘手的遗留系统集成问题。一个老旧的ERP系统以一种近乎实时的方式，将结构复杂、深度嵌套的JSON格式业务事件吐出。最初的解决方案是通过定时任务批量拉取文件，但这导致数据延迟高达数小时，分析团队对此怨声载道。我们需要一个更接近流式
2023-10-27 数据工程
Azure Service Bus Pandas 容器化 Ansible
为 Docker Swarm 集群构建基于 OpenSearch 和 GraphQL 的分布式追踪前端 为 Docker Swarm 集群构建基于 OpenSearch 和 GraphQL 的分布式追踪前端
在 Docker Swarm 上运行了十几个微服务后，排查一个跨服务请求的问题变成了噩梦。日志散落在不同容器的标准输出里，通过 docker service logs <service_name> 逐个翻阅，没有统一的 trac
2023-10-27 可观测性
Styled-components Docker Swarm OpenSearch GraphQL Express.js
基于 Event Sourcing 构建 containerd 运行时事件的可视化追踪架构 基于 Event Sourcing 构建 containerd 运行时事件的可视化追踪架构
定义一个棘手的问题：超越快照式监控传统的容器运行时监控，无论是 ctr task ls 还是 Prometheus 指标，本质上都是对系统在某个时间点的“状态快照”。我们看到的是 CPU 使用率、内存占用这些聚合后的结果，但却丢失了导致这些
2023-10-27 分布式架构
InfluxDB containerd Event Sourcing Emotion
2 / 5