归档: 2023/10 | drvively

2023

10

27

在我们的多语言微服务体系中，一个反复出现的痛点是服务间的接口契约管理。核心服务使用 Go 编写，通过 gRPC 提供高性能接口，而多个业务前端和 BFF (Backend for Frontend) 层则由 Ruby on Rails 团队

2023-10-27 DevOps

Kubernetes gRPC-Go GitHub Actions Ruby

27

我们需要一个机制，将线上 PostgreSQL 数据库的变更数据（CDC）近乎实时地同步到数据湖中，用于后续的分析和模型训练。传统的 T+1 式 ETL 批处理延迟太高，无法满足业务对数据新鲜度的要求。而引入 Flink 或 Spark S

2023-10-27 数据工程

Apache Hudi OpenFaaS Apache Iceberg CDC Serverless 数据湖

27

一个看似合理的需求摆在面前：用户希望在一个内部数据平台上，通过一个简洁的前端界面，对存储在数据湖（基于 Apache Iceberg）中的数十亿条记录进行即席查询、聚合与分析，并期望获得类似数据库应用的交互体验。这里的核心矛盾显而易见：前端

2023-10-27 架构设计

Apache Iceberg Express.js RESTful API UI 组件库

27

我们团队的第一个迭代版本在一个关键问题上栽了跟头：系统在处理突发图像流时会周期性地崩溃。最初的架构很简单，一个消费者从RabbitMQ队列中拉取图片消息，调用一个预训练模型进行特征提取，然后将生成的向量存入ChromaDB。在敏捷开发的背景

2023-10-27 数据工程

Python ChromaDB 敏捷开发 OpenCV 异步处理系统架构

27

我们面临一个棘手的遗留系统集成问题。一个老旧的ERP系统以一种近乎实时的方式，将结构复杂、深度嵌套的JSON格式业务事件吐出。最初的解决方案是通过定时任务批量拉取文件，但这导致数据延迟高达数小时，分析团队对此怨声载道。我们需要一个更接近流式

2023-10-27 数据工程

Azure Service Bus Pandas 容器化 Ansible

27

在 Docker Swarm 上运行了十几个微服务后，排查一个跨服务请求的问题变成了噩梦。日志散落在不同容器的标准输出里，通过 docker service logs <service_name> 逐个翻阅，没有统一的 trac

2023-10-27 可观测性

Styled-components Docker Swarm OpenSearch GraphQL Express.js