drvively
本站致力于IT相关技术的分享
构建从Oracle到云端MariaDB的实时数据同步管道：基于Debezium与Kafka的生产实践 构建从Oracle到云端MariaDB的实时数据同步管道：基于Debezium与Kafka的生产实践
我们面临的第一个硬性约束，是必须在不中断核心业务的前提下，将一个承载了多年交易数据的 Oracle 11g 数据库逐步迁移至云服务商提供的 MariaDB 集群上。直接的“停机迁移”方案在项目启动的第一天就被否决了。业务方要求新旧系统并行运
2023-10-27 数据工程
CDC MariaDB 云服务商 Oracle Debezium Kafka
为多云 Serverless 函数构建基于 Phoenix 的动态 mTLS 证书颁发与测试体系 为多云 Serverless 函数构建基于 Phoenix 的动态 mTLS 证书颁发与测试体系
一个棘手的架构问题摆在面前：如何在一个混合云环境中，确保一个部署在传统服务器上的 Elixir/Phoenix 核心服务与多个部署在 Vercel 和 Google Cloud 上的 Serverless 函数之间的通信是绝对安全的。这些函
2023-10-27 后端架构
mTLS Google Cloud Functions Vercel Functions 测试 Phoenix
构建基于Delta Lake与Milvus的实时向量特征管道并实现Prometheus深度监控 构建基于Delta Lake与Milvus的实时向量特征管道并实现Prometheus深度监控
模型效果的衰减，往往不是从复杂的算法层面开始，而是从不起眼的数据管道延迟开始。在构建一个实时推荐系统中，我们面临的第一个核心挑战就是特征的“时效性”，尤其是对于向量化特征。一个用户的行为刚刚发生，我们期望在秒级内就能更新其向量表达，并投入到
2023-10-27 数据工程
可观测性 Delta Lake Milvus Prometheus TSDB Spark Streaming MLOps
构建一个管理 Qdrant 与 CV 工作负载的 K8s Operator：从 etcd 一致性到 Jotai 前端状态同步 构建一个管理 Qdrant 与 CV 工作负载的 K8s Operator：从 etcd 一致性到 Jotai 前端状态同步
管理一套生产级的计算机视觉（CV）推理系统，其复杂性远超部署一个无状态应用。它通常包含一个用于特征向量检索的 Qdrant 向量数据库集群，以及一组用于模型推理的 CV 工作负载。当这些组件部署在 Kubernetes 上时，我们面临的第一
2023-10-27 云原生
etcd Qdrant CV Kubernetes Jotai
利用MyBatis与Matplotlib量化遗留系统的数据库耦合度以指导DDD重构 利用MyBatis与Matplotlib量化遗留系统的数据库耦合度以指导DDD重构
我们接手了一个运行了近十年的单体系统。业务逻辑盘根错节，而最棘手的部分在于它的数据库——一个拥有超过800张表的“巨石”。任何一个微小的需求变更，都可能引发一场对数据库完整性的灾难性回归测试。团队决定采用领域驱动设计（DDD）进行战略重构，
2023-10-27 架构设计
MyBatis Matplotlib Domain-Driven Design (DDD) 技术债 Python
构建集成 tRPC 与 Fluentd 的 TensorFlow CV 模型可观测服务管道 构建集成 tRPC 与 Fluentd 的 TensorFlow CV 模型可观测服务管道
模型部署上线只是起点，真正的挑战在于稳定运行。一个计算机视觉（CV）模型服务，在负载升高时出现间歇性延迟飙升，或者对特定类型的图片返回低置信度结果，这些问题在生产环境中是常态。麻烦的是，常规的日志系统只会告诉你服务收到了请求、返回了结果，中
2023-10-27 MLOps
CV TensorFlow tRPC Fluentd Observability gRPC
4 / 5