drvively
本站致力于IT相关技术的分享
2023
10
27
使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元 使用Ansible自动化部署基于Pandas与Azure Service Bus的容器化流式数据处理单元
我们面临一个棘手的遗留系统集成问题。一个老旧的ERP系统以一种近乎实时的方式，将结构复杂、深度嵌套的JSON格式业务事件吐出。最初的解决方案是通过定时任务批量拉取文件，但这导致数据延迟高达数小时，分析团队对此怨声载道。我们需要一个更接近流式
2023-10-27 数据工程
Azure Service Bus Pandas 容器化 Ansible
27
27
27
构建异构请求合并网关 Tornado Micronaut 与 Ray 的协同实践 构建异构请求合并网关 Tornado Micronaut 与 Ray 的协同实践
问题的起点非常明确：一个外部系统以极高频率向我们推送小型计算任务，峰值可达每秒数万次。每个任务本身处理起来并不复杂，但其背后依赖一个CPU密集型的模拟模型。直接处理这些原子化请求会立刻摧毁后端系统，因为模型的初始化和单次运行的固定开销远大于
2023-10-27 分布式架构
Ray Tornado Micronaut 分布式计算 高性能网关
27
构建基于 Chef 部署、Azure Functions 处理与 Seaborn 动态可视化的分布式遥测数据管道 构建基于 Chef 部署、Azure Functions 处理与 Seaborn 动态可视化的分布式遥测数据管道
我们面临的第一个问题，并非技术选型，而是现实约束。团队维护着一个混合架构系统：一部分是运行在本地数据中心VM上的传统Java应用，另一部分是部署在云上的较新微服务。监控系统是分裂的，传统应用依赖于老旧的、基于文件的日志和有限的JMX指标，而
2023-10-27 可观测性工程
Seaborn 分布式与中间件 Azure Functions Chef Turbopack
27
2 / 5