编程语言

Apache Hudi 增量与流批一体实践(2025)

Apache Hudi 增量与流批一体实践(2025)Hudi 提供 Copy-On-Write(COW)与 Merge-On-Read(MOR)两种存储方式支持增量与近实时查询。一、写入与更新Upsert:按主键增量更新,保证幂等与一致性。批量写入:控制批大小与并发,避免小文件风暴。二、存储与查询

Apache APISIX 入口网关插件与路由治理(2025)

Apache APISIX 入口网关插件与路由治理(2025)一、路由与策略路由:路径/方法/头部匹配与权重分流。插件:认证/限流/重试/监控插件化治理。二、安全与观测mTLS 与鉴权:双向加密与统一鉴权策略。指标与日志:入口延迟/错误率与命中率观测。三、发布与灰度灰度策略:按比例/租户分流验证新版

Apache Airflow工作流编排与容错实践

使用 Airflow 编排数据与计算工作流,提供 DAG 依赖、并发与重试、SLA 与告警、XCom 与参数化实践,并给出验证与监控方法。

Airflow 与 Dagster 工作流编排对比(2025)

Airflow 与 Dagster 工作流编排对比(2025)两者均是主流数据编排方案,适配不同团队与场景。一、模型与开发Airflow:DAG 驱动,生态成熟;Python Operator 丰富。Dagster:资产与作业模型,类型与测试支持更好。二、依赖与部署依赖管理:包与环境隔离策略与容器化

360软件宝库自动采集发布工具

本工具用于自动采集360软件宝库的软件信息,下载软件安装包到本地,并发布到网站数据库。功能特点自动采集: 支持采集指定分类(聊天工具、视频软件)的软件列表。增量更新: 自动检测已存在的软件,进行增量更新(更新时间、描述、文件)。本地下载: 自动将软件安装包下载到本地服务器 `/public/uplo