作者 | 作业帮大数据团队（刘泽强、孙建业） 本文主要分享 25 年 Flink on k8s 的探索与实践，包括选型思考、平台架构演进、日志观测、Flink 版本升级、兼容性适配、工具迁移、稳定性和性能优化等关键内容。 历史背景 作业帮实时计算主要基于 Flink 构建，共有 ...

Apache Flink 是 Apache 软件基金会的顶级项目，是一款开源的分布式大数据实时处理框架，专为高吞吐量、低延迟的数据流处理而设计。它具备统一的流批一体处理能力，提供精确一次的状态一致性保证，越来越多的企业选择将 Apache Flink 应用于自身丰富的业务场景 ...

实时数据处理向智能化方向全面进化，最新的流处处理引擎已经可以支持用户在 Java、Python 以及 Flink SQL 中定义和管理 AI 模型，并可在 Flink SQL 查询中实时调用任意模型，实现数据流上的即时推理与智能决策。 近日，Apache Flink项目管理委员会（PMC）宣布新的动态 ...

2023 年 12 月 9 日，Flink Forward Asia 2023 （以下简称 FFA ）在北京圆满结束。70+ 演讲议题、30+ 一线大厂技术与实践分享，以及座无虚席的现场，无一不昭示着重回线下的 FFA 的行业号召力。 借用 Apache Flink 中文社区发起人、Apache Paimon PPMC Member、阿里云智能开源大数据 ...

作者 | 作业帮大数据团队（刘泽强、孙建业） 作业帮实时计算主要基于 Flink 构建，共有 3000 多个任务，均采用 Per-Job 模式部署在 Yarn 集群，因 sla 要求差异不同部门间集群独立。历史 on Yarn 模式主要面对问题如下： 资源隔离粒度粗。Yarn 集群本质通过内存隔离 ...