基于数据迁移策略的反压问题解决方法

摘要:流计算应用中由于上下游数据流入流出速率不匹配常常导致数据缓冲区容量不足或溢出的反压(backpressure)问题,轻则导致数据丢失､重则导致系统崩溃,亟需好的解决方法或方案｡不同于向上游传递压力以解决下游反压的已有方法,本文提出了一种基于数据迁移策略的反压问题解决方法,通过其他分支的轻载节点分散处理来解决反压问题｡

• 作者: 刘晓光1王刚2马国郡1
• 出处: 《中国电业与能源》 2022年9期
• 关键词: 分布式系统 流计算 反压问题 数据迁移 大数据
• 分类: [][]