我的理解是Kafka Producer向Kafka经纪人群集发送消息。我的问题是,网络分区中Kafka生产者的行为是什么?如果分区太长(并且音量太高),则最终消息丢失?

此外,如果系统在分区期间崩溃,则丢失KAFKA队列中的所有消息都会丢失?

有帮助吗?

解决方案

从Ludd的评论中回答。根据链接中的视频,在分区(或经纪中断)时,它们不支持漏洞到磁盘。有一个“去”的客户,这对别人写的事情做了这样的事情。目前没有计划在这种生产者能力上工作;目前他们的焦点是群集和消费者。

视频中提到的,这不是它们的优先级,至少出于某种原因对“滞后数据”进行。我想Kafaka的许多用例是基于实时的,所以如果它发生了几个小时的制作者断开连接,那么获得几个小时的数据突发将是“奇数”。

猜测是有意义的,因为那么你的消费者必须以某种方式处理那个滞后的数据(即它是一个应用程序问题)。

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top