Como um produtor Kafka se comporta durante uma partição de rede?

Question

Minha compreensão é que um produtor kafka envia mensagens para um aglomerado de corretores de Kafka.Minhas perguntas são, qual é o comportamento no produtor kafka durante uma partição de rede?Se a partição for muito longa (e o volume muito alto), eventualmente as mensagens serão perdidas?

Além disso, se o sistema falhar durante uma partição, todas as mensagens estão na fila Kafka perdidas?

Answer 1

respondeu do comentário de Ludd.De acordo com o vídeo no link, eles não suportam derramamento ao disco no caso de uma partição (ou interrupção do corretor).Houve menção de um cliente "ir", que fez uma coisa que alguém escreveu.Não há planos atualmente para trabalhar nesta capacidade de produtor;Seu foco atualmente é o cluster e o consumidor.

O mencionado no vídeo que isso não é uma prioridade para eles, pelo menos por algum motivo para "Dados Laggy".Suponho que muitos casos de uso para Kafaka são baseados em tempo real, por isso, se acontecer que um produtor é desconectado por várias horas, obtendo uma explosão de dados que é várias horas de idade seria "ímpar".

Acho que faz sentido, porque então seus consumidores teriam que lidar com que os dados lagos de alguma forma (isto é, é uma preocupação do aplicativo).