Come si comporta un produttore Kafka durante una partizione di rete?

Question

La mia comprensione è che un produttore KAFKA invia messaggi a un cluster di Brokers Kafka.Le mie domande sono, qual è il comportamento del produttore Kafka durante una partizione di rete?Se la partizione è troppo lunga (e il volume troppo alto), alla fine i messaggi vengono persi?

Inoltre, se il sistema si blocca durante una partizione, tutti i messaggi sono nella coda KAFKA persi?

Answer 1

Risposta dal commento di Ludd.Secondo il video nel link, non supportano la fuoriuscita su disco in caso di partizione (o interruzione del broker).C'era una menzione di un cliente "go", che ha fatto una cosa del genere che qualcun altro ha scritto.Nessun piano attualmente per lavorare su questa capacità produttiva;Il loro obiettivo attualmente è il cluster e il consumatore.

Il menzionato nel video che questa non è una priorità per loro, almeno per qualche motivo da fare a "Dati lagnosi".Suppongo che molti casi di uso per la Kafaka siano basati in tempo reale, quindi se succede che un produttore sia scollegato per diverse ore, ottenendo una raffica di dati che sono diverse ore vecchie sarebbero "dispari".

Indovina che ha senso, perché allora i tuoi consumatori avrebbero dovuto affrontare quei dati alla volta in qualche modo (cioè è una domanda di applicazione).