Как ведет продюсер Кафка во время сетевого раздела?
-
21-12-2019 - |
Вопрос
Мое понимание состоит в том, что продюсер Кафка отправляет сообщения в кластер брокеров Кафки.Мои вопросы - это поведение в производителе кафки во время сетевого раздела?Если раздел слишком длинный (и объем слишком высок), в конечном итоге сообщения теряются?
Также, если система сбивает в систему во время раздела, все, что находятся в очереди Кафка, потерянные?
Решение
ответил с комментария Ludd.Согласно видео в ссылке, они не поддерживают утечку на диск в случае раздела (или брокера).Было упоминание о «Go» клиенту, которое сделало такую вещь, которую кто-то еще написал.Нет планов в настоящее время для работы по этому производителю;Их фокус в настоящее время является кластер и потребитель.
Упомянутый в видео, что это не приоритет для них, по крайней мере, по какой-то причине, чтобы «отстаивать данные».Я полагаю, что множество использованных случаев для Kafaka находятся в режиме реального времени, поэтому, если бы это произошло, что производитель отключен в течение нескольких часов, получая взрыв данных, которые находятся несколько часов, были бы «странным».
Угадай, что имеет смысл, потому что тогда ваши потребители должны иметь дело с этим как каким-то образом (то есть. Это касается применения).