Как ведет продюсер Кафка во время сетевого раздела?

StackOverflow https://stackoverflow.com//questions/25059455

  •  21-12-2019
  •  | 
  •  

Вопрос

Мое понимание состоит в том, что продюсер Кафка отправляет сообщения в кластер брокеров Кафки.Мои вопросы - это поведение в производителе кафки во время сетевого раздела?Если раздел слишком длинный (и объем слишком высок), в конечном итоге сообщения теряются?

Также, если система сбивает в систему во время раздела, все, что находятся в очереди Кафка, потерянные?

Это было полезно?

Решение

ответил с комментария Ludd.Согласно видео в ссылке, они не поддерживают утечку на диск в случае раздела (или брокера).Было упоминание о «Go» клиенту, которое сделало такую вещь, которую кто-то еще написал.Нет планов в настоящее время для работы по этому производителю;Их фокус в настоящее время является кластер и потребитель.

Упомянутый в видео, что это не приоритет для них, по крайней мере, по какой-то причине, чтобы «отстаивать данные».Я полагаю, что множество использованных случаев для Kafaka находятся в режиме реального времени, поэтому, если бы это произошло, что производитель отключен в течение нескольких часов, получая взрыв данных, которые находятся несколько часов, были бы «странным».

Угадай, что имеет смысл, потому что тогда ваши потребители должны иметь дело с этим как каким-то образом (то есть. Это касается применения).

Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top