Kafka wreszcie pozbywa się Zookeepera!

Przez bardzo długi czas Kafka nie mogła normalnie funkcjonować bez wsparcia ukrytego mechanizmu Zookeeper, którego zadaniem było magazynowanie podstawowych danych o partycjach i brokerach. Ponadto to wcale nie Kafka, a właśnie zookeeper wpływał na wybór głównego brokera-lidera jako kontrolera Kafki.

Twórcy Kafki przygotowują się na duże zmiany - już w tym roku planowane jest pozbycie się Zookeepera, co według producentów ułatwi zarządzanie danymi, poprawi skalowalność i umożliwi obsługę większej liczby partycji.

Tutaj umieszczam link do epica z opisem sytuacji -> https://cwiki.apache.org/confluence/display/KAFKA/KIP-500%3A+Replace+ZooKeeper+with+a+Self-Managed+Metadata+Quorum

Pewnie znaczna większość z obecnych tutaj przynajmniej raz miało kontakt z tą technologią, więc chciałbym zapytać o Wasze odczucia dotyczące tej radykalnej i już pewnej zmiany w architekturze Kafki. Czy wyjdzie im to na dobre czy wolelibyście zostać przy obecnym rozwiazaniu ?

To żadna nowość, to już od ponad roku planują.

Czy wyjdzie im to na zdrowie?
TAK. Prostszy setup. Mniej części ruchomych ergo większa niezawodność. Prostsze upgrade'y i utrzymanie.

Nie nazwał bym tej zmiany radykalną. Kafka to proste narzędzie w porównaniu np. do Cassandry czy ClickHouse'a. Tam nie ma za bardzo z czym kombinować. To powinno tak wyglądać od początku, po prostu jak pisano kafkę to ZK był na topie wtedy. Więc żeby sobie odjąć roboty użyli ZK.

[przyznam że nie czytałem tego doca z linka, pisze z wiedzy zasłyszanej]

Nie rozumiem trochę pytania :) jaki wpływ ta zmiana ma na aplikacje korzystające z Kafki? ZK jest używany wewnętrznie do konsensusu

Jaki wpływ ma ta zmiana na aplikacje korzystające z Kafki (w sumie ciekawe :D) - nie wiem, ale duże znaczenie ma tutaj samo postawienie środowiska. Zapewne będzie można postawić klaster urchamiając jedynie część kafkową bez uruchamiania zookeeperka pod spodem.

Zobaczymy jak to będzie wyglądać po releasie - na ile ich własna implementacja będzie zabugowana.
Nie zdarzyło mi się dotąd pracować przy produkcyjnych (self-hosted) klastrach kafki i nie musieć ogarniać co się dzieje w zookeeperze, jeżeli traktować go jako detal implementacyjny to straszliwie cieknący

0xmarcin napisał(a):

Kafka to proste narzędzie w porównaniu np. do Cassandry

Czy mógłbyś to rozwinąć?

sirazure napisał(a):

jeżeli traktować go jako detal implementacyjny to straszliwie cieknący

Czy mógłbyś to rozwinąć?

@NamingException: przyjmując że się nie tylko woła Kafke klientem (bo wtedy rzeczywiście małe ma znaczenie czy jest ten zookeeper czy nie) a trzeba również utrzymywać klaster kafki to bardzo często musiałem rozkminiac błędy pojawiające się również na zookeeperze. I mówię zarówno o prostszych setupach jak i większych.