Jak mogę trenować model w czasie rzeczywistym z użyciem Word2Vec?

Jak mogę trenować model w czasie rzeczywistym z użyciem Word2Vec?
ML
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 5
0

Od razu streszczę temat, posiadam wytrenowany model na kilku tysiącach plików, działa bardzo fajnie, chciałem dodać funkcjonalność pozwalającą na wczytywanie modelu i "dotrenowywanie" go plikami które ktoś dorzuca, jak mogę to osiągnąć, muszę użyć Apache Kafki?

Mój stack technologiczny to Apache Spark z naciskiem na Spark NLP posiadający Word2Veca.

Charles_Ray
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 1910
0

Nie moja dziedzina, ale skoro masz joba Sparkowego, to mógłbyś go wpiąć w Airflow i po prostu odpalać cyklicznie, inkrementalnie przerabiając kolejne dane. Jaki problem rozwiązałaby tutaj Kafka? Publikacja wyników?

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.