Java / Scala w Data engineering

Hej,

Do czego używa się Javy oraz Scali w Data Engineering? Dlaczego akurat te języki wykorzystuje się obok Pythona a nie np C# ?

Do transformacji danych. Scala stoi na wirtualnej maszynie javy a więc jest znacznie szybsza od pythona. No i Spark został napisany właśnie w scali.

Najpopularniejsze toole do stream processingu danych są głównie javowe i scalowe. Np. wspomniany Spark oraz Flink, a także Kafka, która może współpracować np. z Flinkiem. W dużym uproszczeniu Java i Scala są wykorzystywane przede wszystkim do zbierania i przetwarzania danych, a także do wysyłania ich do scorowania z modelami ML. Nie wiem, czy w C# są stworzone toole na takim poziomie, jak chociażby Flink.