Opis problemu:
Mam bardzo dużo danych, które chcę analizować wielokrotnie tzn. po analizie wszystkich danych będę je analizował ponownie pod innym kątem. Jest ich kilka GB! Duże ryzyko, że wszystkie nie zmieszczą mi się do RAM-u! Dane są dobrze poukładane w pliku (nie ma żadnych dziur etc.)
Pytanie:
Jak wydajnościowo najlepiej rozwiązać problem ładowania danych do pamięci?
Co byście polecili?
Czy dane lepiej trzymać w pliku czy w jakiejś bazie (ew. jakiej)?
Pod jakimi hasłami szukać podobnych problemów i ich rozwiązań w sieci?
Z problemem spotykam się pierwszy raz więc proszę o wyrozumiałość.
Głównie zależy mi na wydajności rozwiązania!
Z góry dzięki za pomoc!