Używam netcore. Potrzebuję w aplikacji wczytywać wiersze z długiego pliku tekstowego. Struktura wiersza wygląda na tą chwile tak:
id_maszyny,id_polprodukt,id_operator,data_start,data_koniec
Za każdym razem może to być po kilka/kilkanaście tysięcy wierszy do przetworzenia (mozliwe ze jeszcze o czymś nie wiem i wierszy będzie kilkadziesiąt tysięcy). Dla każdego wczytanego z pliku tekstowego wiersza musze pobrac dodatkowe dane z bazy. Jak już sobie to dopasuję, to muszę otrzymane dane wrzucić do tabeli w bazie.
W jaki sposób zrobić to wydajnie? Czy wczytać od razu cały plik tekstowy do pamieci i w pętli sobie dopasować dane z bazy? Proszę o jakieś nakierowanie.
PS: czy jest jakiś sprytny sposób walidacji pliku tekstowego który mógłbym tu wykorzystać? Czyli jakies sprawdzanie zanim zaimportuję