Importowanie danych z CSV

Witam,

Musze stworzyc skrypt do importowania promocji z pliku CSV. Pliko moze miec kilka set kodow promocyjnych. Musze je zwalidowac, sprawdzic czy np kod ma wlasciwy format itd. Nastepnie zapisac je w bazie danych oraz kazdy wyslac do zewnetrznego serwisu. Czy ktos moze ma jakis pomysl jak zrobic to efektywnie i nie zabic strony? Myslalem, zeby zweryfikowany juz plik zapisac na serwerze i stworzyc skrykt, ktory bedzie dziala w tle. Uzytkownik dostnienie komunikat o ukonczonym imporcie. I w czasie trawania importu nie bedzie w stanie stworzyc kolejnego. Nie moge tez wyslac wszytkich kodow na raz do zewnetrzengo API. Musze zrobic kilka sekund przerwy. Wiec myslalem, zeby uzyc kolejki. Ma to sense? :) Jakies lepsze pomysly?

W sumie moze i fakt.

Chociaz domyslam sie, ze zapisanie np 2000 kodow moze troche potrwac.

poniatowski napisał(a):

Chociaz domyslam sie, ze zapisanie np 2000 kodow moze troche potrwac.

nie znam struktury projektu ani frameworka którego uzywasz ale nie musisz robić 2000 insertów - mozesz wszystkie na raz zwalidować i (chyba?) zapisać wszystkie jednym insertem. potrwa wtedy sekundy.

nie ma czegosc takiego jak przerwa w wysylce czyms API. co to za farmazon. jakis ?

To tak, za pomocą tego narzędzia https://www.php.net/manual/en/function.fgetcsv.php
Zdekoduj sobie plik .csv na coś bardziej phpowego.
Wówczas masz tablicę. index +1 to kolejna linijka w pliku .csv
A index wartości dla danej kolumny to nazwa tej kolumny (pierwsza linijka pliku .csv).

Później w tablicy np. $tab[1]['kod_promocyjny]
Gdzie 1 to 1 linijka pliku .csv a kod_promocyjny to kolumna z kodem promocyjnym. Sprawdzasz według jakichś kryteriów odpowiednich dla tego kodu czy ma poprawny format.

Jesli tak to
Insert do bazy
I jeśli ten zewnętrzny serwis ma API to według ich dokumentacji wysłać odpowiednie żądanie.

Oczywiście wszystko w pętli. Pętlę możesz zrobić na parę sposób

while($row = fgetcsv($plik)){
//Gdzie row to Twoja tablica gdzie wcześniej opisałem jak ją zaczytywać
//$row['kod_promocyjny']
}

Albo

$file = fgetcsv($plik);
$max = count($file)
for($min=1; $min < $max; $min++){
//$file[$min]['kod_promocyjny']
$min++;
}

Jesli chcesz, żeby użytkownikowi wyświetliła się informacja o pomyślnym zaimportowaniu to możesz kod z importem wywołać np. ajaxem albo czymś nowszym. Odebrać wynik i jak jest ok wyświetlić odpowiedni komunikat. W konfiguracji serwera apache jeśli dobrze kojarzę można ustawiać timeout dla poszczególnych katalogów, ale mogę się mylić, także możesz ten plik wywoływać w takim katalogu timeout na wszelki ustawić większy. I wszystko powinno pykac

Jeśli nie chcesz żeby w tym samym czasie ktoś inny mógł sobie też importować to, w jakiejś tabeli np. do stanów operacji, utwórz sobie rekord name - isImport i jeśli ktoś importuje to na początku zmień mu wartość, np. druga kolumna value na 1 i jak skończy importować to zmień na 0, a przed importowaniem jeszcze sprawdź czy jest wartość (kolumna value) ustawiona na 0 jak nie to wyświetl, że nie można importować, bo już ktoś to robi. I wtedy w takiej tabeli możesz inne rzeczy też w taki sposób zapisywać dla innych funkcji w Twoim programie jeśliby musiały jakieś być.

A żadne API nie musi mieć ileś tam przerwy między żądaniami. Jeśli ich API przyjmuje pliki json to wtedy używasz funkcji json_encode dla swojej tablicy z danymi i ten json im tam wywalasz. Tutaj już musisz sobie przejrzeć dokumentację ich API. Jeśli każdy kod musi być osobno im tam przesłany to zaraz po zapytaniu do bazy wysyłasz żądanie do API. Szczerze jeszcze nie słyszałem o jakimś setTime dla API.

@poniatowski: nie za bardzo wiem o jakim "zabijaniu" serwera mówisz. Jeżeli myślisz, że zapisanie 2,000 rekordów "zabija" serwer to jesteś w błędzie. Jeżeli mimo wszystko "nie chcesz zabijać" serwera to Twój pierwotny pomysł był całkiem trafiony. Klient "wysyła" plik na serwer i... na tym jego rola się kończy. Ty ten plik zapisujesz gdzieś w danym katalogu, dodajesz w tabelce odpowiedni wpis dla tego pliku (ilość linii znalezionych, zaimportowanych czy co tam jeszcze chcesz) i cron sobie sprawdza czy są jakieś pliki do zaimportowania i importuje w ustawionym przez Ciebie czasie. Przykładowo ustawiasz CRON'a na 5 min żeby sprawdzał czy coś jest (5 min przykładowe, jeżeli uważasz, że import takich plików CSV będzie trwał dłużej to już zwiększasz przerwę).

Jedyna interakcja z użytkownikiem to wysłanie pliku i to będzie jeden request. Jeżeli zaś chcesz aby użytkownik "widział" postęp importu to przygotowujesz odpowiedni endpoint do "odpytywania" statusu importu i tyle. Niech ten ednpoint zbiera dane z tej tabeli w której przechowujesz liczbę rekordów zaimportowanych.

poniatowski napisał(a):

Witam,

Musze stworzyc skrypt do importowania promocji z pliku CSV. Pliko moze miec kilka set kodow promocyjnych. Musze je zwalidowac, sprawdzic czy np kod ma wlasciwy format itd. Nastepnie zapisac je w bazie danych oraz kazdy wyslac do zewnetrznego serwisu. Czy ktos moze ma jakis pomysl jak zrobic to efektywnie i nie zabic strony? Myslalem, zeby zweryfikowany juz plik zapisac na serwerze i stworzyc skrykt, ktory bedzie dziala w tle. Uzytkownik dostnienie komunikat o ukonczonym imporcie. I w czasie trawania importu nie bedzie w stanie stworzyc kolejnego. Nie moge tez wyslac wszytkich kodow na raz do zewnetrzengo API. Musze zrobic kilka sekund przerwy. Wiec myslalem, zeby uzyc kolejki. Ma to sense? :) Jakies lepsze pomysly?

Ja bym to podzielił na dwa kroki.

1. Po pierwsze import tych kodów z CSV. Plik mający kilkaset lub nawet kilka tysięcy takich danych to jest kilobajt/kilka kilobajtów, także taki upload na pewno Twojej strony nie zabije. Odbierz taki plik od usera w pojedynczym requeście, tak jak mówi @leonpro778, sparsuj kody, i to jest Twój import. Następnie, możesz przeleć wszystkie kody, i sparsuj ich format, jeśli któryś jest nieprawdziwy, to odpowiedz nieudanym responsem (400, 422, lub innym z 4xx). Nie wiem czy musisz je zapisać do bazy, jeśli jedyne co chcesz zrobić to przesłać je potem dalej (jeśli jednak chcesz je zapisać, to teraz jest na to moment). Insert z kilka setkami stringów nie powinien być problemem. Na tą część nie ma sensu robić żadnego progressbara ani powiadamiania o statusie, bo to i tak będzie błyskawiczne.
2. Teraz część integracji z tą inną usługą - mówisz że możesz zrobić request z kilkoma kodami na raz, ale nie więcej, i musisz odczekać kilka sekund (rozumiem 3-5?). To znaczy że dla kilkuset recordów (powiedzmy 300-500), poczekasz sobie 1200-2000 sekund, czyli jakieś 20-35 minut. Tego na pewno nie rób w bezpośredniej reakcji na request (bo większość serverów i przeglądarek i tak go ztimeout'uje) więc tutaj, jak słusznie mówisz @poniatowski najlepiej byłoby zrobić kolejkę. Powinieneś przypisać unikalny identyfikator dla tego run'a (albo nazwa pliku, albo jakiś wygenerowany id z liczbą porządkową, albo cokolwiek innego co jest unikalne). Uruchamiasz proces, przekazując całą listę kodów do wysłania oraz identyfikator, i na kolejce po kolei robisz request z kilkoma kodami, wtedy robisz swojego sleep()a na ile chcesz, i jeśli chcesz zrobić powiadamianie użytkownika, to teraz byłby dobry moment na to żeby w jakiś sposób kolejka odpowiedziała Twojej aplikacji (backendowi) o tym ile kodów już jest przetworzonych w ramach run'a o tym unikalnym id (możesz go zapisać w bazie pod tym id, w sesji lub innym miejscu). Teraz musisz wystawić drugi endpoint, tak jak mówił @leonpro778 który sprawdzi ile jest tych przetworzonych kodów w danym run'ie. Hint: Oczywiście kolejka nie powinna wysyłać response'ów HTTP, ani request'y HTTP nie powinny strzelać do kolejki, wszystko powinno być za pośrednictwem Twojego backendu. Potem wystarczy że Twój front będzie odpytywał ten endpoint co jakiś czas i aktualizował widok.