Ściągnięcie danych z serwisu

Ściągnięcie danych z serwisu
RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
0

Witajcie,

Ktoś udostępnił mi dane na jednym z serwisów. To są dane darmowe, udostępnione też przez sektor publiczny.

Problem: plików jest koło 40 000. Razem 2 TB. Klikanie jeden po jednym w celu ściągnięcia nie wchodzi w grę. Gdy robię "ściągnij wszystko", robi mi wielki plik i oczywiście podczas ściągania też się wysypuje. Bo ta instytucja ma ograniczony Bandwith do 1000 MB/s. Dosłownie katastrofa.

Jest w stanie ktoś pomóc przez js ?

Mogę udostępnić link i hasło, tylko aby admin mnie nie wykopał tutaj.

Help!

Ten serwis to Nextcloud.

OK, chyba sobie sam poradziłem. Zauważyłem, że można ściągać po urlach, kiedy jestem zalogowany do serwisu.

Teraz listę plików i...

Tylko jak zapodać tę listę plików przeglądarce. Uget odpada.

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 480
0

Skryptem sobie strzel, np. Powershellowym 😛

Musisz w nagłówku tylko token dodać po autoryzacji, tablica URLi, foreach, strzał getem dla każdego i basta.

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
1

Nie umiem. Ja tylko bidnym userem jestem :)

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 480
1

Panie to leć do GPT, napisz mu tak: I need to download list of resources from given URLs. Request requires authorization token. Do it via Powershell. Bonus points for being able to provide directory for downloads.

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
0

Ależ on mi nie przyjmie urli takich jak poniżej, Panie :)

"https://irdatcloud.regione.fvg.it/index.php/s/NcNCCgTXZstCfn3/download?path=%2F&files=Ort_D4570013745_005005.laz"

Już to mam gdzie indziej, bo próbuję wszelkich wtyczek: "to nie jest url" :)

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 480
0

To napisz skrypt w przeglądarce, który zaciągnie Ci te wszystkie linki do zmiennej i click() na każdym i elo 😛

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
0
rjakubowski napisał(a):

To napisz skrypt w przeglądarce, który zaciągnie Ci te wszystkie linki do zmiennej i click() na każdym i elo 😛

Dobrze, Panowie, to trzy przykładowe pliki, bo to za dużo jak dla mnie.

https://irdatcloud.regione.fvg.it/index.php/s/NcNCCgTXZstCfn3/download?path=%2F&files=Ort_D4570013745_005005.laz
https://irdatcloud.regione.fvg.it/index.php/s/NcNCCgTXZstCfn3/download?path=%2F&files=Ort_D4570013755_005005.laz
https://irdatcloud.regione.fvg.it/index.php/s/NcNCCgTXZstCfn3/download?path=%2F&files=Ort_D4570013750_005005.laz

hasło: QcTgYHfTWK

Nie boje się udostępnić tego publicznie, bo to nie żadne sekretne pliki.

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
0

Panowie, zapłacę, jeśli ktoś pomoże.

Cały problem, aby pobrać url z listy .txt, wkleić do paska adresu przeglądarki. Poczekać aż ściągnie.

Potem kolejny, i tak kilka tysięcy razy.

RJ
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 6
0

Już sytuacja nieaktualna. Ktoś pomógł.

RS
  • Rejestracja: dni
  • Ostatnio: dni
  • Postów: 7
1
rjakubowski napisał(a):

Skryptem sobie strzel, np. Powershellowym 😛

Musisz w nagłówku tylko token dodać po autoryzacji, tablica URLi, foreach, strzał getem dla każdego i basta.

Jak dotąd brzmi to ciężko!

Zarejestruj się i dołącz do największej społeczności programistów w Polsce.

Otrzymaj wsparcie, dziel się wiedzą i rozwijaj swoje umiejętności z najlepszymi.