Ładowanie dużych plików w Spring (1-10GB)

Cześć ! Mam task, ładować pliki 1-10GB na cloud storage.

Ja wyłączyłem multipart i zrobiłem prez commons-fileupload i common-io (kod poniżej):

    public URL save(HttpServletRequest request) {
        if (!ServletFileUpload.isMultipartContent(request))
            throw new RequestIsNotMultipartException("Request is not a multipart content");

        try {
            FileItemIterator it = new ServletFileUpload().getItemIterator(request);
            while (it.hasNext()) {
                FileItemStream fis = it.next();
                long[] size = new long[]{0};
                String path = FileUtil.createPath();
                IOUtils.copy(fis.openStream(), new FileOutputStream(path + fis.getName()) {
                    @Override
                    public void write(int arg0) {
                        ++size[0];
                    }
                });
            }
        } catch (FileUploadException | IOException e) {
            throw new RuntimeException("Exception during uploading file into storage");
        }
        return null;
    }

Teraz rozważam opcję żeby się nauczyć Spring Batch i użyć w swoim projekcie. O ile wiem, ten framework służy do pobrania/ładowania plików 1TB+.

Pytanie: Czy warto korzystać ze Spring Batch dla plików 1-10GB albo jednak zostać na jak na moim screenie?

Plik na GCS możesz wysłać bezpośrednio używając np. gcloud, po co chcesz to przepuszczać przez swój serwlet?

No generalnie mamy chmurę OpenStack (ochydna rzecz) i object storage (Swift).

Osoba z banku będzie ładować pliki o rozmiarze 1-10GB na chmurę przez aplikację. Na moim pierwszym projekcie robiliśmy to przez multipart, ale tam były pliki do 50mb. było tak że ładujemy zpoczątku na serwer, a potem do Chmury.

Jednak z tego co rozumiem, mówisz że można wprost to chmury przetwarzać plik(ale jest duży, więc będzie kawałkami przesyłany)

Jakie podejście uważasz za najlepsze?

Dzięki :)

Kiedy masz młotek, wszystko wyglada jak gwóźdź. Przedstawione rozwiązanie nie broni się chociażby z powodu dużego zużycia pamięci. Moim zdaniem pliki powinny być wrzucane „gdzieś”, skąd jakimś cronem byłyby przesyłane na GSC, tj. bez żadnego pośredniego interfejsu webowego.

Może nawet da się zestawić automatyczny import z Google Drive https://philipplies.medium.com/transferring-data-from-google-drive-to-google-cloud-storage-using-google-colab-96e088a8c041

Na pewno szukałbym prostego rozwiązania wokół gsutil.

Spring Batch nie służy do ładowania plików 10Gb tylko do szeroko rozumianego przetwarzania danych. Wrzuca się mu jakieś dane, bierze je po części, przetwarza, i na koniec gdzieś przenosi. Tyle. Jestem prawie pewien że gdybyś na raz próbował załadować cały plik 10gb w pamięci to apka dostała by zawału.