Taki oto case mnie zastał: mamy duży plik pod adresem xd.pl/plik.jpg
no i teraz ten plik trzeba pobrać i wysłać pod endpoint niexd.pl/put
ten pliczek jeest na tyle duży, że do pamięci ani na dysk maszyny go nie pobiorę, stąd też trzeba by zrobić coś na zasadzie: czytam sobie chunk z responsa get z plikiem, ten chunk sobie streamuje w jakiś sposób na ednpoint. Tldr; bycie niejako takim proxy między responsem z urla a endpointem.
Próbowałem z requests. Nie obsługują putów streamowanych. Requests toolbelt - mają obsługę streamowanych putów i nawet coś takiego jak FileFromURLWrapper, ale tu z kolei nie pobiera mi kompletnego pliku i i tak żre pamięć. Jest jeszcze dugong, który wyglądał obiecująco z coroutines
, ale nie udało mi się sprawić, by zadziałał.
Czy macie jakieś pomysły, jak to rozwiązać? Nie musi być Python - może być dowolny inny język, ostatecznie nawet coś z unixowych rzeczy, ale to raczej wolałbym zachować jako naprawdę ostateczność.