Wiem że to forum programistyczne ale jakoś tutaj macie patenty na wszystko tak więc zapytam.
Jak by można wyszukać w folderze wszystkie obrazki które mają swoje duplikaty ? I ewentualnie usunąć duplikaty a czasem jest jeden a czasem kilka?
Mam takie problem ponieważ z kilkunastu tysięcy obrazków dużo jest IDENTYCZNYCH ale o innych nazwach.
Pozdro
Jak na moje to pomyśleć coś z tym:
1: rozmiar pliku, ale obawiam się, że mogłyby zostać usunięte różne zdjęcia gdybyś użył tylko tego kryteria
2: data utworzenia i modyfikacji - oryginał i duplikat mają te samą date modyfikacji, ale inną utworzenia (tez chyba jakiś % ryzyka)
3: sumy kontrolne?(nie jestem pewien)
Ja to robie sumami kontrolnymi, na przykład (to będzie razem z podkatalogami):
find "$katalog" -exec md5sum '{}' ';' 2> /dev/null | sort | uniq --all-repeated=separate -w32
-- można też użyc innych sum (zamiast md5), ale na razie się jeszcze nie zawiodłem... :)
@koszalek-opalek: bardzo dobry sposób, warto żeby został na forum, jednak OP ma Windowsa. :P
koszalek-opalek napisał(a):
Ja to robie sumami kontrolnymi, na przykład (to będzie razem z podkatalogami):
find "$katalog" -exec md5sum '{}' ';' 2> /dev/null | sort | uniq --all-repeated=separate -w32
-- można też użyc innych sum (zamiast md5), ale na razie się jeszcze nie zawiodłem... :)
Ok dzięki wielkie tylko powiedz mi jak mam to wywołać , gdzie wpisac bo ja jestem noga w tym programowaniu :- )
Chyba @furious programming miał rację -- @szalon, masz Windowsa? No niestety, to jest polecenie na powłokę linuksową/uniksową, więc bez CygWina (czy czegoś podobnego, nie znam się na Windowsie) się nie obędzie... Polecam, jeśli używasz Windowsa.
koszalek-opalek napisał(a):
Chyba @furious programming miał rację -- @szalon, masz Windowsa? No niestety, to jest polecenie na powłokę linuksową/uniksową, więc bez CygWina (czy czegoś podobnego, nie znam się na Windowsie) się nie obędzie... Polecam, jeśli używasz Windowsa.
Nie no tak pomyślałem że to linux , wszak trochę się go uczę aby "administrować serwer" - tak wiem brzmi to strasznie ale jakoś się trza nauczyć ;D
tak więc na linuxie taką komende wystarczy odpalić i tyle ?
A gdyby chiał zrobić taki patent że nazwę każdego obrazka z tych kilkunastu tysiecy ustawia na "1 + n" ?
Dlaczego. A no bo sporo plikow ma spieprzone polskie znaki i stwierdzilem ze ustawie dla każdego nazwe "1" "2" albo "obrazek1" "obrazek2" itp .. Jak to zrobic?
[bo z polskimi znakami to nie wiem czy chce się bawić ...]
Chce to zrobić od razu przed wrzuceniem na serwer aby pozniej stronke latwiej zooptymalizowac - w zasadzie to "migracja" stronki
Po odpaleniu tej komendy (oczywiście zamiast $katalog wstawiasz katalog, o który Ci chodzi, na przykłąd . jako bieżący) dostajesz spis zestawów identycznych plików pooddzielanych pustymi wierszami, na przykład:
71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.atQcyuEDZo
71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.kNLe7EcwjH
b026324c6904b2a9cb4b88d6d61c81d1 ./e
b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/g
b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/q
b026324c6904b2a9cb4b88d6d61c81d1 ./kat2/f
b026324c6904b2a9cb4b88d6d61c81d1 ./q
b026324c6904b2a9cb4b88d6d61c81d1 ./r
b026324c6904b2a9cb4b88d6d61c81d1 ./w
d41d8cd98f00b204e9800998ecf8427e ./c
d41d8cd98f00b204e9800998ecf8427e ./v
d5f64be6340ae44e364d74b99b61181f ./tmp.JWTIdi2z5g
d5f64be6340ae44e364d74b99b61181f ./tmp.RP9hWdqJzj
Potem możesz sobie z każdego zestawu niepotrzebne pousuwać/przejrzeć... To zresztą też można zautomatyzować...
Ja napisałem sobie prosty skrypt do segregowania zdjęc do folderów z datami (i usuwania duplikatów przy okazji) który działa tak (na wejściu dwa foldery: zdjęcia nieposortowane, zdjęcia posortowane):
somekind napisał(a):
Są do tego gotowe programy.
Na przykład ?
koszalek-opalek napisał(a):
Po odpaleniu tej komendy (oczywiście zamiast
$katalogwstawiasz katalog, o który Ci chodzi, na przykłąd.jako bieżący) dostajesz spis zestawów identycznych plików pooddzielanych pustymi wierszami, na przykład:71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.atQcyuEDZo 71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.kNLe7EcwjH b026324c6904b2a9cb4b88d6d61c81d1 ./e b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/g b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/q b026324c6904b2a9cb4b88d6d61c81d1 ./kat2/f b026324c6904b2a9cb4b88d6d61c81d1 ./q b026324c6904b2a9cb4b88d6d61c81d1 ./r b026324c6904b2a9cb4b88d6d61c81d1 ./w d41d8cd98f00b204e9800998ecf8427e ./c d41d8cd98f00b204e9800998ecf8427e ./v d5f64be6340ae44e364d74b99b61181f ./tmp.JWTIdi2z5g d5f64be6340ae44e364d74b99b61181f ./tmp.RP9hWdqJzjPotem możesz sobie z każdego zestawu niepotrzebne pousuwać/przejrzeć... To zresztą też można zautomatyzować...
Hmn no ale czekaj bo coś mi tu nie gra. Wg tego przykładu co podałeś to pokazuje - owszem duplikaty ale o tym samych nazwach jedynie. A mnie chodziło o to aby wyszukało duplikaty identyczne obrazy ale o zmienionych nazwach. Ot , taki mini burdel
szalon napisał(a):
koszalek-opalek napisał(a):
Po odpaleniu tej komendy (oczywiście zamiast
$katalogwstawiasz katalog, o który Ci chodzi, na przykłąd.jako bieżący) dostajesz spis zestawów identycznych plików pooddzielanych pustymi wierszami, na przykład:71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.atQcyuEDZo 71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.kNLe7EcwjH b026324c6904b2a9cb4b88d6d61c81d1 ./e b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/g b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/q b026324c6904b2a9cb4b88d6d61c81d1 ./kat2/f b026324c6904b2a9cb4b88d6d61c81d1 ./q b026324c6904b2a9cb4b88d6d61c81d1 ./r b026324c6904b2a9cb4b88d6d61c81d1 ./w d41d8cd98f00b204e9800998ecf8427e ./c d41d8cd98f00b204e9800998ecf8427e ./v d5f64be6340ae44e364d74b99b61181f ./tmp.JWTIdi2z5g d5f64be6340ae44e364d74b99b61181f ./tmp.RP9hWdqJzjPotem możesz sobie z każdego zestawu niepotrzebne pousuwać/przejrzeć... To zresztą też można zautomatyzować...
Hmn no ale czekaj bo coś mi tu nie gra. Wg tego przykładu co podałeś to pokazuje - owszem duplikaty ale o tym samych nazwach jedynie. A mnie chodziło o to aby wyszukało duplikaty identyczne obrazy ale o zmienionych nazwach. Ot , taki mini burdel
Jakich identycznych nazwach? :) Identyczne są sumy MD5! Czyli (prawie) na pewno zawartość pliku... Nazwy są w drugiej kolumnie...
koszalek-opalek napisał(a):
szalon napisał(a):
koszalek-opalek napisał(a):
Po odpaleniu tej komendy (oczywiście zamiast
$katalogwstawiasz katalog, o który Ci chodzi, na przykłąd.jako bieżący) dostajesz spis zestawów identycznych plików pooddzielanych pustymi wierszami, na przykład:71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.atQcyuEDZo 71754d8d6fa1a6bdbca3565d590f6cc0 ./tmp.kNLe7EcwjH b026324c6904b2a9cb4b88d6d61c81d1 ./e b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/g b026324c6904b2a9cb4b88d6d61c81d1 ./kat1/q b026324c6904b2a9cb4b88d6d61c81d1 ./kat2/f b026324c6904b2a9cb4b88d6d61c81d1 ./q b026324c6904b2a9cb4b88d6d61c81d1 ./r b026324c6904b2a9cb4b88d6d61c81d1 ./w d41d8cd98f00b204e9800998ecf8427e ./c d41d8cd98f00b204e9800998ecf8427e ./v d5f64be6340ae44e364d74b99b61181f ./tmp.JWTIdi2z5g d5f64be6340ae44e364d74b99b61181f ./tmp.RP9hWdqJzjPotem możesz sobie z każdego zestawu niepotrzebne pousuwać/przejrzeć... To zresztą też można zautomatyzować...
Hmn no ale czekaj bo coś mi tu nie gra. Wg tego przykładu co podałeś to pokazuje - owszem duplikaty ale o tym samych nazwach jedynie. A mnie chodziło o to aby wyszukało duplikaty identyczne obrazy ale o zmienionych nazwach. Ot , taki mini burdel
Jakich identycznych nazwach? :) Identyczne są sumy MD5! Czyli (prawie) na pewno zawartość pliku... Nazwy są w drugiej kolumnie...
Oh wybacz , masz rację
szalon napisał(a):
somekind napisał(a):
Są do tego gotowe programy.
Na przykład ?
Z głowy nie pamiętam, ale hasło "duplicate finder" w Google na pewno zwróci sensowne wyniki.