5 najboljih alata za pronalaženje i brisanje dupliciranih datoteka u Linuxu


Organiziranje vašeg kućnog imenika ili čak sustava može biti posebno teško ako imate naviku preuzimanja raznih stvari s interneta pomoću upravitelja preuzimanja.

Često možete otkriti da ste preuzeli isti mp3, pdf i epub (i sve druge vrste ekstenzija datoteka) i kopirali ih u različite direktorije. To može uzrokovati da vaši imenici postanu zatrpani svim vrstama beskorisnih dupliciranih stvari.

U ovom vodiču naučit ćete kako pronaći i izbrisati duplicirane datoteke u Linuxu pomoću rdfind, fdupes, i rmlint alata naredbenog retka , kao i korištenje GUI alata pod nazivom DupeGuru i FSlint.

Oprez – uvijek pazite što brišete na svom sustavu jer to može dovesti do neželjenog gubitka podataka. Ako koristite novi alat, prvo ga isprobajte u testnom direktoriju gdje brisanje datoteka neće biti problem.

1. Rdfind – Pronađite duplicirane datoteke u Linuxu

Rdfind dolazi od pronalaženja suvišnih podataka, besplatnog alata naredbenog retka koji se koristi za pronalaženje dupliciranih datoteka u ili unutar više direktorija. Rekurzivno skenira direktorije i identificira datoteke koje imaju identičan sadržaj, omogućujući vam da poduzmete odgovarajuće radnje poput brisanja ili premještanja duplikata.

Rdfind koristi algoritam za klasificiranje datoteka i otkriva koji je od duplikata izvorna datoteka, a ostale smatra duplikatima.

Pravila rangiranja su:

  • Ako je A pronađen tijekom skeniranja ulaznog argumenta ranijeg od B, A je više rangiran.
  • Ako je A pronađen na dubini manjoj od B, A je više rangiran.
  • Ako je A pronađen ranije od B, A je više rangiran.

Posljednje pravilo posebno se koristi kada se dvije datoteke nalaze u istom direktoriju.

Instalirajte Rdfind na Linux

Da biste instalirali rdfind u Linux, upotrijebite sljedeću naredbu prema vašoj distribuciji Linuxa.

sudo apt install rdfind         [On Debian, Ubuntu and Mint]
sudo yum install rdfind         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rdfind  [On Gentoo Linux]
sudo apk add rdfind             [On Alpine Linux]
sudo pacman -S rdfind           [On Arch Linux]
sudo zypper install rdfind      [On OpenSUSE]    

Za pokretanje rdfind na direktoriju jednostavno upišite rdfind i ciljni direktorij.

rdfind /home/user

Kao što vidite rdfind će spremiti rezultate u datoteku pod nazivom results.txt koja se nalazi u istom direktoriju iz kojeg ste pokrenuli program. Datoteka sadrži sve duplicirane datoteke koje je rdfind pronašao. Možete pregledati datoteku i ručno ukloniti duple datoteke ako želite.

Još jedna stvar koju možete učiniti je koristiti opciju -dryrun koja će dati popis duplikata bez poduzimanja bilo kakve radnje:

rdfind -dryrun true /home/user

Kada pronađete duplikate, možete ih zamijeniti čvrstim vezama.

rdfind -makehardlinks true /home/user

A ako želite izbrisati duplikate možete pokrenuti.

rdfind -deleteduplicates true /home/user

Za provjeru drugih korisnih opcija rdfind možete koristiti rdfind priručnik.

man rdfind 

2. Fdupes – Skenirajte duplicirane datoteke u Linuxu

Fdupes je još jedan program naredbenog retka koji vam omogućuje prepoznavanje dupliciranih datoteka na vašem sustavu. Pretražuje direktorije rekurzivno, uspoređujući veličine datoteka i sadržaj kako bi identificirao duplikate.

Koristi sljedeće metode za određivanje dupliciranih datoteka:

  • Usporedba djelomičnih md5sum potpisa
  • Uspoređivanje potpunih md5sum potpisa
  • provjera usporedbe bajt po bajt

Baš kao rdfind, ima slične opcije:

  • Traži rekurzivno
  • Isključi prazne datoteke
  • Prikazuje veličinu dupliciranih datoteka
  • Odmah izbrišite duplikate
  • Izuzmi datoteke s drugim vlasnikom

Instalirajte Fdupes u Linuxu

Da biste instalirali fdupes u Linuxu, upotrijebite sljedeću naredbu prema vašoj distribuciji Linuxa.

sudo apt install fdupes         [On Debian, Ubuntu and Mint]
sudo yum install fdupes         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fdupes  [On Gentoo Linux]
sudo apk add fdupes             [On Alpine Linux]
sudo pacman -S fdupes           [On Arch Linux]
sudo zypper install fdupes      [On OpenSUSE]    

Sintaksa Fdupes slična je sintaksi rdfind. Jednostavno upišite naredbu nakon koje slijedi imenik koji želite skenirati.

fdupes <dir>

Za rekurzivno pretraživanje datoteka, morat ćete navesti -r opciju poput ove.

fdupes -r <dir>

Također možete navesti više direktorija i navesti dir koji će se pretraživati rekurzivno.

fdupes <dir1> -r <dir2>

Da bi fdupes izračunao veličinu dupliciranih datoteka koristite opciju -S.

fdupes -S <dir>

Za prikupljanje sažetih informacija o pronađenim datotekama koristite opciju -m.

fdupes -m <dir>

Konačno, ako želite izbrisati sve duplikate koristite -d opciju poput ove.

fdupes -d <dir>

Fdupes će pitati koju od pronađenih datoteka treba izbrisati. Morat ćete unijeti broj datoteke:

Rješenje koje se definitivno ne preporučuje je korištenje opcije -N koja će rezultirati očuvanjem samo prve datoteke.

fdupes -dN <dir>

Da biste dobili popis dostupnih opcija za korištenje s fdupes pregledajte stranicu pomoći pokretanjem.

fdupes -help

3. Rmlint – Uklonite duple datoteke

Rmlint je alat naredbenog retka koji se koristi za pronalaženje i uklanjanje duplikata i datoteka sličnih vlaknima u Linux sustavima. Pomaže u prepoznavanju datoteka s identičnim sadržajem, kao i raznih oblika redundantnosti ili pražnjenja, kao što su prazne datoteke, neispravne simboličke veze i datoteke siroče.

Instalirajte Rmlint na Linux

Da biste instalirali Rmlint u Linux, upotrijebite sljedeću naredbu prema vašoj distribuciji Linuxa.

sudo apt install rmlint         [On Debian, Ubuntu and Mint]
sudo yum install rmlint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/rmlint  [On Gentoo Linux]
sudo apk add rmlint             [On Alpine Linux]
sudo pacman -S rmlint           [On Arch Linux]
sudo zypper install rmlint      [On OpenSUSE]    

4. dupeGuru – Pronađite duplicirane datoteke u Linuxu

dupeGuru je alat otvorenog koda i više platformi koji se može koristiti za pronalaženje dupliciranih datoteka u sustavu Linux. Alat može skenirati nazive datoteka ili sadržaj u jednoj ili više mapa. Također vam omogućuje da pronađete naziv datoteke koji je sličan datotekama koje tražite.

dupeGuru dolazi u različitim verzijama za Windows, Mac i Linux platforme. Njegova značajka algoritma za brzo neizrazito podudaranje pomaže vam pronaći duplicirane datoteke u roku od jedne minute. Prilagodljiv je, možete povući točne duplicirane datoteke koje želite i izbrisati neželjene datoteke iz sustava.

Instalirajte dupeGuru na Linux

Da biste instalirali dupeGuru u Linux, upotrijebite sljedeću naredbu prema vašoj distribuciji Linuxa.

sudo apt install dupeguru         [On Debian, Ubuntu and Mint]
sudo yum install dupeguru         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/dupeguru  [On Gentoo Linux]
sudo apk add dupeguru             [On Alpine Linux]
sudo pacman -S dupeguru           [On Arch Linux]
sudo zypper install dupeguru      [On OpenSUSE]    

5. FSlint – Traženje dupliciranih datoteka za Linux

FSlint je besplatni uslužni program koji se koristi za pronalaženje i čišćenje različitih oblika dlačica na datotečnom sustavu. Također izvješćuje o dupliciranim datotekama, praznim imenicima, privremenim datotekama, dvostrukim/konfliktnim (binarnim) imenima, lošim simboličkim vezama i mnogim drugim. Ima i način naredbenog retka i GUI.

Međutim, važno je napomenuti da je od mojeg prekida znanja u rujnu 2022. FSlint posljednji put ažuriran 2013. i možda se neće aktivno održavati ili biti kompatibilan s novijim distribucijama Linuxa.

Instalirajte FSlint na Linux

Da biste instalirali FSlint u Linux, upotrijebite sljedeću naredbu prema vašoj distribuciji Linuxa.

sudo apt install fslint         [On Debian, Ubuntu and Mint]
sudo yum install fslint         [On RHEL/CentOS/Fedora and Rocky/AlmaLinux]
sudo emerge -a sys-apps/fslint  [On Gentoo Linux]
sudo apk add fslint             [On Alpine Linux]
sudo pacman -S fslint           [On Arch Linux]
sudo zypper install fslint      [On OpenSUSE]    

Zaključak

Ovo su vrlo korisni alati za pronalaženje dupliciranih datoteka na vašem Linux sustavu, ali trebali biste biti vrlo oprezni kada brišete takve datoteke.

Ako niste sigurni trebate li datoteku ili ne, bilo bi bolje izraditi sigurnosnu kopiju te datoteke i zapamtiti njezin direktorij prije brisanja. Ako imate pitanja ili komentara, pošaljite ih u odjeljku za komentare u nastavku.