du bringt falsche Zahlen

[Huck Fin]

Hi,
ich hab ein Problem mit dem Befehl du
Ich habe 2 Verzeichnisse.
/home/usb/daten (externe USB Platte)
/home/users/daten (interne HDD)
auf der internen sind schon Daten und am Anfang stimmen alle Zahlen.

Code: Alles auswählen

Backup gestartet am 15.09.2008-13:51
Backup Ziel =  /home/usb
Daten in Quelle            171770 /home/users/daten
Daten im Ziel              171770 /home/usb/daten
Anzahl Dateien in Quelle        345
Anzahl Dateien im Ziel          345
Backup fertig 15.09.2008-13:52

wenn ich Daten in den ordner /home/users/daten kopiere und diesen dann mit
rsync -aq --delete $quelle $ziel
kopiere, bekomme ich anschliessend immer unterschiedliche Zahlen.

Code: Alles auswählen

Backup gestartet am 15.09.2008-14:22
Backup Ziel =  /home/usb
Daten in Quelle            475324 /home/users/daten
Daten im Ziel              475280 /home/usb/daten
Anzahl Dateien in Quelle        4812
Anzahl Dateien im Ziel          4812
Backup fertig 15.09.2008-14:22

Die Dateien sind absolut identisch...
Ich versteh den Fehler nicht.

[ip]

hi,

kann an unterschiedlichen blockgrössen, verwaltungsdaten,... der beiden devices liegen!

mfg
-ip-

[Huck Fin]

Hi,
danke für die Info.
Es sind beides 500 GB Festplatten.
Die eine ist USB, die andere SATA
ein diff -r quelle ziel ergab, dass alles identisch ist.
Ich werd das mal überprüfen mit der Blockgrösse.
gibt es noch ne andere Möglichkeit, die Verzeichnisse sicher zu vergleichen ?
Es geht mir um ein Backup-Log.

Oder mach ich beim Befehl DU was falsch ?
du -sbk quelle ziel

[armin]

Lass mal das "k" bei deinem du Aufruf weg. Vielleicht ändert es was. Blockgröße 1K != Blockgröße 1

[Huck Fin]

ändert leider alles nix am ergebniss.
und blocksize ist soweit ich das sehe überall 512

[rendegast]

vielleicht gibt es Ordner mit unterschiedlicher Größe, /lost+found/?

Code: Alles auswählen

find Quelle -type d -ls
find Ziel -type d -ls

[Simmel]

ändert leider alles nix am ergebniss.
und blocksize ist soweit ich das sehe überall 512

Versuch es mal mit dem Schalter -h (--human-readable) anstatt -k

Code: Alles auswählen

simmel@monolith:~$ du -sbh /etc/passwd /home/simmel
1.9K    /etc/passwd
48G     /home/simmel

[Huck Fin]

hab ich probiert mit -sbh, sbk, sch, alles mit dem selben Ergebniss.

Ich überlege, ob ich mein Backup mit dd machen soll.
Aber dann müsste ich die Seriennummer der USB-HDD auslesen für ne log-datei.
k.a. wie das geht mit lsusb.
Weis auch nicht, ob das ne gute idee ist...

[cirrussc]

Aber dann müsste ich die Seriennummer der USB-HDD auslesen für ne log-datei.
k.a. wie das geht mit lsusb.

Häää?

Es gibt unzählige Möglichkeiten ein Backup zu machen: partimage, mondo, cp...

gibt es noch ne andere Möglichkeit, die Verzeichnisse sicher zu vergleichen ?

Dateien zu mindest mit md5sum oder sha1sum.

Die Dateisysteme auf den Platten spielen sicherlich auch eine Rolle, deren Blockgöße wurde hier auch gemeint.
Aber wenn die Prüfsummen korrekt sind, ist doch alles ok.

[neuss]

du - schätzt Platzverbrauch von Dateien

du ist in keinster Weise dafür gedacht Dateien zu vergleichen und demzufolge entsprechend ungeeignet, ein Backup auf Konsistenz zu prüfen.

[Huck Fin]

o.k.
Danke für die Info.

Gibt es ne Alternative zu du ?

[cirrussc]

Du könntest wie gesagt, die Checksummen prüfen. Mit diff & co lässt sich eventuell auch was machen.
Aber mal ehrlich, wenn die jetzt fehlerfrei übertragen wurden, ist das doch kaum notwendig.

[Huck Fin]

Ich prüfe das ganze nochmal mit diff -r quelle ziel

Aber wie das so ist...
Man hätte halt gerne noch den Vergleich der Datengrösse.
Weil nix ist schlimmer wie ein Backup, wo nachher Daten fehlen...
Wenn ich was finde, poste ich das hier...

[cosmac]

hi,

mit diff bekommst du das alles, es wird Byte-weise verglichen und wenn nur eins fehlt, gibt's eine Meldung. Wenn eine ganze Datei fehlt, gibt's natürlich auch eine Meldung. Zuverlässiger geht's doch eigentlich nicht.

Alle Tricks mit md5sum und du usw. dienen doch nur dazu, den Zeitaufwand für den vollständigen Vergleich zu reduzieren. Noch so ein Trick:

Code: Alles auswählen

ls -laR /original > /tmp/ls-o
ls -laR /backup > /tmp/ls-b
diff /tmp/ls-o /tmp/ls-b

[Meillo]

mit diff bekommst du das alles, es wird Byte-weise verglichen [...]

Nein. `diff' ist zum zeichenweisen Vergleich von Textdateien. `cmp' vergleicht Binärdateien.

Mein Vorschlag:
- mit `ls' bzw. `find' und `diff' die Vollständigkeit der Dateien prüfen
- mit `cmp' oder `md5sum' die Integrität der Dateien prüfen

Wenn das passt, dann ist alles komplett gespiegelt.

[cosmac]

mit diff bekommst du das alles, es wird Byte-weise verglichen [...]

Nein. `diff' ist zum zeichenweisen Vergleich von Textdateien. `cmp' vergleicht Binärdateien.

o.k., diff ist streng genommen nicht das richtige Werkzeug, aber kann cmp irgendwas, was diff nicht kann? Bzw. kann es Probleme mit diff und Binärdateien geben? Immerhin ist dank UTF ein Zeichen nicht mehr ein Byte, andererseits sagt diff ggf.: "Binary files foo and bar differ".

Für den Backup-Vergleich kennt diff die praktische Option -r, cmp nicht und faszinierenderweise ist diff auch noch schneller:

Code: Alles auswählen

tassi:~# cp -p /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/
tassi:~# time diff /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/linux-source-2.6.25.tar.bz2 

real    0m3.787s
user    0m0.472s
sys     0m0.664s
tassi:~# time cmp /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/linux-source-2.6.25.tar.bz2 

real    0m5.935s
user    0m1.376s
sys     0m0.584s

[Huck Fin]

Das mit md5sum hört sich gut an.
Aber kann man damit quelle + ziel überprüfen ?
Sieht sehr kompliziert aus...

[Meillo]

mit diff bekommst du das alles, es wird Byte-weise verglichen [...]

Nein. `diff' ist zum zeichenweisen Vergleich von Textdateien. `cmp' vergleicht Binärdateien.

o.k., diff ist streng genommen nicht das richtige Werkzeug

Ist das nicht Grund genug? Für mich schon.

[...] und faszinierenderweise ist diff auch noch schneller:

Code: Alles auswählen

tassi:~# cp -p /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/
tassi:~# time diff /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/linux-source-2.6.25.tar.bz2 

real    0m3.787s
user    0m0.472s
sys     0m0.664s
tassi:~# time cmp /usr/src/linux-source-2.6.25.tar.bz2 /dev/shm/linux-source-2.6.25.tar.bz2 

real    0m5.935s
user    0m1.376s
sys     0m0.584s

Bei der Systemzeit ist `cmp' aber schneller ... bist du sicher, dass `diff' auch bei häufigen Tests schneller ist?
Denn `cmp' ist _sehr viel_ simpler aufgebaut als `diff'.


However ... diese Diskussion betrifft das eigentliche Problem des Threads nicht.

[Meillo]

Das mit md5sum hört sich gut an.
Aber kann man damit quelle + ziel überprüfen ?
Sieht sehr kompliziert aus...

Du machst es in etwa so:

Code: Alles auswählen

find /path/to/orig -exec md5sum '{}' >> /tmp/orig.md5sum \;
find /path/to/backup -exec md5sum '{}' >> /tmp/backup.md5sum \;
diff -u /tmp/orig.md5sum /tmp/backup.md5sum

... dann hast du den Check auf Vollständigkeit auch gleich drin.

(btw: das ist ungetestet)

[cirrussc]

mit diff bekommst du das alles, es wird Byte-weise verglichen [...]

Nein. `diff' ist zum zeichenweisen Vergleich von Textdateien. `cmp' vergleicht Binärdateien.

Gibt ja noch rdiff.