[gelöst] rsync incremental funktioniert nicht über ssh

[joe2017]

Hallo zusammen,

ich bin mir nicht sicher, ob ich etwas falsch mache. Jedoch funktioniert mein incremental rsync über ssh nicht.
Anbei mein Script:

Code: Alles auswählen

SERVERIP=x.x.x.x
SERVER=server.domain
SSHUSR=admin
SSHCRT=/home/admin/.ssh/id_ecdsa

MYDATE=$(date +%Y-%m-%d)
MYDATEFULL=$(date +%V)
MYDATEINCR=$(date +%W)
MYDATEDAY=$(date +%a)

FULL="BackupFull"
INCR="BackupIncr"

SOURCE=/path/to/source/folder
TARGET=/path/to/destination/folder/${SERVER}

if [[ $MYDATEDAY = "Sa" ]]; then
	if [ ! -d "$TARGET" ]; then
		sudo mkdir -p "$TARGET"
	fi
	sudo rsync -avre "ssh -i $SSHCRT" ${SSHUSR}@${SERVERIP}:"${SOURCE}" "${TARGET}/KW-${MYDATEFULL}_${FULL}"
	else
	if [ ! -d "$TARGET" ]; then 
		sudo mkdir -p "$TARGET"
		sudo rsync -avre "ssh -i $SSHCRT" ${SSHUSR}@${SERVERIP}:"${SOURCE}" "${TARGET}/KW-${MYDATEFULL}_${FULL}"
	else
	sudo rsync -avre "ssh -i $SSHCRT" --link-dest="${TARGET}/KW-${MYDATEFULL}_${FULL}" ${SSHUSR}@${SERVERIP}:"${SOURCE}" "${TARGET}/KW-${MYDATEFULL}_${INCR}_${MYDATE}"
	fi
fi

Wenn ich ein Lokales Backup durchführe funktioniert das mit dem --link-dest.
Wenn ich das Backup von meinem externen Fileserver über ssh hole funktioniert das nicht?

Sieht vielleicht jemand was ich falsch mache? Vielleicht ist es ja nur eine Kleinigkeit die ich übersehen habe.

[mludwig]

Wenn ich das richtig lese, ist Ziel des Links für incrementelleBackups
"${TARGET}/KW-${MYDATEFULL}_${FULL}"

wobei MYDATEFULL lediglich die Wochennummer ist, und bei meinem Date fängt die Woche Montag an. Ein Fullbackup wird aber erst Samstag erstellt, richtig? Demnach gibt es das Zielverzeichnis Mo-Fr. nicht?

[joe2017]

Das ist teilweise richtig. Mein Plan ist folgender.

Am Samstag wird immer ein neuer Order KW-xx_BackupFull angelegt. Ist die Backupplatte voll und muss unter der Woche getauscht werden, muss natürlich wieder ein neuer Ordner KW-xx_BackupFull angelegt werden. Diesen Ordner möchte ich zur überprüfung --link-dest verwenden um anschließend inkementelle Backups KW-xx_BackupInc_2020-09-09 zu erzeugen.

[mludwig]

schon richtig, aber Samstag läuft FullBackup mit z. B. server.name/KW-39_FullBackup" , und am darauf folgenden Montag läuft das Skript erneut - also ist die Variable Wochennummer eins weiter. Damit verweist dein Skript per --linkdest auf ein nicht vorhandenes Vollbackup-Verzeichnis, denn dann ist KW 40

Prüfe also besser, ob es nicht nur $TARGET gibt, sondern das komplette Vollbackup-Verzeichnis ...

[joe2017]

Ach jetzt weiß ich was du meinst. Das werde ich gleich noch mal prüfen.

Aber selbst wenn ich den Test innerhalb der Woche durchführe, werden keine Links erstellt, sondern ein volles Backup.
Oder aber ich hab das jetzt komplett falsch eingeschätzt und es sind tatsächlich Links. Aber meine Festplatte wird immer voller, daher kann es sich icht um Links handeln.
Hast du zufällig den Befehl zum prüfen der Links im Kopf? Ansonsten muss ich da selbst noch mal nachschauen. Normalerweise werden Systemlinks mit ls -l mit angezeigt. Bei den Backups Files sehe ich nicht das es sich um einen Link handelt.

[joe2017]

Ein ganz anderer Ansatz...
Kann man mit RSYNC nicht einfach nur Dateien kopieren welche ein Erstellungs oder Änderungsdatum von heute haben?
Das wäre eigentlich am einfachsten.

[mludwig]

Soweit ich weiss erstellt aber rsync keine symbolischen Links, sondern hard links, falls sich die Datei nicht geändert hat. Mit ls -l sieht man den "reference count" der inode, was bei Dateien mit Hard-links dann entsprechend > 1 sein sollte.

Code: Alles auswählen

martin@mlu-yoga:~$ ls -l links.txt
-rw-r--r-- 1 martin root 406 Jan 17  2020 links.txt
martin@mlu-yoga:~$ ln links.txt linksneu.txt
martin@mlu-yoga:~$ ls -l links.txt
-rw-r--r-- 2 martin root 406 Jan 17  2020 links.txt
martin@mlu-yoga:~$

[mludwig]

In deinem Skript wäre es sehr sinnvoll, das Vollbackup immer Montags zu machen, den Rest der Woche inkrementell.

Du hättest dann in deinem Skript jeden Montag Vollbackup, plus max. 6 inkrementelle Backups die Woche? Und die folgende Woche wieder ein neues Vollbackup.

Ansonsten kann ich dir noch rsnapshot empfehlen, welches sich von allein um Verzeichnisse, Anzahl der Generationen und Versionen kümmert. Bei Rsync reicht ja im Prinzip ein Vollbackup aus, der Rest immer inkrementell. rsnapshot arbeitet so 1. Backup voll, der Rest immer Inkrementell.

[joe2017]

Hi mludwig,

danke für die Vorschläge. Das werde ich mir mal anschauen.
Das mit Montag muss ich mal checken ob von der Dauer meiner Backups funktioniert. Aber das würde einiges vereinfachen.

[joe2017]

Soweit ich weiss erstellt aber rsync keine symbolischen Links, sondern hard links, falls sich die Datei nicht geändert hat. Mit ls -l sieht man den "reference count" der inode, was bei Dateien mit Hard-links dann entsprechend > 1 sein sollte.

Code: Alles auswählen

martin@mlu-yoga:~$ ls -l links.txt
-rw-r--r-- 1 martin root 406 Jan 17  2020 links.txt
martin@mlu-yoga:~$ ln links.txt linksneu.txt
martin@mlu-yoga:~$ ls -l links.txt
-rw-r--r-- 2 martin root 406 Jan 17  2020 links.txt
martin@mlu-yoga:~$

Wenn ich rsync lokal durchführe ist das genau so wie du beschrieben hast. Wenn ich rsync auf einen Remote Server durchführe, steht bei allen Dateien eine "1".
Es werden jedoch alle Dateien neu kopiert.

[mludwig]

Vielleicht fehlen ihm beim Remote Backup irgendwo trailing slashes (abschließender / am ende des Pfades für --link-dest und/oder SourceDir), oder die Variablen deines Skripts werden remote nicht korrekt übergeben ... da bin ich aber nicht so der Experte.

Was außerdem sein kann: --link-dest funktioniert nur, wenn die Datei inkl. aller Attribute identisch bleibt. Dazu wird die Datei mit Attributen aus dem letzen Backup mit der aktuellen Datei verglichen. Haben denn die Dateien im Vollbackup die gleichen Rechte etc wie die Original-Dateien des Remote-Servers? (mal per ls -la vergleichen!) Das geht eigentlich nur schief, wenn das Backup nicht als root läuft.

[joe2017]

Was außerdem sein kann: --link-dest funktioniert nur, wenn die Datei inkl. aller Attribute identisch bleibt. Dazu wird die Datei mit Attributen aus dem letzen Backup mit der aktuellen Datei verglichen. Haben denn die Dateien im Vollbackup die gleichen Rechte etc wie die Original-Dateien des Remote-Servers? (mal per ls -la vergleichen!) Das geht eigentlich nur schief, wenn das Backup nicht als root läuft.

Also vielleicht liegt hier der Fehler. Meine Originaldateien haben folgende Berechtigungen:

Code: Alles auswählen

-rwrwx---+ 1 DOMAIN\USER DOMAIN\USER-GROUP

Im Backup habden diese folgende Berechtigung

Code: Alles auswählen

-rwrwxrwx 1 root root

Weshalb werden die Attribute nicht übernommen? Gibt es hierfür eine spezielle Syntax? Die Option -AX hat leider auch nicht geholfen.

[mludwig]

Was ist das Dateisystem des USB-Laufwerks? Dateisystem der Quelle? Die Rechte sehen ja erst mal aus wie Windows bzw. Active Directory.

[joe2017]

Da es sich um eine 10TB Platte handelt, habe ich ntfs gewählt. Wahrscheinlich haben wir gerade das Problem gefunden!

Und genau das war mein Problem. Neue USB HD mit EXT4 und zack alles funktioniert.
Vielen Dank mludwig für diesen Gedankenanstoß!