[Wie] Viele Files und Ordner auf 2 Server synchronisieren

Sun · Beitrag von **Sun** » 04.10.2007 11:51:18

Hallo Gemeinde,
ich möchte mit 2 Servern ein RoudnRobin LoadBalacing machen über meinen DNS. Das heißt eine Subdomain mit 2 Ips eintragen. Soweit kein ding.

Nun das Problem:
Ich habe auf dem Quellserver rund 10.000 Files in 35.000 Ordnern liegen. Jetzt wollte ich das per rsync machen aber das geht nicht. Bei sovielen Ordnern und Files kotzt der da stundenlang rum.
Das weitere problem ist dass wenn cih einen Download online stelle das auf beiden Servern liegen muss. Sonst entscheidet sich RoundRobin vielleicht für einen Server auf dem das File noch garnicht liegt da eine Synchro ja wie gesagt stunden dauert.

Habt ihr noch ideen wie ich das lösen könnte?

//Edit: Beide Systeme mit Debian Etch, Apache 1.3

brill · Beitrag von **brill** » 04.10.2007 12:16:10

braucht rsync beim ersten mal so lange oder jedesmal?

Brill

guenni81 · Beitrag von **guenni81** » 04.10.2007 12:42:15

brill hat geschrieben:braucht rsync beim ersten mal so lange oder jedesmal?

Brill

Nur beim ersten mal. Anschließend werden nur noch die Änderungen übertragen...

Mictlan · Beitrag von **Mictlan** » 04.10.2007 12:44:08

schreib dir doch ein script dass als input 1. den filenamen bekommt und als 2. parameter den relativen pfad in einem ordnerwirrwarr

das script lass einfach das file anhand von dem relativen pfad reinkopiern.... so brauchst net syncen...

brill · Beitrag von **brill** » 04.10.2007 15:16:05

guenni81 hat geschrieben:
brill hat geschrieben:braucht rsync beim ersten mal so lange oder jedesmal?

Brill
Nur beim ersten mal. Anschließend werden nur noch die Änderungen übertragen...

Wenn es nur beim Ersten mal lange Dauert würde cih das durchlaufen lassen und dann geht es schnell und das Problem ist vom Tisch

armin · Beitrag von **armin** » 04.10.2007 15:20:25

Gerade das ist ja der Sinn von rsync.
Beim ersten mal müssen ja natürlich alle Dateien kopiert werden - das dauert seine Zeit.

brill · Beitrag von **brill** » 04.10.2007 15:24:11

Trigger. hat geschrieben:Gerade das ist ja der Sinn von rsync.
Beim ersten mal müssen ja natürlich alle Dateien kopiert werden - das dauert seine Zeit.

mir ist das ja schon klar ich wollte halt nur gerne wissen ob das eben bei Sun auch der Fall ist, nicht das vielleicht ein ganz anderes Problem vorliegt.

Brill

armin · Beitrag von **armin** » 04.10.2007 15:26:02

Asooooo, hehe

Ja, dann sollte er das einfach mal ausprobieren und berichten...

Sun · Beitrag von **Sun** » 05.10.2007 08:35:46

Hallo ihr lieben,
das Problem bei mir ist die ganzen Daten binär sind. Irgendwie klappt da da mit dem Abgleich nicht so richtig. Das Script dauert also bei jedem aufruf so lange und nicht nur beim ersten mal.

Mictlan · Beitrag von **Mictlan** » 05.10.2007 10:21:29

Mictlan hat geschrieben:schreib dir doch ein script dass als input 1. den filenamen bekommt und als 2. parameter den relativen pfad in einem ordnerwirrwarr

das script lass einfach das file anhand von dem relativen pfad reinkopiern.... so brauchst net syncen...

dann bleibt dir wohl nur noch das....

MSfree · Beitrag von **MSfree** » 05.10.2007 10:30:52

Sun hat geschrieben:das Problem bei mir ist die ganzen Daten binär sind. Irgendwie klappt da da mit dem Abgleich nicht so richtig. Das Script dauert also bei jedem aufruf so lange und nicht nur beim ersten mal.

Mit Binärdaten hat das nichts zu tun.

rsync erstellt serverseitig unf clientseitig eine Dateiliste, die serverseitige wird an den Client übertragen und mit der clientseitigen auf Änderungen verglichen. Die geänderten Dateien werden übetragen.

Alleine das Erstellen der beiden Dateilisten kann bei sehr vielen Dateien bereits Minuten dauern. Das läßt sich sehr leicht mit einer Aufruf von find /verzeichnis verifizieren, was anderes macht rsync nämlich auch nicht und ein selbst gestricktes Skript würde an der gleichen Hürde klemmen.

Wenn man find zweimal hintereinander aufruft, geht der 2. Aufruf natürlich sehr viel schneller, weil noch der ganz Dateibaum im Cache sitzt. Das find-Experiment sollte man also nicht unmittelbar im Anschluß an ein ausgeführtes rsync machen.