[gelöst] raid5 wieder zusammenfügen nach FAULTY während sync

[bjog]

Ich habe ein Problem mit einem RAID.

Und zwar habe ich bei einem RAID5 die Festplatten ausgetauscht - SMART-Fehler bewegten mich zu diesem Schritt. Das lief auch ganz gut, jedoch hat beim Synchrosnisieren der neuen 2. Festplatte (nach a kam c dran) plötzlich eine der beiden anderen einen I/O-Fehler von sich gegeben und sie wurde aus dem System ausgehangen. Da die sync einige Stunden gedauert hat, saß ich auch nicht daneben und weiß nicht, ob sie schon fertig war oder nicht.

end_request: I/O error, dev sdb, sector 579211
sd 1:0:0:0 [sdb] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK,SUGGEST_OK

end_request: I/O error, dev sdb, sector 579219
sd 1:0:0:0 [sdb] Result: hostbyte=DID_BAD_TARGET driverbyte=DRIVER_OK,SUGGEST_OK

end_request: I/O error, dev sdb, sector 579211
RAID5: Disk failure on sdb5, disabling device.
RAID5: Operatioon continuing on 2 devices.
RAID5 conf printout:
--- rd:3 wd:2
disk 0, o:1, dev:sda5
disk 1, o:0, dev:sdb5
disk 2, o:1, dev:sdc5
--- rd:3 wd:2
disk 0, o:1, dev:sda5
disk 2, o:1, dev:sdc5

Mit den entsprechenden Zeitangaben davor, allerdings nur in cryptischen Zahlenreihen. Ich hatte a und c zuerst getauscht, weil die beiden als einzige SMART-Fehler angezeigt haben, b war immer sauber. Auf der genannten Partition war eigentlich nur SWAP (als raid5, davor ein raid1 mit /boot), also wundert es mich, dass sich das 3. RAID dann nicht mehr nutzen ließ (dort: /).

Ich bekam nur noch

EXT3-fs error (device md2): ext3_get_inode_loc: unable to read inode block - inode=100925487, block=201850883

usw...

Wenn ich was in der Konsole eingeben wollte, kam nur als Antwort:

/bin/login: error while loading shared libraries: libpam_misc.so.0: cannot open shared object file: Input/output error

Um das System mit Schreibzugriffen nicht weiter zu zerstören, habe ich es ausgeschaltet. Ein Neustart (Nutzung von /boot) klappt auch ohne Probleme, also das /boot-RAID1 und das SWAP-RAID5 laufen. Allerdings startet er das System nur "minimal", da ja das Einbinden von / nicht möglich ist.

mount: mounting /dev/md2 on /root failed: No such device
Begin: Running /scripts/local-bottom ... done.
done.
Begin: Running /scripts/local-bottom ... mount: mounting /dev on /root/dev failed: No such file or directory
done.
mount: mounting /sys on /root/sys failed: No such file or directory
mount: mounting /proc on /root/proc failed: No such file or directory
Target filesystem doesn't have /sbin/init.
No init found. Try passing init= bootarg.

Mit dieser Minimalform kann man auch mdadm ausführen und er liefert mir nach

Code: Alles auswählen

mdadm --examine --scan /dev/sda6
mdadm --examine --scan /dev/sdb6

Code: Alles auswählen

ARRAY /dev/md2 level=raid5 num-devices=3 UUID=......

(Die UUID ist immer gleich bei der jeweiligen Partition und entspricht dem, was zuvor in /etc/mdadm.conf stand, die Datei ist jedoch auf md2...) Außer:

Code: Alles auswählen

mdadm --examine --scan /dev/sdc6

Code: Alles auswählen

ARRAY /dev/md2 level=raid5 num-devices=3 UUID=......
   spares=1

Ich kann die ersten beiden mit gparted-Live-CD auch erkennen. Allerdings statt md0 und md1 dort md126 und md127.
Mit der Knoppix-Live-CD hingegen zeigt er nur die Einzelplatten.

Ein mdadm --assemble --scan blieb leider ohne Auswirkungen. Es gab gar keine Rückmeldung.
mdadm --assemble --scan nochmal unter knoppix, nachdem ich als superuser (sudo -s) aktiv war.

Code: Alles auswählen

mdadm: /dev/md/2_0 assembled from 1 drive and 1 spare - not enough to start the array.
mdadm: No arrays found in config file or automatically

Das scheint daher, weil die Sync wohl noch nciht beednet war (Vermutung), als er sdb aus dem raid geschmissen hat. Jetzt kommt auch etwas anderes bei

Code: Alles auswählen

mdadm --examine --scan /dev/sda6
mdadm --examine --scan /dev/sdb6

ARRAY /dev/md2 num-devices=3 UUID=......

und

Code: Alles auswählen

mdadm --examine --scan /dev/sdc6

ARRAY /dev/md2 num-devices=3 UUID=......
   spares=1

"level=raid5" ist nicht mehr drin.



Nun die Fragen:

• Wie bekomme ich md0 und md1 wieder so benannt? Oder ist das unwichtig?
• Wie bekomme ich md2 da wieder mit rein? Auf den Partitionen selber steht ja noch, dass sie zusammengehören.
• Schaffe ich es überhaupt bei dem zuvor aufgetretenen Fehler?
• Kann ich sda "sagen", dass sdb nicht fehlerhaft ist und dann einfach die sync mit sdc neu anstoßen? (mdadm --examine --scan /dev/sdX6 erweckt diesen Eindruck)

Wenn ihr noch was wissen müsst, beantworte ich gerne die Fragen dazu!

Versuch weiterer Datensammlungen:
-Im BIOS werden alle Platten richtig erkannt (Name, Größe)

(mit Knoppix)
testdisk

Code: Alles auswählen

root@Microknoppix:~# testdisk /list
TestDisk 6.11, Data Recovery Utility, April 2009
Christophe GRENIER <grenier@cgsecurity.org>
http://www.cgsecurity.org
Please wait...
Disk /dev/sda - 2000 GB / 1863 GiB - CHS 243201 255 63, sector size=512
Disk /dev/sdb - 500 GB / 465 GiB - CHS 60801 255 63, sector size=512
Disk /dev/sdc - 2000 GB / 1863 GiB - CHS 243201 255 63, sector size=512

Disk /dev/sda - 2000 GB / 1863 GiB - CHS 243201 255 63
     Partition			Start        End    Size in sectors
 1 * Linux RAID               0   1  1    35 254 63     578277 [md126]
 2 E extended                36   0  1 60800 254 63  976189725
 5 L Linux RAID              36   1  1   327 254 63    4690917 [md127]
   X extended               328   0  1 60800 254 63  971498745
 6 L Linux RAID             328   1  1 60800 254 63  971498682 [md2]
Disk /dev/sdb - 500 GB / 465 GiB - CHS 60801 255 63
     Partition			Start        End    Size in sectors
 1 * Linux RAID               0   1  1    35 254 63     578277 [md126]
 2 E extended                36   0  1 60800 254 63  976189725
 5 L Linux RAID              36   1  1   327 254 63    4690917 [md127]
   X extended               328   0  1 60800 254 63  971498745
 6 L Linux RAID             328   1  1 60800 254 63  971498682 [md2]
Disk /dev/sdc - 2000 GB / 1863 GiB - CHS 243201 255 63
     Partition			Start        End    Size in sectors
 1 * Linux RAID               0   1  1    35 254 63     578277 [md126]
 2 E extended                36   0  1 60800 254 63  976189725
 5 L Linux RAID              36   1  1   327 254 63    4690917 [md127]
   X extended               328   0  1 60800 254 63  971498745
 6 L Linux RAID             328   1  1 60800 254 63  971498682 [md2] 

mdadm -E .......

Auffällig sind die unterschiedlichen Werte bei Working Devices und Failed Devices. Warum?
mdadm -E /dev/md2 funktioniert nicht (mdadm: cannot open /dev/md2: No such file or directory)
Und es sind nur 3 Festplatten, nicht 4. Bei mdadm -E sda1 und ... sda5 zeigt er auch genau 3 an, die alle auf active sync sind

Code: Alles auswählen

root@Microknoppix:~# mdadm -E /dev/sda6
/dev/sda6:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 1935d07f:0a04d40f:c756402b:adf1f930
  Creation Time : Thu Jan 29 19:29:54 2009
     Raid Level : raid5
  Used Dev Size : 485749248 (463.25 GiB 497.41 GB)
     Array Size : 971498496 (926.49 GiB 994.81 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2

    Update Time : Mon Oct 11 00:30:50 2010
          State : clean
 Active Devices : 1
Working Devices : 2
 Failed Devices : 2
  Spare Devices : 1
       Checksum : f4e3145a - correct
         Events : 379646

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     0       8        6        0      active sync   /dev/sda6

   0     0       8        6        0      active sync   /dev/sda6
   1     1       0        0        1      faulty removed
   2     2       0        0        2      faulty removed
   3     3       8       38        3      spare   /dev/sdc6

Code: Alles auswählen

root@Microknoppix:~# mdadm -E /dev/sdb6
/dev/sdb6:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 1935d07f:0a04d40f:c756402b:adf1f930
  Creation Time : Thu Jan 29 19:29:54 2009
     Raid Level : raid5
  Used Dev Size : 485749248 (463.25 GiB 497.41 GB)
     Array Size : 971498496 (926.49 GiB 994.81 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2

    Update Time : Mon Oct 11 00:29:12 2010
          State : clean
 Active Devices : 2
Working Devices : 3
 Failed Devices : 1
  Spare Devices : 1
       Checksum : f4e313e7 - correct
         Events : 379634

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     1       8       22        1      active sync   /dev/sdb6

   0     0       8        6        0      active sync   /dev/sda6
   1     1       8       22        1      active sync   /dev/sdb6
   2     2       0        0        2      faulty removed
   3     3       8       38        3      spare   /dev/sdc6

Code: Alles auswählen

root@Microknoppix:~# mdadm -E /dev/sdc6
/dev/sdc6:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : 1935d07f:0a04d40f:c756402b:adf1f930
  Creation Time : Thu Jan 29 19:29:54 2009
     Raid Level : raid5
  Used Dev Size : 485749248 (463.25 GiB 497.41 GB)
     Array Size : 971498496 (926.49 GiB 994.81 GB)
   Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2

    Update Time : Mon Oct 11 00:30:50 2010
          State : clean
 Active Devices : 1
Working Devices : 2
 Failed Devices : 2
  Spare Devices : 1
       Checksum : f4e3147a - correct
         Events : 379646

         Layout : left-symmetric
     Chunk Size : 64K

      Number   Major   Minor   RaidDevice State
this     3       8       38        3      spare   /dev/sdc6

   0     0       8        6        0      active sync   /dev/sda6
   1     1       0        0        1      faulty removed
   2     2       0        0        2      faulty removed
   3     3       8       38        3      spare   /dev/sdc6

Beim wiki von ubuntuusers.de LINK habe ich mdadm --stop /dev/mdX und dann mdadm --assemble /dev/mdX /dev/sdaX /dev/sdbX --force gefunden, bin da aber im Moment gaaaanz vorsichtig.

[habakug]

Hallo!

Du solltest die Raid mit Hilfe der Live-CD wieder wie gewohnt zusammensetzen:

Code: Alles auswählen

# mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1
# mount /dev/md0 /irgendwo
# mdadm --assemble /dev/md1 /dev/sda2 /dev/sdb2 /dev/sdc2
# mount /dev/md1 /irgendwoanders
usw.

Good luck!

Gruß, habakug

[bjog]

Danke!
Damit benenne ich also die die md126 in md0 und md127 -> md1 wieder um?
(Funktionieren tun sie inzwischen, also zumindest das wichtige md126/0 = /boot)

Und was ist mit md2?
sda6+sdc6 sagen mir ja, dass sda6 geht, sdb6 kaputt/failed ist und sdc6 nur spare.
sdb6 behauptet ganz frech von sich - und ich hoffe es hat recht - dass sda6 und sdb6 ok/working sind und sdc6 spare.

[bjog]

Mit gparted-LIVE-CD als root:

Code: Alles auswählen

root@debian:# mdadm --assemble /dev/md2 /dev/sda6 /dev/sdb6
mdadm: /dev/md2 assembled from 1 drive - not enough to start the array.

sdc6 wollte ich später hinzufügen, weil sync offenbar nicht vollständig durchgelaufen ist und damit mit Sicherheit Datenmüll entstanden wäre.

Code: Alles auswählen

root@debian:# mdadm --assemble /dev/md0 /dev/sda1 /dev/sdb1 /dev/sdc1
mdadm: cannot open device /dev/sda1: Device or resource busy
mdadm: /dev/sda1 has no superblock - assembly aborted

md126 (das eigentliche md0) läuft ja und muss wahrscheinlich nicht umbenannt werden. Oder doch?

"mdadm -D /dev/md2" unter gparted-LIVE-CD klappt leider nicht.

Code: Alles auswählen

mdadm: md device does not appear to be an md device

------------------------------------------------------------------

http://debianforum.de/forum/viewtopic.php?f=9&t=108140
Die Tipps klappen leider auch nicht. Zwar erkennt "mdadm -E /dev/sdX6" das dort raid5 ist, aber bei sdb steht etwas anderes als bei a und c (s.u.). "mdadm --detail --scan" zeigt mir die ersten beiden raids, aber auch "mdadm: md device /dev/md2 does not appear to be active."
"mdadm -A /dev/md2" und "mdadm -v -A /dev/md2" bringen nur ein müdes "mdadm: /dev/md2 not identified in config file." (Welche config meint er?)
Und den Superblock will ich jetzt auch nciht wirklich löschen...Das klingt nicht, als ob sich das positiv auswirken könnte...

------------------------------------------------------------------

Hab gerade nochmal neu gestartet, so dass nur das Minimalsystem von /boot läuft.

Während "(initramfs) mdadm -E /dev/sdb6" noch immer folgendes ergibt (wie oben)

Code: Alles auswählen

    /dev/sdb6:
              Magic : a92b4efc
            Version : 0.90.00
               UUID : 1935d07f:0a04d40f:c756402b:adf1f930
      Creation Time : Thu Jan 29 19:29:54 2009
         Raid Level : raid5
      Used Dev Size : 485749248 (463.25 GiB 497.41 GB)
         Array Size : 971498496 (926.49 GiB 994.81 GB)
       Raid Devices : 3
      Total Devices : 3
    Preferred Minor : 2

        Update Time : Mon Oct 11 00:29:12 2010
              State : clean
     Active Devices : 2
    Working Devices : 3
     Failed Devices : 1
      Spare Devices : 1
           Checksum : f4e313e7 - correct
             Events : 379634

             Layout : left-symmetric
         Chunk Size : 64K

          Number   Major   Minor   RaidDevice State
    this     1       8       22        1      active sync   /dev/sdb6

       0     0       8        6        0      active sync   /dev/sda6
       1     1       8       22        1      active sync   /dev/sdb6
       2     2       0        0        2      faulty removed
       3     3       8       38        3      spare   /dev/sdc6

ergibt ein "mdadm -D /dev/md2"

Code: Alles auswählen

...
   Raid Devices : 3
  Total Devices : 2
Preferred Minor : 2
    Persistence : Superblock ist persistent

    Update Time : Mon Oct 11 00:30:50 2010
          State : active, degraded, Not Started
 Active Devices : 1
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 1935d07f:0a04d40f:c756402b:adf1f930
         Events : 379646

      Number   Major   Minor   RaidDevice State
   0     0       8        6        0      active sync   /dev/sda6
   1     1       0        0        1      removed
   2     2       0        0        2      removed
   3     3       8       38        3      spare   /dev/sdc6

Meine Idee, neben den offenen Fragen oben:

Code: Alles auswählen

mdadm --re-add /dev/md2 /dev/sdb6

oder

Code: Alles auswählen

mdadm --add /dev/md2 /dev/sdb6

???

add ist ja "hot-add listed devices" und re-add laut man-page "re-add a device that was recently removed from an array". Das klingt für mich jetzt beides nicht unlogisch, aber wo ist der genaue Unterschied? Zum Teil (meist gentoo) habe ich auch "mdadm --manage /dev/mdX --(re-)add /dev/sdY#", also mit eine manage dazwischen gelesen. Ist das nur eine Distributionsabhängige Umsetzung und ist dies nötig bei Debian?

Bin über jede Hilfe absolut dankbar.

[meti]

Ich hab bisher einen Hinweis vermisst (oder nicht gesehen).

Die Platten bzw. Partitionen im RAID MÜSSEN EXAKT gleich groß sein. Alternativ kann die neu hinzuzufügende Partition auch größer sein. Aber wenns auch nur um einen Sektor kleiner ist, dann gibts Datensalat. Vielleicht nicht sofort, aber garantiert in nächster Zeit.

[bjog]

Sind sie!

Oben "testdisk /list" und obwohl die sda und sdc größer sind, ist nur der genau selbe Teil belegt - per dd die kompletten Platten nacheinander von sdb kopiert und dann sync, erst sda und nachdem es fertig war auch sdc. Dabei trat das Problem dann auf, als er mittendrin sdb rausgeschmissen hat, weil auf der swap-partition ein Fehler auftrat (so zumindest meine Interpretation wegen der spare-Kennung).

[bjog]

ein mutiges "mdadm --manage /dev/md2 --re-add /dev/sdb6" bringt zumindest ein

Code: Alles auswählen

Raid Devices : 3
  Total Devices : 3
Preferred Minor : 2
    Persistence : Superblock ist persistent

    Update Time : Mon Oct 11 00:30:50 2010
          State : active, degraded, Not Started
Active Devices : 2
Working Devices : 3
Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 1935d07f:0a04d40f:c756402b:adf1f930
         Events : 379646

      Number   Major   Minor   RaidDevice State
   0     0       8        6        0      active sync   /dev/sda6
   1     1       8       22        1      active sync   /dev/sdb6
   2     2       0        0        2      removed
   3     3       8       38        3      spare   /dev/sdc6

Allerdings nur bis zum Neustart, danach will er das raid wieder nicht finden.

Ohne Neustart und mit dem Versuch es neu zusammenzufügen kommt nur

Code: Alles auswählen

mdadm: device /dev/md2 already active - cannot assemble it

Aktiv is gut, die Meldung logisch aber warum merkt er sich das nicht für den Neustart?

Bei einem Start mit gparted-live findet er md2 wieder nicht mehr und bei mdadm -E liefert noch immer das Selbe.

[meti]

Zum Thema reboot: die Daten des RAIDS müssen in der /etc/mdadm/mdadm.conf stehen und das initramfs muss neu gebaut werden. Ansonsten fliegt die Änderung des RAIDS beim booten wieder raus.

Also: Das RAID zusammenbauen, dann die mdadm.conf mit

Code: Alles auswählen

 mdadm -Ds >> /etc/mdadm/mdadm.conf 

anpassen und danach mit

Code: Alles auswählen

update-initramfs -u

das alles für den nächsten Neustart vorbereiten.

Wird das vergessen, dann kennt der Kernel die RAIDs nicht und kann sie auch nicht zusammensetzen.

[bjog]

Kurze Antwort bzw. das Problem dabei: /etc liegt auf dem raid, was nicht gelesen werden will. Das "update-initramfs" hätte vielleicht geholfen.

[bjog]

Danke erstmal bei allen, die geholfen haben oder zumindest es versucht haben oder sich Gedanken gemacht. Ich habs geschafft! Hier nochmal die Zusammenfassung falls mal jemand ein ähnliches Problem hat.

Problem:
-raid5 auf sdX6 (innerhalb erweiterter Partation) verabschiedet sich mit einer 2. Festplatte (I/O-Fehler), während eine andere gerade synchronisiert wird
-ein Zugriff auf irgend einen Befehl war nicht mehr möglich, nur noch der Kram, der im Arbeitsspeicher lag klappte
-/boot-Partition läuft noch

verschiedene Lösungsansätze
siehe oben

Folgende Vorgehensweise...
...hat letztendlich zum Erfolg geführt:

System neu starten.
Dabei wird ein minimales System (initramfs) geladen, allerdings ist der Zugriff auf alle Verzeichnis, inkl. root nicht mehr möglich. Eventuell ginge es auch aus dem "verabschiedeten".

Code: Alles auswählen

mdadm --detail --scan

listet mir im initramfs noch alle 3 raids auf.

Code: Alles auswählen

raid stoppen:
mdadm --stop /dev/md2

Ein "mdadm --re-add /dev/md2 /dev/sdb6" klappt nicht, weil das array gestoppt ist.

Dann habe ich das raid "repariert". Also es zusammengefügt trotz möglicher Fehler. (Risiko Datenschrott bei sync nachher!) raid5 braucht eigentlich min. 3 Platten, ich habe es degred gelassen und sdc6 auch nicht aufgeführt.

Code: Alles auswählen

mdadm --assemble --force -vv /dev/md2 /dev/sda6 /dev/sdb6

(2 v für mehr Ausgabe als bei 1 v laut man mdadm)

Nach ein paar sekunden, werden ein paar Meldungen ausgegeben. (Zeitangaben hier nicht mit abgetippt [...])

[...] md: md2 stopped.
mdadm: looking for devices for /dev/md2
mdadm: /dev/sda6 is identified as a member of /dev/md2, slot 0.
mdadm: /dev/sdb6 is identified as a member of /dev/md2, slot 1.
mdadm: forcing event count in /dev/sdb6(1) from 379634 upto 379646
mdadm: clearing FAULTY flag for device 1 in /dev/md2 for /dev/sdb6
[...] md: bind<sdb6>
mdadm: added /dev/sdb6 to /dev/md2 as 1
mdadm: no uptodate device for slot 2 of /dev/md2
[...] md: bind<sda6>
mdadm: added /dev/sda6 to /dev/md2 as 0
[...] raid5: device sda6 operational as raid disk 0
[...] raid5: device sdb6 operational as raid disk 1
[...] raid5: allocated 3170kB for md2
[...] raid5: raid level 5 set md2 active with 2 out of 3 devices, algorithm 2
[...] RAID5 conf printout:
[...] --- rd:3 wd:2
[...] disk 0, o:1, dev:sda6
[...] disk 1, o:1, dev:sdb6
mdadm: /dev/md2 has been started with 2 drives (out of 3).
(initramfs)

Neustart

während dessen taucht u.a. auf:

mdadm: /dev/md2 has been started with 2 drives (out of 3) and 1 spare.
Sucess: assembled all arrays.
done.

Das spare wurde als solches ja schon zuvor erkannt und jetzt automatisch hinzugefügt für ein erneutes/vollständiges sync. Und das startet dann auch gleich:

...
[...] RAID5 conf printout:
[...] --- rd:3 wd:2
[...] disk 0, o:1, dev:sda6
[...] disk 1, o:1, dev:sdb6
[...] disk 2, o:1, dev:sdc6
[...] md: recovery of RAID array md2
[...] md: minimum _guaranted_ speed: 1000KB/sec/disk.
[...] md: using maximum available idle IO bandwith (nut not more than 200000KB/sec) for recovery.
[...] md: using 128k window, over total of 485749248 blocks.
[...] kjournald starting. Commit internal 5 seconds
[...] EXT3-fs: md2: orphan cleanup on readonly fs
[...] EXT3-fs: md2: 9 orphan inodes deleted
[...] EXT3-fs: recovery complete.
[...] EXT3-fs: mounted filesystem with ordered data mode.
Begin: Running /scripts/local-bottom ... done.
done.
begin: Running /scripts/local-bottom ... done.
INIT: version 2.86 booting

Dann checkt Debian auch noch automatisch alle Filesysteme /dev/mdX mit fsck und der Rest läuft durch bis zu einem:

Code: Alles auswählen

Debian GNU/Linux 5.0 XXX tty1

XXX login: _

Nun hoffe ich, dass alle Daten noch i.O. sind und nicht zwischendurch überschrieben wurden (wegen "9 orphan inodes deleted").

Der Vorsicht und Sicherheit halber: Alle Angaben ohne Gewähr!

Stein des Anstoßes im positiven Sinne: http://www.synology-forum.de/showthread.html?t=510