BackupPC 4 - Erfahrungsbericht

[heisenberg]

Hallo zusammen,

BackupPC 4 ist jetzt ja nicht mehr wirklich neu. Veröffentlichung war am 20.6.2020. Trotzdem habe ich erst jetzt nach langer Testzeit BackupPC 3 durch 4 ersetzt, erst in einer privaten Instanz(Sicherung von einer lokalen VM und 1-2 anderen Webspaces per SSH) und nach einiger Testzeit dann auch eine Instanz auf Arbeit mit einer größeren Anzahl von VMs.

Die Alleinstellungsmerkmale der Software im OSS-Bereich ist für mich(in der Kombination):

• Poolweite-Deduplizierung (Das kann Borg auch, aber nur wenn man alle Hosts in ein Repo packt, welches beim Backup von einem Host gesperrt ist und das ist doof. BareOS/Bacula machen afaik nur Deduplizierung auf Host-Level).
• Pull-Sicherung (Das kann Borg auch, auf eine mich absolut nicht zufriedenstellende Weise)
• Keine Client-Software nötig(bis auf rsync+ssh; Windows sichere ich auch lieber per rsync+ssh als mit smb)
• GUI für die tägliche Routine-Arbeit(Backups durchsuchen, Dateiwiederherstellung, Auf der Konsole geht natürlich auch alles)

Vorgehensweise

Da davon abgeraten wird einen Backup-Pool in das neue v4 Format zu konvertieren habe ich einen neuen Server genommen und einen neuen Pool initialisieren lassen. Den alten habe ich erst nochmal parallel sichern lassen und dann per Option "BackupsDisable" auf nicht mehr sichern gestellt. Die Backups möchte ich auf dem alten System doch noch eine Weile aufheben.

Die Installation geht ja aufgrund der Debianpaket schnell und problemlos. Wichtig noch ggf. die Option "Require local" aus der Apache Konfiguration auszukommentieren, damit man von Remote auf das Webinterface kommt. IP-Adresseinschränkungen kann man dort ja statt dessen setzen.

Die Konfiguration habe ich mir vom alten Server abgeschaut und händisch selektiv übertragen. Die Konfiguration der Hosts war dann eigentlich nur noch in Einzelfällen notwendig, auch die konnte ich aus den Konfig-Files ausgewählt übernehmen. Meist waren es nur individuelle Ausschlüsse von Dateien.

Wichtige Einstellung bei mir ist die Bandbreitenbegrenzung der Datensicherung. Ich möchte das Netz nicht zu sehr belasten. Ich habe leider nicht für alle Systeme dedizierte Backup-Netzwerke. Das stört insgesamt aber überhaupt nicht.

Das kann man nicht oft genug erwähnen: Wenn das Backup nicht funktioniert, dann erst mal im Debug-Modus starten:
http://backuppc.sourceforge.net/faq/debugXfer.html

Für Datenbanken muss natürlich zusätzlich Vorsorge getroffen werden. Bei mir laufen grundsätzlich mindestens überall DB-Export-Scripte für MySQL und Postgres. Die Datendateien der DBs schließe ich aus und sichere nur die Dumps.

Neues in BackupPC 4

• Unter der Haube hat sich recht viel geändert. Das wichtigste für mich als User: Keine Hardlinks mehr. Damit fallen Ärgernisse bei Dateisystemchecks weg und die Performance ist besser.
• Per Vorgabe für rsync ist jetzt --one-file-system aktiv. Das heisst aufgepasst! Wer das nicht registriert, sichert seine Server jetzt evtl. nur teilweise, wenn da zusätzliche Dateisysteme fehlen.

Erkenntnisse

• BackupPC 4 funktioniert bis jetzt hervorragend. Gefühlt schneller als die 3er Version.
• Das Interface sieht ein klein wenig hübscher aus, ist aber von der Bedienerführung identisch geblieben.
• Die Ratio zwischen virtuell alloziiertem Speicherplatz(vor Pooling und Kompression) und benötigtem Platz auf der Platte ist etwa 15:1. D. h. mit 300 Voll-/ und 360 inkrementellen Backups habe ich bei 56 Hosts ca. 19,5 TB virtuell und 1,2 TB physisch belegt.)
• Etwas nervig ist das vom Autor eigens angepasste rsync, dass auf dem Server benötigt wird. Die Fehlermeldung, die das wirft, ist nicht immer 100% aussagekräftig. Als Beispiel: Ich habe einen Strato-Webspace, den ich sichere. Ich habe nicht darauf geachtet, den User umzustellen. Per Default wird root als Zielbenutzer verwendet. Die Fehlermeldung von bpc-rsync war:

  Got fatal error during xfer (rsync error: error in rsync protocol data stream (code 12) at io.c(226)

  Aber mit debugging Option für rsync / ssh hochgedreht habe ich es dann gefunden.
• Die Sicherungszeiten liegen bei den meisten Systemen dank rsync bei wenigen Minuten oder beim größten System anfangs bei 1 Tag und bei den Differenzbackups dann bei 1 Stunde und bei den nachfolgenden Vollbackups bei 10 Stunden - auch wegen der Bandbreitenlimitierung. Das kann man natürlich alles noch so optimieren, wie man das lieber haben möchte, aber für mich passt das.
• Bei sehr alten Systemen, die man sichert, muss man sich die rsync - Optionen anschauen, dass das mit denen von der entsprechenden rsync-Version kompatibel ist.
• Ich habe auch mal in den Code(Perl) hier und da mal kurz reingeschaut. Hübsch ist ja was anderes. Aber verstehen kann ich das schon, wenn hier der ein oder andere die Nase rümpft.

So sieht die Anzeige der Poolgröße im Webinterface aus:



Fazit

Version 3 hat schon so funktioniert, wie sie soll und Version 4 tut das auch und funktioniert besser. Das ist nicht immer selbstverständlich das eine neue SW-Version tatsächlich Verbesserungen bringt. BackupPC ist für mich für den Einsatzzweck Netzwerk-Backup eine echt super OSS-Lösung. Praise Craig Baratt!!!

[slu]

Vielen Dank für deine Zusammenfassung.

Ich bin ein großer Fan von BackupPC und hatte diesen über Jahre eingesetzt.
Schlußendlich bin ich dann in der 3er Version an einen Punkt gekommen wo das Offsite Backup zu lange gedauert hat.

Damals hatte ich dann rsbackup entdeckt, das läuft im Moment vor sich hin, ist aber leider ohne schönes WebGUI und macht das
Pooling nicht wie BackupPC. Aber meckern auf hohem Niveau, auch rsbackup hat seine Vorteile.

Im Moment warten wir auf den Glasfaseranschluss, vielleicht kann ich dann BackupPC wieder in Bertrieb nehmen und den Server
an einem anderen Standort platzieren...

[heisenberg]

Schlußendlich bin ich dann in der 3er Version an einen Punkt gekommen wo das Offsite Backup zu lange gedauert hat.

Damals hatte ich dann rsbackup entdeckt, das läuft im Moment vor sich hin, ist aber leider ohne schönes WebGUI und macht das Pooling nicht wie BackupPC. Aber meckern auf hohem Niveau, auch rsbackup hat seine Vorteile.

Basieren nicht beide Systeme - rsbackup und BackupPC - auf rsync? Wenn da das eine schneller als das andere ist, kann es da doch nur an der rsync-Konfiguration liegen? (Aber manche Dinge die laufen, lässt man halt einfach, so wie sie sind.)

[slu]

Wenn da das eine schneller als das andere ist, kann es da doch nur an der rsync-Konfiguration liegen?

Nein, das liegt am Konzept.
rsbackup verlinkt die Files nicht zwischen den Hosts selber -> braucht daher viel mehr Platz als BackupPC.

Bei BackupPC konnte man immer ein Offsite Backup anstoßen, der hat dann ein Archiv pro Host gemacht (wenn ich mich richtig erinnere).
Das dauert halt wegen dem Pooling sehr lange, bei rsbackup kann ich pro Host einfach den letzten Ordner mit rsync weg kopieren.

[heisenberg]

Wenn da das eine schneller als das andere ist, kann es da doch nur an der rsync-Konfiguration liegen?

Nein, das liegt am Konzept.
rsbackup verlinkt die Files nicht zwischen den Hosts selber -> braucht daher viel mehr Platz als BackupPC.

Bei BackupPC konnte man immer ein Offsite Backup anstoßen, der hat dann ein Archiv pro Host gemacht (wenn ich mich richtig erinnere).
Das dauert halt wegen dem Pooling sehr lange, bei rsbackup kann ich pro Host einfach den letzten Ordner mit rsync weg kopieren.

Ja, da hast Du recht. Das macht BackupPC irgendwie ganz anders. Das ist absolut kein normales rsync. Ich bin gespannt, ob es da neue Erkenntnisse beim nächsten Versuch nach der Inbetriebnahme der Glasfaseranbindung mit der aktuellen Version gibt.

[heisenberg]

Aktuell sichere ich den erwähnten grössten Host noch auf beiden Sicherungssystemen. Interessant um den Vergleich der Sicherungszeiten zu sehen:

BackupPC 3(neueste Sicherung unten)



BackupPC 4(neueste Sicherung oben)



Die Sicherungszeiten überschneiden sich. Die V4-Zeiten(inkrementell) sind aber wesentlich kürzer. Ansonsten: Natürlich beeinflusst das die Performance stark negativ, wenn dass Dingens 2x gesichert wird.

[slu]

Evtl. ist das Thema bei einer 10GBit Anbindung für dich auch interessant?
viewtopic.php?t=181353#p1275218

Könnte auch auf BackupPC/ssh/rsync zutreffen.

Ja etwas OT ich weiss

[heisenberg]

Evtl. ist das Thema bei einer 10GBit Anbindung für dich auch interessant?

Ich habe aktuell kein Problem, dass ich lösen müsste.

[heisenberg]

Ich habe jetzt auch nochmal eine neue Instanz aufgesetzt. Vorher mit BackupPC3 mit 4 x 4 TB im RAIDZ. Jetzt mit BackupPC4 mit 4 x 16 TB im RAID10. Neuer Festplattentyp: Seagate 16TB HDD Exos X16 7200 RPM(ST16000NM000G). Es ist zu lesen, dass das definitiv keine Wohnzimmerfestplatten sind, weil die wohl einen Höllenlärm machen sollen. Auch sind die Platten doch recht schnell. (Siehe unten). Sollen auch langlebig sein. Da ich die aber nur im RZ einsetze, habe ich die selbst noch nicht einmal geräuschtechnisch vom Hintergrundrauschen trennen können.

Die Festplatten habe ich aus Versehen über Ebay aus China gekauft. Aus Sorge vor Produktfälschungen habe ich die Platten auch mehrmals vor Inbetriebnahme auf spezielle Weise überschrieben, so dass ich da keine Überraschung erlebe und ich statt 16 TB vielleicht nur 500 GB Festplatten bekommen habe. Dabei ist auch aufgefallen, dass bei den Komplettdurchläufen bei einer Platte auch schon 1-2 fehlerhafte Sektoren auftraten. Unschön, habe ich aber trotzdem ohne weitere Maßnahmen so hingenommen. (Aktuell - nach ca. 1 Jahr Laufzeit habe ich auf der einen Platte 40 fehlerhafte Sektoren. Die kamen in 3 Sprüngen. Die monatlichen ZFS-Scrubs melden keine Prüfsummenfehler.)

Da habe ich jetzt noch alles andere draufgepackt, was ich an dem Standort sichere, teilw. auch remote - mit Bandbreitenlimitierung. Sind jetzt etwas über 100 VMs. Bzgl. der Kapazität und der Performance geht da noch einiges mehr.



Hier nochmal die eine Kapazität einige Monate später:



Kombinierte lineare Schreib-/Leseleistung aller 4 Seagate Exos x16 16 TB parallel am normalen Mainboard SATA-Controller. Schreibzugriff auf ext4 Dateisystem. Die Platten haben also eine durchschnittliche, lineare Schreib-/Leseleistung von ca. 130 MB/s bis 250 MB/s.



Hier auch nochmal der eine Ausschnitt etwas mehr eingezoomt:

[slu]

Sehr cool, danke für das Update.
Ich muss mir doch mal wieder ein BackupPC zum testen installieren.

[heisenberg]

Ich habe jetzt auch nochmal auf einem Hetzner-Mini-Cloudserver neben einem Proxmox-Backup-Server noch BackupPC installiert. Der Cloudserver(=normale VM, Produkt: CX21) hat nur begrenzt Speicher. VMs mit viel Storage sind teuer. Die Hetzner Storage Box ist deutlich günstiger. Deswegen also als Alternative eine 5 TB Storage Box dazu genommen und die via Systemd-Automount/CIFS eingehängt.

BackupPC ist wie erwartet sehr langsam, weil CIFS halt deutlich langsamer ist als lokale Platte. Dabei fällt auf, dass ein Teil der (Vorbereitungs-)Zeit für das Backup gar nicht zu der Backupzeit dazugezählt wird. D. h. dass sieht in den berichteten Zeiten deutlich schneller aus, als es wirklich ist.

Da BackupPC hier nur wenige Systeme sichern muss und da man bei einem Restore hier nicht auf hohe Geschwindigkeit angewiesen ist, ist die langsame Geschwindigkeit verkraftbar.

Der Proxmox-Backup-Server arbeit da etwas performanter, weil er hauptsächlich auf Blocklevel arbeitet; d. h. da sind deutlich weniger einzelne Dateizugriffe als BackupPC.

Es hat mich gefreut, dass beide Systeme(PBS, BackupPC 4) mit CIFS als Storage überhaupt erst einmal laufen.

Nachtrag

Ich habe das CIFS mit noperm gemountet, weil Hetzner bei seiner Storage Box wohl die CIFS-Extensions wohl nicht anbietet. Der Server ist abgesichert und dort arbeitet maximal der Backup-Administrator/Operator drauf. Deswegen ist das hier kein Problem.

Hier sind noch meine beiden Systemd Unit Dateien:

/etc/systemd/system/mnt-proxmox.mount

Code: Alles auswählen

[Unit]
Description=StorageBox user-xxxx
Requires=network-online.target

[Mount]
What=//user-xxxx.your-storagebox.de/user-xxxx-subX
Where=/mnt/proxmox
Options=username=user-xxxx-subX,password=thesecret,rw,noperm
Type=cifs

[Install]
WantedBy=multi-user.target

/etc/systemd/system/mnt-proxmox.automount

Code: Alles auswählen

[Unit]
Description=Automount StorageBox user-xxxx fuer Proxmox

[Automount]
Where=/mnt/proxmox

[Install]
WantedBy=multi-user.target

Die Automount-Unit habe ich aktiviert. Die Mount-Unit nicht.

Auch wenn ich systemd (grundsätzlich) blöd finde (weil es pöse ist), finde ich die Einrichtung des Automounters ja super, weil das so einfach ist.

[Simon74]

Ich habe erstmals BackupPC erstmals ernsthaft angesehen.
Auch auf Grund des positiven Feedbacks hier.

Bis dato habe ich für die Linuxserver inhouse einfach nur rsnapshot verwendet, was sehr gut funktioniert, fehlen tun mir hier 2 Dinge
- Ein kleines WebIf mit etwas Übersicht
- Mail, was den ungefähr an (geänderten) Daten gesichert wurde, ja ich kenne rsnapreport.

BackupPC.
Sieht gut aus localhost, und ein paar Debians per rsync funktionieren auf Anhieb.

Was ich gerne noch erreichen würde ist die Apacheconfig so einzustellen das er Reverse-Proxy mit Self-Sign-SSL macht, und dann http nur mehr von localhost zu erlauben.
Hat das jemand schon mit dem lokalen Apache (auf dem backuppc läuft) umgesetzt?

[heisenberg]

Was ich gerne noch erreichen würde, ist die Apache-Config so einzustellen, dass der Reverse-Proxy mit "Self-Signed" SSL macht, ...

Der Apache ist jetzt in dem Fall kein Reverse-Proxy, sondern führt das BackupPC als CGI-Anwendung aus.

Anleitungen für Self-Signed-SSL findest Du zu Hauf im Internet. Das ist möglicherweise hilfreich:
https://www.grund-wissen.de/linux/server/openssl.html

... und dann http nur mehr von localhost zu erlauben.

Du möchtest https aus dem LAN erlauben und http nur von localhost?

... aus dem hohlen Bauch heraus und ohne Gewähr. Das hier ist meine Config - leicht angepasst (braucht mod_macro!):

Code: Alles auswählen

<Macro BACKUPPC $require_object>

        Alias /backuppc /usr/share/backuppc/cgi-bin/
        
        # Redirect Root - Location to BackupPC
        RewriteEngine On
        RewriteRule ^/$ /backuppc/

        <Directory /usr/share/backuppc/cgi-bin/>
                AllowOverride None

                Options ExecCGI FollowSymlinks
                AddHandler cgi-script .cgi
                DirectoryIndex index.cgi

                AuthUserFile /etc/backuppc/htpasswd
                AuthType basic
                AuthName "BackupPC admin"

                <RequireAll>
                        # This line ensures that only authenticated users may access your backups
                        Require valid-user

                        # Set some additional restriction from macro parameter
                        Require $require_object
                </RequireAll>
        </Directory>
</Macro>

<VirtualHost *:80>
        ServerAdmin webmaster@localhost
        Servername DEIN.VHOST.NAME
        DocumentRoot /var/www/empty
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined
        
        Use BACKUPPC local
</VirtualHost>

<IfModule mod_ssl.c>
<VirtualHost *:443>
        ServerAdmin webmaster@localhost
        Servername DEIN.VHOST.NAME
        DocumentRoot /var/www/empty
        ErrorLog ${APACHE_LOG_DIR}/error.log
        CustomLog ${APACHE_LOG_DIR}/access.log combined

	SSLEngine on
        SSLCertificateFile /DEINE/CERT/DATEI.PEM
        SSLCertificateKeyFile /DEIN/CERT/KEY.PEM

	# Intermediate configuration, tweak to your needs
	SSLProtocol             all -SSLv2 -SSLv3 -TLSv1 -TLSv1.1
	SSLCipherSuite          ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM:SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384
	SSLHonorCipherOrder     off
	SSLSessionTickets       off

	Use BACKUPPC "all granted"
</VirtualHost>

[Simon74]

Vielen Dank, werde ich testen.
edit:
Mit Apache2 bin ich nicht wirklich weitergekommen, ich habe diesen nun deaktiviert und NGinx versucht.
Die Konfiguration läuft jetzt ohne Problem.

Code: Alles auswählen

server {
        listen 80;
        server_name domain.net;
        return 301 https://backup.domain.net/backuppc;
}

server {
          listen 443 ssl;
          server_name domain.net;

          #ssl on;
          ssl_certificate_key /etc/ssl/private/_.domain.net.key;
          ssl_certificate /etc/ssl/private/_.domain.net.crt;

          add_header Strict-Transport-Security max-age=63072000;
          add_header X-Frame-Options DENY;
          add_header X-Content-Type-Options nosniff;

          location /backuppc {
            auth_basic "BackupPC admin";
            auth_basic_user_file /etc/backuppc/htpasswd;
            alias /usr/share/backuppc/cgi-bin/;
            index /index.cgi;
          }

          location ~ \.cgi$ {
            gzip off;
            include /etc/nginx/fastcgi_params;
            fastcgi_pass unix:/var/run/fcgiwrap.socket;
            fastcgi_index BackupPC_Admin;
            fastcgi_param SCRIPT_FILENAME /usr/share/backuppc/cgi-bin/index.cgi;
          }
}

[Simon74]

Wie sind eure Erfahrungen mit Cifs/smb?
Hier nicht gut, was unter rsnapshot (mit autofs-mount) kein Problem war, funktionierte hier mit BackupPC nicht wirklich. (mount-timeouts)

Ich habe deshalb mal die rsyncd [https://github.com/backuppc/cygwin-rsyncd] Variante im Einsatz, was bei Windows-Systemen mit kleinen Datenmengen sehr gut funktioniert.
Jedoch dauert es bei inkrementellen Sicherungen ewig.

Ich habe hier einen Windows Server mit ca. 1TB an Daten, die Dauer der Erstsicherung ist mit anderer Backup-Software vergleichbar, bzw. gleich schnell,
bei den nachfolgenden inkrementellen Backups dauert das ganze (bei sehr wenig geänderten Daten unter 50MB) jedoch über 4 Stunden!
Bei rsnapshot hat das ganze etwa 10-15 Minuten benötigt.

Sichert jemand erfolgreich Windows Systeme mit größeren Datenmengen, und guter Geschwindigkeit?

[heisenberg]

Ich habe mit Windows jetzt wirklich nicht viel am Hut. Ich verwende für Windows auch grundsätzlich cygwin/rsyncd. Mir schien es damals ähnlich gegangen zu sein, wie Dir jetzt. Jedenfalls habe ich das Backup auf einer einzigen Windows-VM, die ich aktuell noch sichere, auch rsnapshot verwendet.

[blunix]

Vielen Dank für den Beitrag. Ich hatte sehr lange BackupPC3 im Einsatz und bin dann zu Borg gewechselt.

Dein Beitrag war sehr aufschlussreich, daher danke für die Mühe!

[heisenberg]

Bzgl. Debugging von BackupPC ist auch noch ein kleiner Einzeiler hilfreich. Der Einzeiler ist dafür gut, wenn man per rsync sichert und auf dem System, das gesichert wird anschauen möchte, was gerade im Moment gesichert wird. Der Einzeiler wird dementsprechend auf dem zu sichernden Sytem ausgeführt.

Ich habe mir aus einem Grund, etwas zu testen mal eine Sparse-Datei von 4 TB angelegt. Das habe ich vergessen und mich 1-2 Wochen später gewundert, dass ich einen Alarm bekomme, dass das Backup nicht mehr funktioniert. Das Backup meines Arbeitsplatzes geht über das Internet.

Das ist der Einzeiler:

Code: Alles auswählen

watch -n10 'lsof -n 2>&1 |awk '"'"'$1 ~ /rsync/ && $NF !~ /(\/usr\/lib|pipe)/ {print $0}'"'"

Damit sieht man die aktuell von rsync-Prozessen geöffnete Dateien, Dateien mit /usr/lib schließe ich aus, dass sind die Bibliotheken von rsync, ebenso wie "pipe", dass sind die Standarddeskriptoren (stdin,stdout,stderr).

Das sieht dann so aus:

Code: Alles auswählen

rsync     61478                       root  cwd       DIR              254,0       4096          2 /
rsync     61478                       root  rtd       DIR              254,0       4096          2 /
rsync     61478                       root  txt       REG              254,0     510344     825706 /usr/bin/rsync
rsync     61478                       root    3r      DIR              254,0       4096    2529754 /home/heisenberg/.glob2
rsync     61478                       root    4r      REG              254,0  211513344    2529768 /home/heisenberg/.glob2/preferences.txt

Dabei ist mir dann sofort die 4 TB - Sparsedatei aufgefallen.