Edit: Thema hat sich geaendert, jetzt: Systemeinstellungen & Programme Installation automatisieren

[Steve1]

Hi, Guten Morgen,

ich habe diese Frage schon einmal gestellt, vllt. nicht so, aber ggf. in anderer Form, ich finde dazu aber den Thread nicht wieder.

Ich wuerde gerne mein jetziges System (siehe Signatur) komplett 1:1 backuppen, bzw. ein Image erstellen, welches ich dann ueber ein Live-Debian mit dem Laufwerke Tool (gnome-disk-utility 43.0), wieder zurueckspielen kann. Das System sollte dann sofort wieder von der Festplatte aus funktionieren.

Alles im Falle, ich habe mein System mal geschrottet, lege ich also die Live-ISO ein (USB-Stick), whehle Laufwerke und spiele das Image (IMG oder ISO was ist besser?) wieder auf die Festplatte.

DD dafuer zu verwenden ist jetzt mein erster Gedanke, aber wie sollte dazu der passende Befehl lauten und funktioniert mein Vorhaben mit dd?

Ja, es gibt Clonezilla, ich weiss, allerdings will ich es mal aus dem System heraus probieren und nicht mittels einer Live-ISO.

Achso der Zieldatentraeger fuer das Image ist eine Externe HDD.

Gruss, Steve

[schorsch_76]

Welches Filesystem? Lvm? RAID?

dd geht fast immer...

Code: Alles auswählen

dd if=/dev/sdx of=..... /sdx.img status=progress

[debianoli]

Grml kann man als Iso in Grub einbinden, dann hat man ein vollständiges Rescue-System ohne USB-Stick Gedöns. Gibt dazu auch ein praktisches Programm grml-rescueboot

partimage ist auch ein Tool zum 1:1 Sichern eine Festplatte.

[TuxPeter]

Ich bevorzuge fsarchiver
Kann mehrere Images in ein File packen und komprimiert auch noch.
Aber aus einem laufenden System heraus die Systempartition sichern zu wollen, halte ich für eine ausgesprochen schlechte Idee. Wozu auch? Für die Wiederherstellung wird dann doch sowieso ein zweites System benötigt.

[juribel]

auf den ersten Blick ein sehr wünschenswertes Vorhaben, aber auf den zweiten Blick nicht tauglich. Denn:

1. die Systempartition im laufenden Betrieb mit dd zu kopieren kann zufälligerweise mal funktionieren, muss aber keinesfalls.
2. Dies dauert naturgemäss ziemlich lange, vielleicht eine halbe Stunde oder mehr. Wie oft willst du das denn machen, damit deine Sicherung aktuell bleibt?

Ich würde folgende Vorgehensweise empfehlen, die hat sich nach Systemcrash, Kaputtoptimieren, beim Umzug auf einen neuen Rechner und sogar beim Umstieg von Xubuntu auf Debian bestens bewährt.

1. Tägliche Datensicherung mit rsync, und zwar /home und einige Systemordner (die Daten ja sowieso)
2. Softwareinstallationen grundsätzlich mit "sudo apt install" im Terminal, und die eingegebenen Befehle in einem Skript bzw. Dokument mitprotokollieren, zur Erinnerung und zum späteren einfachen Nachinstallieren, entweder mit dem kompletten Skript oder für Copypaste dessen, was man wirklich noch braucht.
3. Im Falle des Falles: Betriebssystem von der bevorzugten Debian-Standard-ISO neu installieren (ich benutze immer das Debian-Xfce-Livesystem), Home zurückspielen, ggf. Systemdateien (Konfigurationsdateien) zurückkopieren
4. Immer alles dokumentieren. Je mehr, desto besser. Wer schreibt, der bleibt

Die tägliche Sicherungsprozedur ist bei mir in der Regel in deutlich weniger als 5 Minuten durch, und der Aufwand bei einer Neuinstallation hält sich auch in Grenzen. Weiterer Vorteil: so eine Neuinstallation kann man bestens in einer Virtuellen Maschine testen und durchspielen. Und das alles mit Bordmitteln.

NACHTRAG: Ich habe immer eine eigene Systempartition inklusive /home und meine eigenen Daten in separaten Datenpartitionen, die ich bei einer Neuinstallation nicht anrühre. Nach einer Neuinstallation und Zurückspeichern von /Home: Mails: alle sofort da. Benutzeroberfläche: alles sofort wie gehabt. Firefox-Historie und -Tabs: alles sofort wieder da. Was will man mehr!

[uname]

Ich sehe das genauso. Ich würde auch kein vollständiges Backup z. B. mit "dd" machen. Nicht nur, dass das schief gehen kann. Man muss auch immer alles sichern. Es ist weit sinnvoller sich zu überlegen, was man im Fehlerfall benötigt. Hierzu gehören z. B. /home, /root, /etc, /opt, die Paketliste und bei Servern vielleicht noch /var/www und ein Datenbank-Dump.

[Steve1]

Um Daten geht es mir nicht, ich sichere auf GDrive. Mir geht's um die Programme, die ich installiert, die Einstellungen am System, das Customizing, das Look N Feel. Etc pepe Ich will das nicht immer wieder von vorne beginnen. Um Daten Backup geht es nicht. Wenn ich ehrlich bin, bin ich einfach nur zu faul mir wieder ein Clonezilla Stick zu machen, den hatte ich bereits, aber den Stick gibt es nicht mehr. Deswegen die Frage aus dem System heraus. Allerdings stimmt, das ist zu "romantisch" gedacht, im laufenden Betrieb geht das ja gar nicht. Aber ich werde es wohl mit Clonezilla machen. Als Zieldatenträger die ext. Festplatte

[uname]

Ich denke wenn du bereits das Backup von einem Live-System aus erstellst (ich finde ja Grml cool), dann sollte die Erstellung des Images und die Wiederherstellung auch per grml kein Problem machen. Du kannst es in eine Datei schreiben und benötigst dann nur "dd".

Hier ein paar Beispiele:

Code: Alles auswählen

dd if=/dev/sda of=disk_image.img bs=4M
dd if=/dev/sda1 of=partition_image.img bs=4M
dd if=/dev/sda | gzip > disk_image.img.gz
dd if=/dev/sda of=disk_image.img bs=4M status=progress

status=progress kann sinnvoll sein, um zu sehen, dass überhaupt noch was passiert, auch würde ich Einzelpartitionen wie /dev/sda1 und nicht die ganze Platte /dev/sda verwenden.

Zur Wiederherstellung kannst du den Befehl umkehren. Am besten mal auf einem Testsystem ausprobieren.

Kleiner Tipp:
Ich würde versuchen die Systempartition z. B. /dev/sda1 klein zu halten. Ich würde z. B. /home mit auf diese Partition packen, die eigentlichen Nutzdaten aber eher auf eine andere Partition wie /daten auslagern, die man dann getrennt backupt. Somit könntest du mit einer Systempartition von z. B. 10 GB oder 20 GB auskommen.

Zusatztipp:
Durch die oben aufgeführte Komprimierung kannst du vor allen bei leeren Bereichen viel Platz sparen. Zudem gibt es vielleicht Tools, die besser mit leeren Bereichen umgehen als dd.

[MSfree]

Mir geht's um die Programme, die ich installiert...

Dafür reicht

Code: Alles auswählen

apt-mark show manual

Mit der Liste kann man das System problemlos neu installieren.

die Einstellungen am System

Welche? Du machst tatsächlich Änderungen am Nameserver, SSH-Zugang, ...?
Ich denke, da brauchst du gar nichts zu sichern. Ich schätze deine Konfiguration so ein, daß gerade am System gar nichts geändert wurde. Also reicht es, nur vorher installierte Programme bei einer Neuinstallation wieder zu installieren. (siehe oben)

Man könnte nun natürlich auch /etc sichern, aber wozu, wenn man da gar nichts ändert? Bei mir sind da 6-7 Dateien, die ich angepaßt habe, und die habe ich notiert und explizit gesichert. (Wer schreibt, bleibt)

das Customizing, das Look N Feel. Etc pepe

Look-and-Feel steckt in /home/*/.config.

Mit nichtmal einem Megabyte an nötiger Sicherung kannst du das System also jederzeit wieder herstellen, ohne terabyteweise dd-Kopien anzulegen.

[kalle123]

Wenn ich ehrlich bin, bin ich einfach nur zu faul mir wieder ein Clonezilla Stick zu machen, den hatte ich bereits, aber den Stick gibt es nicht mehr.

Bitte noch so Einen!

Und dann willst du lieber am Ast, auf dem du da hockst, herum machen?

Ich verstehe das nicht ....

Mit solch simplen Sachen wie timeshift und grsync will ich hier lieber nicht kommen.

Gruß KH

[Steve1]

Nee ich möchte eben nicht die Programme, 3rd Party Programme etc nochmal neu installieren. Darum geht es mir hauptsächlich

[Steve1]

Und ich habe auch keine Terabytes an Systemplatte. Ich kann dir das jetzt nicht sagen, 50 GB vielleicht. Dokumente etc. Daten sind in der Cloud, aber auch diese Drive Config sollte gebackupped werden.

[MSfree]

Nee ich möchte eben nicht die Programme, 3rd Party Programme etc nochmal neu installieren.

Und warum nicht? Neuinstallation ist schneller als Systemkopie zurückspielen.

Und ich habe auch keine Terabytes an Systemplatte. Ich kann dir das jetzt nicht sagen, 50 GB vielleicht.

Eine mit dd erstellte Kopie ist immer so groß wie die ganze SSD. Wieviel davon belegt ist, interessiert dd überhaupt nicht.

Das Zurückspielen beinhaltet dann ebenfalls das komplette Diskimage inklusive aller nicht genutzten SSD-Blöcken. Daher dauert das Zurückspielen ja auch deutlich länger als die Programme einfach neu zu installieren,

Ein Diskimage als Backup ist nunmal das uneffizienteste, was man machen kann.

[dasebastian]

Du könntest dir auch ein Postinstall-Skript schreiben, dass dir deine Configs nach einer Installation zurückspielt und die manuell installierten Programme nachinstalliert und dir vielleicht auch noch deine Daten wieder an die richtige Stelle setzt und... .... dabei vielleicht sogar noch was über deine Programme und deren Konfiguration lernen.

Aber was soll's, wenn die Langeweile genauso groß ist wie die Faulheit...

[juribel]

@msfree: "apt-mark showmanual" ("showmanual" muss übrigens zusammengeschrieben werden) taugt eher wenig, um eine Liste der selbst installierten Pakete zu bekommen. Es werden ja auch alle "mit installierten" abhängigen Pakete mit aufgelistet, bei mir unter anderen eine Unmenge von "task-*-desktop", "lib*", "aspell*" usw. Pakete, die ich nie im Leben einzeln manuell installiert habe. Softwarepakete also immer besser im Terminal mit "sudo apt install" installieren und die Befehle direkt in die eigene Dokumentation aufnehmen, vielleicht sogar als Skript im eigenen Home. Mit dem Zurückspeichern von Home und diesem Skript hat man nach der Neuinstallation eigentlich schon das Wichtigste zusammen. Andere Ordne wie /etc, die sich zu sichern lohnen, wurden hier ja schon erwähnt.

Ja, und Neuinstallation, Zurückspielen von /home und Nachinstallieren der Software anhand der eigenen Dokumentation ist das Schnellste, Einfachste und einfach der geradlinige Weg mit Bordmitteln. Und wozu eine ganze Partition klonen, was "ewig" dauert, irrsinnig viel Platz braucht, nicht mal im laufenden System funktioniert und morgen schon wieder veraltet ist?

BTW, vor vielen Jahren gab es mal so ein Tool (ein Shellskript) für Ubuntu namens "remastersys", mit dem man aus seinem laufenden System ein Live-System als ISO-Datei erstellen konnte. Ich hab es damals ein paarmal benutzt. Ganz nett, dauerte aber einfach immer zu lang, ausser vielleicht für einen Schnappschuss des Systems, den man sich vielleicht nach Jahren nochmal installieren oder ansehen möchte. Für mich heute eher eine Kuriosität. Wird ja auch seit Ewigkeiten nicht mehr gepflegt.

[juribel]

@dasebastian: Ja, das ist ziemlich genau das, was ich auch meinte. Und die Config-Dateien per Skript zurückzuspeichern, ist auch eine gute Idee. Aber ganz wichtig ist die Dokumentation. Allerdings: was ich in meinen eigenen mittlerweile 450 Seiten selber immer wieder vermisse ist nicht, WAS ich alles so gemacht habe, sondern WARUM

[Steve1]

Guten Morgen, das mit dem Neuinstallieren und dem Skript fuer die Programme sehe ich jetzt ein. Koennt ihr mir dabei helfen so ein Skript zu erstellen, indem ich euch aufliste was ich fuer Programme und ggf. Einstellungen am System habe? Gruss

Das wäre mein erstes Skript überhaupt (bsi auf bei der Umschlulung damals, und bin da sehr unbeholfen. Meine Programme (zusätzlich installiert) wären:

- Chrome (als .DEB Paket)
- PDF Arranger (aus den Quellen)
- Rainlednar 2 (als .DEB Paket), als Startprogramm setzen!
- Jdwonloader 2 mit anch diesem Schema installiert https://wiki.ubuntuusers.de/JDownloader_2/
- Steam (als .DEB Paket)
- TeamViewer (als .DEB Paket)
- Oracle VirtualBox (als .DEB)
- SimpelScreenRecorder (aus den Quellen)
- Scanner und Drucker Treiber Canon (als.DEB Pakete)

Einstellungen am System:

- Dunkel-Modus
- Wallpaper setzen
- Den WLAN Login

- Google einbinden (Gdrive im Dateimanager)

Ich denke das wars

[juribel]

Das ist ja "eigentlich" nicht so schwer. Denn die einfachste Art von Skript besteht nämlich erst einmal aus nichts anderem als Befehlen, die du genau so auch im Terminal eingeben würdest. Aber ich vermute, dass du deine Software mit Synaptic o. ä. mit der grafischen Oberfläche installiert hast. Es ist auf jeden Fall besser, Software im Terminal mit "sudo apt install <Paketname>" zu installieren, denn genau diese Befehle kann man in so ein Skript zeilenweise aufnehmen. So ein Skript hat dann in etwa einen solchen Aufbau:

Code: Alles auswählen

#! /bin/bash 
# Dokumentation und Änderungshinweise hier hin
  sudo apt install -y vlc			# Video Lan Controller installieren

Die erste Zeile mit dem "#!" ist die so genannte Shebang-Zeile. Das muss wirklich die allererste Zeile der Datei sein und in Stelle 1, also ganz links, beginnen. Damit wird die Shell angewiesen. das Skript mit /bin/bash auszuführen. Im folgenden wird (nur als Beispiel) das Paket "vlc" installiert. "-y" bedeutet dabei, dass aufkommende Fragen während des Installationsprozesses automatisch mit ja ("y") beantwortet werden. Das kann man auch weglassen, dann muss man sie selber von Hand beantworten.

Das Skript kann man mit "chmod +x <Skriptname>" ausführbar machen und anschliessend unter seinem Namen (hier stellvertretend "<Skriptname>" im Terminal zur Ausführung bringen. Möglicherweise musst du es mit "./<Skriptname>" aufrufen, da das aktuelle Verzeichnis (".") nicht im PATH enthalten ist.

Kommentare in Skripten beginnen immer mit "#". Es empfiehlt sich, an den Anfang des Skripts in Kommentarzeilen eine kleine Dokumentation und eine Historie zu schreiben mit Datum und Änderungsvermerken. Ein Kommentar darf auch wie in meinem kleinen Beispiel mitten in der Zeile hinter einem auszuführenden Befehl mit "#" eingeleitet werden; alles vor dem "#" gilt als Befehl, und alles dahinter als Kommentar. Wenn man einzelne Befehle von der Ausführung ausnehmen will, kann man sie mit einem "#" in Stelle 1 auskommentieren.

Um wieder herauszufinden, wie die Pakete heissen, in denen deine Programme stecken, kannst du Synaptic und dessen Suchfunktion bemühen. Der Paketname steht in der linken Spalte der Liste.

[juribel]

Nachtrag zu deinen Systemeinstellungen: Da müsstest du selber herausfinden oder nachfragen, wie die entsprechenden Shell-Befehle heissen würden. Dazu bin ich überfragt. Die meisten Systemeinstellungen sind ja in deinem /home-Ordner, und wenn du den aus der Sicherung zurückspeicherst, hast du auch all deine persönlichen Einstellungen wieder.

[thunder11]

Das wäre mein erstes Skript überhaupt (bsi auf bei der Umschlulung damals, und bin da sehr unbeholfen. Meine Programme (zusätzlich installiert) wären:

- Chrome (als .DEB Paket)
- PDF Arranger (aus den Quellen)
- Rainlednar 2 (als .DEB Paket), als Startprogramm setzen!
- Jdwonloader 2 mit anch diesem Schema installiert https://wiki.ubuntuusers.de/JDownloader_2/
- Steam (als .DEB Paket)
- TeamViewer (als .DEB Paket)
- Oracle VirtualBox (als .DEB)
- SimpelScreenRecorder (aus den Quellen)
- Scanner und Drucker Treiber Canon (als.DEB Pakete)

Einstellungen am System:

- Dunkel-Modus
- Wallpaper setzen
- Den WLAN Login

- Google einbinden (Gdrive im Dateimanager)

Das wird wohl ein ziemlich unmögliches Unterfangen sein.

1) die Versionsnummern dürften sich ja ab und zu ändern. ----> ein Skript, das auf irgendeiner Webseite
die jeweils aktuelle Version finden soll, ist schon ein Problem.
2) häufig werden ja komprimierte Dateien runtergeladen, die dann -unterschiedlich-
in irgendwelche Verzeichnisse entpackt werden.
3) apt oder dpkg müssen dann dieses Verzeichnis finden

Aus den Quellen installiert:
d.H. du musst entpacken --> kompilieren.
Ein Skript, das eventuelle Fehler automatisch installiert (z.B. fehlende *.dev Pakete usw)
wird wohl so gut wie unmöglich sein.

Also :

Schminke dir das ab

Mach ein Abbild von deinem System
grml-rescueboot wurde ja schon erwähnt, mit dem kannst du beliebige *,iso's in Grub einbinden und ohne Stick und ähnlichem bequem starten und dein Backup erstellen.

Ansonsten:
als Gedächtnisstütze für das, was man so installiert hat, und über das Startmenü erreichbar ist (als Desktop-Datei vorhanden):

Code: Alles auswählen

ls /usr/share/applications/|sort|cut -d\. -f1|grep -v '^org\|^io' && ls ~/.local/share/applications |sort|cut -d\. -f1

Was alles vorhanden (Paketverwaltung) ist:

Code: Alles auswählen

dpkg --get-selections|awk '{print $1}'

Alle Listen kann man speichern und zurückinstallieren.

[HumiNi]

Meine Idee dazu:
Umziehen alles FSe auf LVM, dann ein Offline-Backup erstellen, danach regelmäßig LVM-Snapshots (online).

[heisenberg]

Also ich finde das Ansinnen von Steve grundsätzlich legitim und logisch. Eine perfekte und einfache Antwort habe ich dafür auch nicht, weil es voll automatisiert jetzt auch nicht so einfach umzusetzen ist. Das was ich an Lösungsvorschlägen bisher gelesen habe ist es für mich im Sinne der Frage nicht. Irgend einen Pferdefuss gibt es immer. Und eine Automatisierung die auch gut funktioniert ist grundsätzlich aufwändig.

Eine Sicherung mit dd ist für mich auf der einen Seite schon akzeptabel. Mein Gott. 50 GB X-Mal rumliegen lassen. Wen interessierts. Doof bei der dd-Methode ist halt, das man ein Rettungssystem hochfahren muss und das ist extra-Arbeit und somit lästig. Ein Backup läuft am besten immer nebenbei mit und das täglich und macht keine Arbeit.

Ich habe mich damit noch nicht beschäftigt, weil ich es bisher noch nicht gebraucht habe. Meine Methode ist die, wie die der vermutlich meisten hier, dass man ein Dateibackup vom System hat, und dann schnell die ca. 5 Schritte durchführt, um das System wiederherzustellen. Mit etwas Übung geht das leicht von der Hand.

Mal so eine grobe Liste:

• Festplatte partitionieren
• ggf. LVM konfigurieren
• Dateisysteme erzeugen
• Dateien einspielen
• Boadloader konfigurieren und installieren

Bzgl. Backup ist es gut zu haben:

• Backup der Nutzdaten zu allererst und wenn das /home - Verzeichnis nicht dabei ist, dann das auf jeden Fall zusätzlich sichern.
• Mal 'ne Sicherung der Partitionstabelle (sind ja nur ein paar Bytes, am besten einen cron-job)
• Backup von /etc und /usr/local. Letzteres, nur wenn man dort bewusst Daten abspeichert. Ich nutze /usr/local/bin für Scripte.
• Eine Paketliste als Ausgabedatei von dpkg --get-selections apt-mark showmanual >paketliste.txt, die man bei einem System gleichen releases mittels dpkg --set-selections apt install -y $(cat paketliste.txt) wieder einspielen kann. Dann hat man auf jeden Fall seine jeweils installierten Pakete mit einem Befehl wieder drin. Das Backup der Paketliste ist auch nur ein einfacher cronjob, mit ein paar Kilobytes Datenmenge.[/s]

Relax-and-Recover

Diese Software hat sich das zum Ziel gemacht, dass sie einfach, aus dem laufenden System heraus ein Bare-Metal-Backup erstellen kann, was es auf ein Bootbares Wiederhestellungsmedium schreibt (USB-Stick, DVD, NFS) Weil das grundsätzliche wiederherstellen eines Linux aber so einfach ist, war es mir bisher zu anstrengend, mich damit zu befassen.

Aber das wäre ja mal eine Idee für den Adventskalender, da mal ein Tutorial zu machen. (heisenberg hat sich das als mögliche ToDo in sein Hirn geschrieben).

[MSfree]

Eine Paketliste als Ausgabedatei von dpkg --get-selections, die man bei einem System gleichen releases mittels dpkg --set-selections wieder einspielen kann.

Der Nachteil ist, daß dann alle Pakete, die mit --set-selections eingespielt werden, als manuell installiert markiert werden. Daher hatte ich weiter oben ja apt-mark show manual ins Spiel gebracht. Ja, das listet auch Pakete, die mit dselect oder über das Basissystem ins System gekommen sind. Es listet aber nicht die Pakete, die als Abhängigkeit ins System gekommen sind.

[heisenberg]

Der Nachteil ist, daß dann alle Pakete, die mit --set-selections eingespielt werden, als manuell installiert markiert werden. Daher hatte ich weiter oben ja apt-mark showmanual ins Spiel gebracht. Ja, das listet auch Pakete, die mit dselect oder über das Basissystem ins System gekommen sind. Es listet aber nicht die Pakete, die als Abhängigkeit ins System gekommen sind.

Das ist für einen fortgeschrittenen Nutzer, wie z. B. mich, hilfreich zu wissen. (Danke!). Aber ich glaube Steve geht's am A.... vorbei. Er will's vermutlich eeeinfach. Auf der anderen Seite kann man's natürlich auch gleich "richtig" machen. Also statt dpkg --(set|get)-selection eher:

sichern

Code: Alles auswählen

apt-mark showmanual >paketliste.txt

wiederherstellen

Code: Alles auswählen

apt install -y $(cat paketliste.txt)

(Kleiner Kommentar: Ich hatte überlegt ob ich beim wiederherstellen noch xargs einbauen soll, aber der Linux-Default von 2 MB max. Zeilenlänge (getconf ARG_MAX) sollte auf jeden Fall reichen.)

Ich habe Dir ansonsten mal -1 Leerzeichen geschenkt, dass der Befehl apt-mark - Befehl auch richtig ist.

[GregorS]

... Er will's vermutlich eeeinfach. ...

Die unkomplizierteste und sicherste Methode ist IMO auf jeden Fall, einfach die ganze Platte mit dd zu sichern. Das dauert zwar, aber wenn Zeit keine Rolle spielt und es hundertfünf-prozentig sein soll dann ist dd die Lösung.
Ich habe dd über die Jahre immer wieder benutzt, um ganze Platten oder Partitionen zu sichern. Abgesehen davon, dass so ein Image idR auch von einem Vollpfosten zurückgespielt werden kann, kann man so ein Image z.B. auch mit qemu nutzen.