Ausgesperrt nach misslungenem Update

[joker7575]

Hallo zusammen.

Ich brauche bitte dringend eure Hilfe.

Ich bin dabei meine Server von einer alten (stretch) virtualbox-virtualisierung auf einen neuen Proxmox zu migrieren.
Es gibt halt dinge die man besser nicht nach einem Arbeitstag am Abend in Angriff nimmt.

Ich habe erfolgreich mein Pi-Hole auf den neuen Server gebracht und wollte mich dort per ssh anmelden um zu prüfen ob alles gut gegangen ist.

Leider liegen die beiden bis auf die letzte Ziffer der ip bei einander, so kam es wie es musste und ich habe mich versehentlich auf der virtualisierung eingelogt.
Dort stellte ich fest das alles auf stretch lief (so wie es hier ja sein sollte).
Ich dachte das ich beim klonen des Pi-Hole die Snapshots vergessen habe und bin in geistiger Umnachtung in die sources.list um dort von stretch nach bookworm anzupassen.

Ja, ich habe es verpeilt das dort ein par Zwischenschritte fehlen.

Jetzt stehe ich vor der Tür.
Weder per ssh, noch direkt am Server ist ein Login in die Konsole möglich.
Als wenn der Benutzer gelöscht ist.

Ich konnte herausbekommen das es wohl mit einer Änderung in "libc6" zu tun hat.

Auch der Login an der Weboberfläche scheitert, aber das war schon öfter der Fall.
In der Regel war dann etwas im Php falsch aber das kann ich ohne ssh oder direkt Login am Server nicht herausbekommen.

Auf jeden Fall muss ich da rein weil mein PiHole jetzt doppelt läuft und ich die Vm nicht anhalten kann.

Natürlich gibt es kein Backup das ich zurückspielen kann.


Hat da jemand eine Idee wie ich das retten kann?

[nachtpfoetchen]

gibt es evtl zfs snapshots auf denen ein rollback geht? ansonsten system mounten und chroot und alles sichern?

[joker7575]

Nein keine snapshots für das Hauptsystem.
Nur für die Vms.

Das größte Problem ist die nextcloud die dort läuft, weil externe Laufwerke in die VM gemountet sind.
Das kriege ich, wenn überhaupt, nur mit mega Aufwand hin wenn ich nicht an die Basis komme. Unter anderem wegen Software RAID.

Wenn ich das System mit irgendeinem Rettungssystem boote könnte ich evtl. Was retten, wüsste aber nicht was und wie.

[MSfree]

Leider liegen die beiden bis auf die letzte Ziffer der ip bei einander, so kam es wie es musste und ich habe mich versehentlich auf der virtualisierung eingelogt.

Warum verwendest du IP-Adressen, um dich einzuloggen? Rufst du das Debianforum auch mit https://142.132.203.155 auf? Hostnamen sind doch so viel einfacher zu merken und viel schwieriger zu verwechseln.

Dort stellte ich fest das alles auf stretch lief (so wie es hier ja sein sollte).

Stretch sollte heutzutage eben nicht mehr sein. Das bekommt seit 2 Jahren nicht einmal mehr LTS-Updates.

Ich dachte das ich beim klonen des Pi-Hole die Snapshots vergessen habe und bin in geistiger Umnachtung in die sources.list um dort von stretch nach bookworm anzupassen.

Dann darfst du das System sowieso neu installieren. Das Versionsdurcheinander aufzuräumen ist mehr Arbeit als eine Neuinstallation.

Auf jeden Fall muss ich da rein weil mein PiHole jetzt doppelt läuft und ich die Vm nicht anhalten kann.

Dann log dich direkt am Pihole mit SSH ein und führe dort shutdown durch. Das beendet die VM auch.

Jetzt stehe ich vor der Tür.
Weder per ssh, noch direkt am Server ist ein Login in die Konsole möglich.
Als wenn der Benutzer gelöscht ist.

Ich konnte herausbekommen das es wohl mit einer Änderung in "libc6" zu tun hat.

Mit libc6 dürfte das nichts zu tun haben. Meist liegt es am Tastaurlayout, das per Default US-Englisch ist und u.A. die z- und y-Tasten vertauscht hat.

Natürlich gibt es kein Backup das ich zurückspielen kann.

Kein Backup, kein Mitleid.

Hat da jemand eine Idee wie ich das retten kann?

Das Hostsystem wirst du nicht retten können. Die virtuellen Disks der VMs und deine Daten kannst du aber mit einem Rettungssystem retten. z.B. mit grml.

• grml vom USB-Stick starten
• Festplatte bzw. RAID mounten
• Daten kopieren

[mat6937]

Jetzt stehe ich vor der Tür.
Weder per ssh, noch direkt am Server ist ein Login in die Konsole möglich.
Als wenn der Benutzer gelöscht ist.

Ich konnte herausbekommen das es wohl mit einer Änderung in "libc6" zu tun hat.

Welche sshd-Server-Version erreichst Du mit deinem ssh-Client?

Code: Alles auswählen

scanssh -I -s ssh -i <Interface> -n 22 <IP-Adresse-Server>

?

[joker7575]

Ich bin zur Zeit auf der Arbeit.
Leider kann ich von hier kein Ergebnis bekommen.

Gehe ich recht in der Annahme das der Befehl z.B. vom Laptop im heimischen LAN an den VM-Server gesendet werden soll?
Oder direkt eingeben in der Konsole am Server?

Ich habe es gerade von hier über Wireguard versucht, (Netzwerk interne IP kann ich erreichen) bekomme aber nur ein Time-out.

[mat6937]

Ich habe es gerade von hier über Wireguard versucht, (Netzwerk interne IP kann ich erreichen) bekomme aber nur ein Time-out.

Lauscht der sshd auf der internen IP? Wenn ja, versuch mit einem Portscan (nmap oder nc oder nping oder gleichwertig).

[joker7575]

sudo scanssh -I -s ssh -i enp2s0 -n 22 192.168.0.xx
192.168.0.xx:22 <ssh error on write: EV_EOF: Operation now in progress>
Effective host scan rate: 2.81 hosts/s

[joker7575]

nmap 192.168.0.xx
Starting Nmap 7.80 ( https://nmap.org ) at 2024-04-17 20:24 CEST
Nmap scan report for VirtualBoxGen1.fritz.box (192.168.0.xx)
Host is up (0.00021s latency).
Not shown: 994 closed ports
PORT STATE SERVICE
22/tcp open ssh
80/tcp open http
111/tcp open rpcbind
2049/tcp open nfs
9102/tcp open jetdirect
11111/tcp open vce

Nmap done: 1 IP address (1 host up) scanned in 0.07 seconds

auf 11111 läuft monitorix
die startseite von monitorix mit der auswahl tag/woche/monat wird angezeigt.
wenn ich eine der optionen auswähle kommt: The requested URL /monitorix-cgi/monitorix.cgi was not found on this server.

[mat6937]

sudo scanssh -I -s ssh -i enp2s0 -n 22 192.168.0.xx
192.168.0.xx:22 <ssh error on write: EV_EOF: Operation now in progress>
Effective host scan rate: 2.81 hosts/s

Ist das ein sshd, der (lt. nmap) auf dem Port 22 lauscht?
Wenn ja, dann sollte die Anwort doch so:

Code: Alles auswählen

:~# scanssh -I -s ssh -i eth0 -n 22 142.###.###.###
142.###.###.###:22 SSH-2.0-OpenSSH_8.4p1 Debian-5+deb11u3
Effective host scan rate: 1.49 hosts/s

_ähnlich_ sein.

[joker7575]

Den Befehl kannte ich bisher nicht, daher kann ich mit dem was als Antwort kommt nicht viel anfangen.
Aber das ist ja mein Problem, er lässt mich nicht rein. Offensichtlich lauscht er aber er antwortet nicht.

Beim suchen nach der Lösung fand ich immer wieder das in neustart helfen soll.
Nur traue ich mich nicht den zu machen, da die Cloud mit 3 Nutzern, ein Groupware-Server mit 4 Nutzern und mein Reverse-Proxy noch in der Umgebung laufen. Ob oder in welchem Umfang sie nach einem Neustart noch laufen???
Auch müsste ich den bereits migrierten Instanzen den Autostart nehmen, damit nicht die fest eingestellten IPs doppelt im Netzwerk sind.

Die VMs kann ich noch erreichen mit Webinterface und per ssh.

Ich müsste nur per ssh rein um in der Konsole die Klone der VMs zu erstellen, welche die Snaps eingebunden haben.
Würde ich nur die VDIs kopieren bin ich mit dem Stand um Monate zurückfallen, was für die Datenbanken wohl das sichere aus währe.

[mat6937]

Offensichtlich lauscht er aber er antwortet nicht.

Lt. nmap antwortet er oder etwas (denn "open"). Aber es geht auch etwas genauer. Z. B.:

Code: Alles auswählen

:~# nping -c 1 --tcp --flags syn -g 12345 -p 22 142.###.###.###

Starting Nping 0.7.91 ( https://nmap.org/nping ) at 2024-04-17 23:24 CEST
SENT (0.0651s) TCP 192.168.178.46:12345 > 142.###.###.###:22 S ttl=64 id=4709 iplen=40  seq=553229856 win=1480 
RCVD (0.0867s) TCP 142.###.###.###:22 > 192.168.178.46:12345 SA ttl=54 id=0 iplen=44  seq=873629777 win=64240 <mss 1460>
 
Max rtt: 21.221ms | Min rtt: 21.221ms | Avg rtt: 21.221ms
Raw packets sent: 1 (40B) | Rcvd: 1 (44B) | Lost: 0 (0.00%)
Nping done: 1 IP address pinged in 1.07 seconds

D. h. auf syn wird mit syn+ack geantwortet.

[joker7575]

Starting Nping 0.7.80 ( https://nmap.org/nping ) at 2024-04-17 23:55 CEST
SENT (0.0209s) TCP 192.168.0.yyy:12345 > 192.168.0.xx:22 S ttl=64 id=47780 iplen=40 seq=1426994230 win=1480
RCVD (0.0222s) TCP 192.168.0.xx:22 > 192.168.0.yyy:12345 SA ttl=64 id=0 iplen=44 seq=4152256163 win=29200 <mss 1460>

Max rtt: 1.310ms | Min rtt: 1.310ms | Avg rtt: 1.310ms
Raw packets sent: 1 (40B) | Rcvd: 1 (46B) | Lost: 0 (0.00%)
Nping done: 1 IP address pinged in 1.06 seconds

[mat6937]

SENT (0.0209s) TCP 192.168.0.yyy:12345 > 192.168.0.xx:22 S ttl=64 id=47780 iplen=40 seq=1426994230 win=1480
RCVD (0.0222s) TCP 192.168.0.xx:22 > 192.168.0.yyy:12345 SA ttl=64 id=0 iplen=44 seq=4152256163 win=29200 <mss 1460>

Ja, lauscht und antwortet auf dem bzw. vom Port 22, aber das muss nicht zwingend der sshd sein.

EDIT:

... oder auf deinem System ist es, ein "modifizierter" sshd?

[joker7575]

nein, standart openssh aus debian netinst cd

[MSfree]

nein, standart

Nein, standard, mit "d" am Ende!

Mit Arten von Markt- oder Messeständen hat das nämlich nichts zu tun.

[joker7575]

Toll das jemand aufpasst und so konstruktiv zur Lösung des Problems beiträgt.

[mat6937]

nein, standart openssh aus debian netinst cd

OK, aber ich habe noch kein openssh-Server gesehen, der nicht richtig auf:

Code: Alles auswählen

scanssh -I -s ssh -i <Interface> -n 22 <IP-Adresse>

geantwortet hat. Dann ist es evtl. etwas anderes, das die Anwort auf den Scan mit scanssh, verhindert bzw. verfälscht.

[joker7575]

Wie gesagt, beim Update einige Stufen übersprungen und jetzt das.....

Was am meisten nervt ist das ich mich mit Tastatur und Monitor am Server nicht anmelden kann.
Login Name wird abgefragt, wenn ich ihn eingebe kommt direkt wieder die Abfrage.

Ich habe keine Ahnung wie ich an das System komme ohne Runterfahren oder Neustarten.

ssh geht nicht
direkt einloggen geht nicht
Web-interface geht auch nicht

Ich kann nur versuchen die VMs zu erreichen um sie runter zu fahren und dann den Server kalt abschalten.
Irgendwie ist mir unwohl bei dem Gedanken.

Gibt es einen Befehl mit dem ich scannen kann was da auf Port 22 läuft?

[mat6937]

Gibt es einen Befehl mit dem ich scannen kann was da auf Port 22 läuft?

Versuch mal ohne -I und ohne -s. Z- B.:

Code: Alles auswählen

:~# scanssh -i eth0 -n 80 142.###.###.###    
142.###.###.###:80 Apache/2.4.56 (Debian)
Effective host scan rate: 5.24 hosts/s

Code: Alles auswählen

:~# scanssh -i eth0 -n 443 142.###.###.###
142.###.###.###:443 <ssh error on write: EV_EOF: Operation now in progress>
Effective host scan rate: 6.58 hosts/

D. h., vom Port 443 bekomme ich die Antwort, die Du vom Port 22 bekommst.

[joker7575]

scanssh -i enp2s0 -n 443 192.168.0.xx
192.168.0.xx:443 <refused>
Effective host scan rate: 0.35 hosts/s

scanssh -i enp2s0 -n 80 192.168.0.xx
192.168.0.xx:80 Apache/2.4.25 (Debian)
Effective host scan rate: 6.54 hosts/s

scanssh -i enp2s0 -n 22 192.168.0.xx
192.168.0.xx:22 <ssh error on write: EV_ERROR: Connection reset by peer>
Effective host scan rate: 1.93 hosts/s

scanssh -i enp2s0 -n 11111 192.168.0.xx
192.168.0.xx:11111 HTTP/1.0 400 Bad request
Effective host scan rate: 1.01 hosts/s

scanssh -i enp2s0 -n 111 192.168.0.xx
192.168.0.xx:111 <ssh error on write: EV_ERROR: Connection reset by peer>
Effective host scan rate: 40.00 hosts/s

scanssh -i enp2s0 -n 2049 192.168.0.xx
192.168.0.xx:2049 <ssh error on write: EV_EOF: Operation now in progress>
Effective host scan rate: 12.99 hosts/s

scanssh -i enp2s0 -n 9102 192.168.0.xx
192.168.0.xx:9102 <ssh error on write: EV_ERROR: Connection reset by peer>
Effective host scan rate: 1.10 hosts/s

So, das sind alle Ports die Angryip als offen anzeigt.