[gelöst] Hetzner, KVM-Gast bekommt kein Internet

[Exxter]

Hallo,

eventuell habt Ihr noch eine Idee woran es liegt, ich komme nach etlichen Tagen tüfteln auf keinen grünen Zweig.
Ich bin nach der Anleitung https://wiki.hetzner.de/index.php/KVM_m ... e_easy_way
vorgegangen. Doch der kvm-Gast kann keine Server pingen, bekommt kein Internetzugriff. Der Gast (.xml und .qcow2)
ist importiert von einem anderen Server auf dem das Netzwerk funktionierte.

Server: Debian Stretch
Gast: Debian Jessie

Die IP's des Servers:

Code: Alles auswählen

Haupt-IP:		11.11.11.11
Zweite:		  22.22.22.22

Gateway:		 ga.te.wa.y
Broadcast:	  11.11.11.127

Host

Code: Alles auswählen

################## /etc/network/interfaces HOST ##################

auto lo br0
iface lo inet loopback
iface lo inet6 loopback

auto eth0
iface eth0 inet static
  address 11.11.11.11
  netmask 255.255.255.224
  gateway ga.te.wa.y
  up route add -net ga.te.wa.y netmask 255.255.255.224 gw ga.te.wa.y dev eth0

auto  br0
iface br0 inet static
   address 11.11.11.11
   netmask 255.255.255.255
   bridge_ports none
   bridge_stp off
   bridge_fd 0
   bridge_maxwait 0
   up route add -host 22.22.22.22 dev br0

Code: Alles auswählen

################## ifconfig HOST ##################

root@host-system ~ # ifconfig
br0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 11.11.11.11  netmask 255.255.255.255  broadcast 11.11.11.11
        inet6 fe80::xxxx:xxxx:xxxx:3f0d  prefixlen 64  scopeid 0x20<link>
        ether fe:54:00:f0:da:2f  txqueuelen 1000  (Ethernet)
        RX packets 1595  bytes 111580 (108.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 115  bytes 5022 (4.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 11.11.11.11  netmask 255.255.255.224  broadcast 11.11.11.127
        inet6 fe80::xxxx:xxxx:xxxx:2b25  prefixlen 64  scopeid 0x20<link>
        ether d4:3d:7e:32:2b:25  txqueuelen 1000  (Ethernet)
        RX packets 771118  bytes 129224833 (123.2 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 964952  bytes 352674297 (336.3 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1  (Lokale Schleife)
        RX packets 2348041  bytes 254754356 (242.9 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 2348041  bytes 254754356 (242.9 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

tun0: flags=4305<UP,POINTOPOINT,RUNNING,NOARP,MULTICAST>  mtu 1500
        inet 10.8.0.1  netmask 255.255.255.255  destination 10.8.0.2
        inet6 fe80::xxxx:xxxx:xxxx:1c67  prefixlen 64  scopeid 0x20<link>
        unspec 00-00-00-00-00-00-00-00-00-00-00-00-00-00-00-00  txqueuelen 100  (UNSPEC)
        RX packets 273  bytes 16372 (15.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 291  bytes 12052 (11.7 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

vnet0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet6 fe80::xxxx:xxxx:xxxx:da2f  prefixlen 64  scopeid 0x20<link>
        ether fe:54:00:f0:da:2f  txqueuelen 1000  (Ethernet)
        RX packets 286  bytes 23496 (22.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 22  bytes 1116 (1.0 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Code: Alles auswählen

################## route HOST ##################

root@host-system ~ # route -n
Kernel-IP-Routentabelle
Ziel            Router          Genmask         Flags Metric Ref    Use Iface
0.0.0.0         ga.te.wa.y    0.0.0.0         UG    0      0        0 eth0
10.8.0.0        10.8.0.2        255.255.255.0   UG    0      0        0 tun0
10.8.0.2        0.0.0.0         255.255.255.255 UH    0      0        0 tun0
11.11.11.96     0.0.0.0         255.255.255.224 U     0      0        0 eth0
22.22.22.22     0.0.0.0         255.255.255.255 UH    0      0        0 br0
root@host-system ~ #

Code: Alles auswählen

################## sysctl HOST ##################

root@host-system ~ # sysctl -a |grep net.ipv4.ip_forward
net.ipv4.ip_forward = 1
[...]

root@host-system ~ # sysctl -a |grep send_redirects
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.br0.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.eth0.send_redirects = 0
net.ipv4.conf.lo.send_redirects = 1
net.ipv4.conf.tun0.send_redirects = 1
net.ipv4.conf.vnet0.send_redirects = 0
[...]  

Gast

Code: Alles auswählen

################## /etc/network/interfaces GAST ##################

source /etc/network/interfaces.d/*

auto eth0
iface eth0 inet static
      address 22.22.22.22
      netmask 255.255.255.255
      gateway 11.11.11.11
      pointopoint 11.11.11.11
      # dns-* options are implemented by the resolvconf package, if installed
      dns-nameservers 213.133.98.98 213.133.99.99

Code: Alles auswählen

################## ifconfig GAST ##################

root@gast-vm:~$ ifconfig
eth0      Link encap:Ethernet  HWaddr 52:54:00:f0:da:2f
          inet addr:22.22.22.22  Bcast:22.22.22.22  Mask:255.255.255.255
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:10 errors:0 dropped:0 overruns:0 frame:0
          TX packets:139 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:460 (460.0 B)  TX bytes:11432 (11.1 KiB)

lo        Link encap:Local Loopback
          inet addr:127.0.0.1  Mask:255.0.0.0
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:207 errors:0 dropped:0 overruns:0 frame:0
          TX packets:207 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:76287 (74.4 KiB)  TX bytes:76287 (74.4 KiB)

root@gast-vm:~$

Code: Alles auswählen

################## route GAST ##################

root@gast-vm:~$ route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         11.11.11.11     0.0.0.0         UG    0      0        0 eth0
11.11.11.11     0.0.0.0         255.255.255.255 UH    0      0        0 eth0
root@gast-vm:~$

Ich habe eine extra MAC für die zweite IP beantragt und im VM-Gast auch so benutzt
(inkl. 'ip neigh flush all'), es hat nichts geändert. Jetzt nutze ich wieder die original
MAC die von kvm vergeben wurde.

Firewall ist keine angelegt.

Hat jemand eine Idee, wo der Fehler ist?

[gbotti]

Hi.

Wie sieht denn die Konfiguration der VM selbst aus?

[Exxter]

Das habe ich vergessen, sorry:

Code: Alles auswählen

<interface type='bridge'>
      <mac address='52:54:00:f0:da:2f'/>
      <source bridge='br0'/>
      <model type='rtl8139'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </interface>

Dort habe ich schon die MAC geändert. Da eth0 im Gast up ist denke ich, müsste der Treiber rtl8139 ok sein (bei Bedarf kann ich auch die komplette xml posten).

[gbotti]

Habs gesehen.

Die Konfiguration für eth0 und br0 sind falsch. Das müsste in etwa so aussehen:

Code: Alles auswählen

auto eth0
iface eth0 inet manual

auto  br0
iface br0 inet static
   address 11.11.11.11
   netmask 255.255.255.255
   bridge_ports eth0
   bridge_stp off
   bridge_fd 0
   bridge_maxwait 0
   up route add -host 22.22.22.22 dev br0

Bei deiner Konfiguration hat eth0 eine eigene IP. Du solltest dafür aber die Bridge benutzen. Die Bridge weiß nicht über welches Interface es arbeiten soll...

[Exxter]

War es leider nicht. Habe es so auf dem Host umgebaut (am Gast habe ich nichts verändert):

Code: Alles auswählen

iface lo inet loopback
iface lo inet6 loopback

auto eth0
iface eth0 inet manual

auto  br0
iface br0 inet static
   address 11.11.11.11
   netmask 255.255.255.255
   gateway 11.11.11.97
   bridge_ports eth0
   bridge_stp off
   bridge_fd 0
   bridge_maxwait 0
   up route add -host 22.22.22.22 dev br0

Die Routingtabelle auf dem Host:

Code: Alles auswählen

root@host-system ~ # route -n
Kernel-IP-Routentabelle
Ziel            Router          Genmask         Flags Metric Ref    Use Iface
0.0.0.0         11.11.11.97     0.0.0.0         UG    0      0        0 br0
10.8.0.0        10.8.0.2        255.255.255.0   UG    0      0        0 tun0
10.8.0.2        0.0.0.0         255.255.255.255 UH    0      0        0 tun0
11.11.11.122    0.0.0.0         255.255.255.255 UH    0      0        0 br0
root@host-system ~ #

Code: Alles auswählen

root@host-system ~ # ifconfig
br0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 11.11.11.11  netmask 255.255.255.255  broadcast 11.11.11.11
        inet6 fe80::d63d:xxxx:xxxx:2b25  prefixlen 64  scopeid 0x20<link>
        ether d4:3d:7e:32:2b:25  txqueuelen 1000  (Ethernet)
        RX packets 68872  bytes 7324121 (6.9 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 131438  bytes 51553663 (49.1 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        ether d4:3d:7e:32:2b:25  txqueuelen 1000  (Ethernet)
        RX packets 70161  bytes 8386356 (7.9 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 131421  bytes 51552796 (49.1 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
[...]

Hm. Wenn ich jetzt die heise.de IP vom Gast aus pinge kommt:

Code: Alles auswählen

root@gast-vm:~$ ping 193.99.xxx.xxx
PING 193.99.144.80 (193.99.144.80) 56(84) bytes of data.
From 144.76.38.xxx: icmp_seq=1 Redirect Host(New nexthop: 144.76.38.xxx)
From 144.76.38.xxx: icmp_seq=2 Redirect Host(New nexthop: 144.76.38.xxx)
From 144.76.38.xxx: icmp_seq=3 Redirect Host(New nexthop: 144.76.38.xxx)
From 144.76.38.xxx: icmp_seq=4 Redirect Host(New nexthop: 144.76.38.xxx)
^C
--- 193.99.144.80 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3003ms

root@gast-vm:~$

Das ist neu.

[gbotti]

Was passiert denn wenn du einen traceroute laufen lässt?

- Auf den Host selbst
- Auf das Gateway
- Auf irgend eine öffentliche IP, 8.8.8.8 Beispielsweise

[Exxter]

Immer das gleiche:

Code: Alles auswählen

root@gast-vm:~$ traceroute 11.11.11.11
traceroute to 11.11.11.11 (11.11.11.11), 30 hops max, 60 byte packets
send: Operation not permitted

root@gast-vm:~$ traceroute 11.11.11.97
traceroute to 11.11.11.97 (11.11.11.97), 30 hops max, 60 byte packets
send: Operation not permitted

root@gast-vm:~$ traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
send: Operation not permitted
root@gast-vm:~$

[gbotti]

Ändere bitte mal noch die Netmask der Bridge von 255.255.255.255 auf 255.255.255.224

[Exxter]

Gemacht, gut gesehen, wars aber leider nicht:

Code: Alles auswählen

root@gast-vm:~$ traceroute 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
send: Operation not permitted

root@gast-vm:~$ ping 193.99.144.80
PING 193.99.144.80 (193.99.144.80) 56(84) bytes of data.
ping: sendmsg: Operation not permitted
ping: sendmsg: Operation not permitted
ping: sendmsg: Operation not permitted
ping: sendmsg: Operation not permitted
^C
--- 193.99.144.80 ping statistics ---
4 packets transmitted, 0 received, 100% packet loss, time 3024ms

root@gast-vm:~$ traceroute 11.11.11.11
traceroute to 11.11.11.11 (11.11.11.11), 30 hops max, 60 byte packets
send: Operation not permitted
root@gast-vm:~$

Ich mache dann jedes mal ein reboot des Hosts, wenn ich Einstellungen ändere.

Ich habe beim Gast mal in der /etc/network/interfaces die netmask von 255.255.255.255 auf 255.255.255.224 geändert. Komischerweise übernimmt er trotz reboot diese Einstellung nicht, unter ifconfig wird immer noch die alte angezeigt.

[Exxter]

Ich habe jetzt lokal nochmal ein frisches Debian Jessie in eine kvm installiert, danach hochgeladen und auf dem Hetzner Server importiert. Das Netzwerk konfiguriert wie in meinem ersten Posting und es ist exakt das gleiche Verhalten, ich werde noch zum Hirsch! Immerhin weiß ich jetzt, dass es nicht am Gast liegt. Die Konfiguration bei Hetzner wurde auch überprüft, die zweite IP konnte man im Rescue-System konfigurieren (ohne kvm) und war dort von außen erreichbar, an Hetzner liegt es also nicht.

Edit: Endlich eine neue Spur. In der /etc/libvirt/libvirtd.conf auf debug umstellen, jetzt bekomme ich folgende Log wenn ich den Gast starte:

Code: Alles auswählen

May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevAddOneDevice:1163 : Discarding device -1 0x7f4adc291d20 /sys/devices/virtual/misc/vga_arbiter
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevProcessDeviceListEntry:1185 : Failed to create node device for udev device '/sys/devices/virtual/misc/vga_arbiter'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevGetDeviceProperty:81 : Found property key 'DRIVER' value '<null>' for device with sysname 'br0'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevGetDeviceType:970 : Could not determine device type for device with sysfs name 'br0'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevAddOneDevice:1163 : Discarding device -1 0x7f4adc291d20 /sys/devices/virtual/net/br0
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.101+0000: 1723: debug : udevProcessDeviceListEntry:1185 : Failed to create node device for udev device '/sys/devices/virtual/net/br0'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : udevGetDeviceProperty:81 : Found property key 'DRIVER' value '<null>' for device with sysname 'lo'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : udevGetDeviceProperty:81 : Found property key 'SUBSYSTEM' value 'net' for device with sysname 'lo'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : udevGetDeviceProperty:81 : Found property key 'INTERFACE' value 'lo' for device with sysname 'lo'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : udevGetDeviceSysfsAttr:145 : Found sysfs attribute 'address' value '00:00:00:00:00:00' for device with sysname 'lo'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : udevGetDeviceSysfsAttr:145 : Found sysfs attribute 'addr_len' value '6' for device with sysname 'lo'
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.102+0000: 1723: debug : virFileClose:108 : Closed fd 19
May 16 11:27:14 host-system libvirtd[1707]: 2017-05-16 09:27:14.118+0000: 1723: debug : virFileClose:108 : Closed fd 19

Ok, nützt wohl nicht viel...

Aber ich kann vom Gast aus die IP des Hosts anpingen.

[Exxter]

Habs gefunden. Die separate MAC-Adresse störte, ich ging davon aus die wird benötigt, wird sie aber nicht.