KVM Netzperformance

[phenom]

Hallo,

ich setze hier privat KVM ein und habe auch eine virtuelle Maschine am Laufen, nun habe ich mal interessehalber die Netzwerkperformance mit den virtio Treibern getestet, als Vergleich habe ich ein paravirtualisiertes System hergenommen das mittels XEN virtualisiert wurde..als Host kam beide Male die identische Maschine zum Einsatz.
Ich befinde mich in einem Gigabit-LAN, auf der Gegenstelle habe ich ein NAS, das Ding schreibt locker 150 MB/s, daher kann dort der Flaschhals nicht stecken.
Die domU die mittels XEN paravirtualisiert betrieben wurde, schrieb mit ca. 100 MB/s auf das NAS, das entspricht ungefähr der lesegeschwindigkeit der Platten des Hosts, plus der Overhead durch die Virtualisierung, aber bei 100 MB/s kann man nicht meckern,
das System ist übrigens ein SLES11, mit einer SLES11 domU, die Gigabit-Netzwerkkarte lief im full duplex Modus.
Das selbe Szenario unter Squeeze, die dom0 erkennt die Gigabit-Karte im full duplex Modus, daher kein Problem (laut ethtool).

Hier die Konfiguration der KVM domU (Squeeze)

<domain type='kvm'>
<name>vm01</name>
<uuid>13cc6443-f533-0af5-ebe4-a9b7db5f5b8c</uuid>
<memory>1048576</memory>
<currentMemory>1048576</currentMemory>
<vcpu>1</vcpu>
<os>
<type arch='x86_64' machine='pc-0.12'>hvm</type>
<boot dev='hd'/>
</os>
<features>
<acpi/>
<apic/>
<pae/>
</features>
<clock offset='utc'/>
<on_poweroff>destroy</on_poweroff>
<on_reboot>restart</on_reboot>
<on_crash>restart</on_crash>
<devices>
<emulator>/usr/bin/kvm</emulator>
<disk type='file' device='disk'>
<driver name='qemu' type='raw'/>
<source file='/kvm/img/vm01.img'/>
<target dev='hda' bus='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
</disk>
<disk type='block' device='cdrom'>
<driver name='qemu' type='raw'/>
<target dev='hdc' bus='ide'/>
<readonly/>
<address type='drive' controller='0' bus='1' unit='0'/>
</disk>
<controller type='ide' index='0'>
<address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
</controller>
<interface type='bridge'>
<mac address='52:54:00:83:07:c8'/>
<source bridge='br0'/>
<model type='virtio'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
</interface>
<serial type='pty'>
<target port='0'/>
</serial>
<console type='pty'>
<target type='serial' port='0'/>
</console>
<input type='mouse' bus='ps2'/>
<graphics type='vnc' port='5902' autoport='no' keymap='de'/>
<video>
<model type='cirrus' vram='9216' heads='1'/>
<address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
</video>
<memballoon model='virtio'>
<address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
</memballoon>
</devices>
</domain>

Disk u. Netzwerk werden paravirtualisiert betrieben, hier die Ausgabe von lsmod innerhalb der KVM domU

virtio 3309 4 virtio_balloon,virtio_blk,virtio_net,virtio_pci

Um es kurz zu machen das Ding schreibt mit maximal 40 - 50 MB auf die NAS, XEN mit nahezu doppelter Geschwindigkeit..
Mache ich etwas falsch?

VG phenom

[syssi]

Hi,

ich hab keine Loesung noch eine gefestigte Meinung zu deinem Problem - aber einen Link.
http://vmstudy.blogspot.com/2010/04/net ... -vt-d.html

Gruss syssi

[phenom]

Auch wenn es keine mögliche Lösung ist, trotzdem Danke
Bin echt am verzweifeln mit KVM...

[ThorstenS]

Hast du mal anstelle von virtio eine e1000 Hardware durchgereicht? Wie schauts da mit dem Durchsatz aus?
(Meine KVM Installation ist nicht performancekritisch, habe keine Test gemacht bisher)

[phenom]

e1000 habe ich auch bereits durchgereicht, allerdings waren die Werte grob gesagt 10-20 % schlechter als mit den virtio Treibern, daher keine Alternative.

[ThorstenS]

du könntest natürlich mal den 2.6.37 aus sid testen.

[phenom]

Denkst du dies würde etwas bringen?
Ich denke das die paravirtuellen Treiber hier der Flaschenhals sind..
Wobei mich dies erstaunt, den ich dachte KVM benötigt wesentlich weniger hoops und Intervalle als XEN da die KVM im Endeffekt als Modul arbeitet und die Schnittstelle zum Hypervisor fehlt..
Leider ist das Ganze bei mir richtig performancekritisch.

[Colttt]

ok.. hast du mal die performance vom host gemessen?! wie ist sie dort?? evtl gehts ja dort schon los? und wie misst du die performance?

[ThorstenS]

seit dem 32er hat sich ne Menge bei KVM und den virtio Treibern getan. Ich würde es in jedem Fall ausprobieren.
Derzeit bin ich krank zu Hause, kann den 37er auf meinem Produktivsystem noch nicht testen. Das werde ich aber
in jedem Fall tun.

[phenom]

Die Performance des Hosts habe ich auch gemessen.
Festplattenlesegeschwindigkeit lag bei ca. 100 MB/s, dabei habe ich hdparm -tT /dev/sda1 verwendet, und aus 10 Messungen den Durchschnittswert ermittelt, der wie gesagt bei runden 100 MB lag..
Die CPU ist ein Core 2 Duo e8500 mit den benötigten Flags, Dampf hat das Ding allemal..
Die Übertragungsgeschwindigkeit der Netzwerkkarte, indem ich mir einen NFS-Share von dem NAS eingehängt habe, und die Daten mittels dd geschrieben habe..NFS läuft meiner Meinung nach performatner als das SMB-Protokoll daher die viel die Wahl auf NFS.
Die Gigabit-Karte läuft mit 1000 Mbits im full duplex Modus, weitrrgerreicht mittels bridge br0 an die domU.
Noch zur Info, auf der domU läuft im Endeffekt nur ein SSH-Server, X deaktiviert und alle weiteren Dienste die bremsend wirken könnten..
Und wie gesagt, hänge ich mir deb NFS-Share des NAS an der dom0 aus und innerhalb der KVM domU ein, heisst ungefahr halber Durchsatz

[Colttt]

hast du meherere VMs am laufen? habn sie auch alle eine unterschiedliche MAC-adresse??

hast du es mal ganz simpel gemacht und kvm von der konsole gestartet und dabei so wenig wie möglich parameter genutzt?!

[phenom]

Es läuft nur eine virtuelle Maschine..diese hat auch eindeutig eine andere MAC

Das habe ich auch, bin im Moment nicht an der Maschine deshalb kann ich es nicht genau sagen, das hab ich noch so im Hinterkopf:

kvm -k de -drive file=/kvm/img/vm01.img,if=virtio,cache=writeback,boot=on -m 1024 -smp cores=1 -net nic,model=virtio,macaddr=00:00:00:00:00:04 -net tap,script=/etc/kvm/ifup-kvm