KVM VGA Passtrough - konsole hängt sich auf

[BLACKDIAMONT]

Hallo zusammen,

ich habe ein Problem beim einrichten von KVM und VGA Passthrough, nach der anleitung von https://wiki.debian.org/VGAPassthrough habe ich versucht mein Nvidia Grafikkarte mit dem befehl echo '0000:01:00.1' | tee /sys/bus/pci/devices/0000:01:00.0/driver/unbind "abzukoppeln". Jedoch hängt sich dabei die Konsole auf, und mir bleibt nur ein reboot.

Selbiges wenn ich versuche in /sys/bus/pci/drivers/vfio-pci/new_id meine karte einzutragen.

Ich habe alle kvm und virtio module geladen und auch den nuveau treiber auf die Blacklist gesetzt aber das Hilft anscheinend auch nichts :/

Google spukt mir dazu nicht wirklich etwas aus......

Kann mir irgendjemand sagen ob ich was Falsch mache oder mir irgendwie Helfen?

System ist
i5-4460
MSI-B85M-G43 (neuste UEFI)
32GB RAM
120GB Muskin Chronos Deluxe SSD
Debian Jessie 64bit

[NAB]

1) Ein "unbind" sollte gar nicht nötig sein. Der Treiber für die Grafik der betreffenden Karte darf gar nicht erst geladen werden.

2) Bei mir hat ein Eintrag in /etc/modules auch nicht gereicht. Versuche in Grub "modprobe.blacklist=nouveau" als Kernelparameter zu übergeben. In der xorg.conf sollte der Treiber dann natürlich auch nicht geladen werden, ebensowenig wie der Nvidia-Treiber.

3) Die im Debian-Wiki beschriebene Methode setzt einen Kernel mit "CONFIG_VFIO_PCI_VGA=y" vorraus. Das fehlt sämtlichen Kerneln von Wheezy inkl. Backports. Du brauchst also einen Kernel von Jessie oder Experimental/Snapshots.

[BLACKDIAMONT]

Der Kernel supported dies hab ich gecheckt

Ich versuche gerade eine windows 7 vm zum laufen zu bringen, ich habe zwar einige xml configs gefunden aber bisher passt keins davon.

error: internal error Only PCI domain 0 and bus 0 are available usw.....

Aktuell versuche ich howtos mit ubuntu durchzugehen z.b. http://www.netz-guru.de/2014/12/08/wind ... er-ubuntu/

Habe auch mit virt-manager versucht die Karte zuzuweisen aber gibt mir auch den Fehler das der bus aktiv ist und nich resettet wird

Alles sehr tricky

EDIT: bin etwas weiter habe die config sauber reinbekommen leider startet die vm nicht :/

error : qemuMonitorIORead:523 : Unable to read from monitor: Connection reset by peer

ein monitor gibts ja nicht......vnc etc ist nicht eingetragen

[Cae]

Kurze Nachfrage: Du hast zwei Grafikkarten? Den gerade zur Bildausgabe verwendeten Chip kannst du nicht gleichzeitig in die VM haengen.

Gruss Cae

[NAB]

Ja, hat er ... die Interne von Intel, die liegt üblicher Weise auf 0000:00:XX.0, und eine Nvidia auf 0000:01:00.0.

[BLACKDIAMONT]

Jau stimmt

Eventuell liegts ja an der Nvidia karte? Ist eine Zotac GT520 Synergy edition......hat zwar nicht viel Leistung aber das ist erstmal nebensächlich.

Zur not kann ich meine GTX 750 Ti nehmen

Hab jetzt aber durch mein rumspielen irgendwie was verheizt, bootet nicht mehr in Desktop O.o

Setz ich Nachher mal Frisch auf.

Grüsse
Marco

[NAB]

Eventuell liegts ja an der Nvidia karte?

Mit Spekulationen kommen wir hier aber nicht weiter. Entweder du beschreibst dein Vorgehen und die Fehlermeldungen genau, oder man könnte auch spekulieren, dass es an dir liegt

Ubrigens ... das BIOS muss so konfiguriert sein, dass die Intel-Karte als erste initialisiert wird. Die BIOS-Meldungen müssen also auf den Monitor ausgegeben werden, der direkt am Mainboard hängt.

[BLACKDIAMONT]

Ich bezweifle das es an mir liegt

Und ja die Intel ist die aktive GPU, da ja die nvidia komplett einer VM zugeordnet wird(sofern ich das prinzip richtig verstanden habe).

Vorgehensweise dabei ist:

Debian Jessie 64 bit Desktop installation

qemu-kvm und libvirt-bin installieren

in /etc/modules

Code: Alles auswählen

pci_stub
vfio
vfio_iommu_type1
vfio_pci
kvm
kvm_intel

in /etc/default/grub

Code: Alles auswählen

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on vfio_iommu_type1.allow_unsafe_interrupts=1"

in /etc/modprobe.d/blacklist.conf

Code: Alles auswählen

blacklist nouveau

in /etc/initramfs-tools/modules(ids aus howto hab meine nicht im kopf grad)

Code: Alles auswählen

pci_stub ids=10de:1200,10de:0e0c

anschliessend wie im debian howto unbinden

Code: Alles auswählen

echo '0000:01:00.1' | tee /sys/bus/pci/devices/0000:01:00.1/driver/unbind

und vfio-pci geben(ids aus howto)

Code: Alles auswählen

echo 1002 6739 | sudo tee /sys/bus/pci/drivers/vfio-pci/new_id

Zwischendurch rebooten damit änderungen greifen...

xml erstellen ohne vnc und virtuelle gpu mit:

Code: Alles auswählen

<qemu:commandline>
    <qemu:arg value='-device'/>
    <qemu:arg value='ioh3420,bus=pcie.0,addr=1c.0,multifunction=on,port=1,chassis=1,id=root.1'/>
    <qemu:arg value='-device'/>
    <qemu:arg value='vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=on'/>
    <qemu:arg value='-device'/>
    <qemu:arg value='vfio-pci,host=01:00.1,bus=root.1,addr=00.1'/>
  </qemu:commandline>

Das ist mein aktueller Stand welcher den Fehler gibt:

Code: Alles auswählen

error : qemuMonitorIORead:523 : Unable to read from monitor: Connection reset by peer

EDIT: Ich habe das System frisch aufgesetzt, jetzt kommt kein qemu Fehler sondern libvirt mag mein xml nicht :/

Code: Alles auswählen

<controller type='pci' index='0' model='pcie-root'>                                                                 
      <alias name='pcie.0'/>                                                                                            
    </controller>                                                                                                       
    <controller type='pci' index='1' model='dmi-to-pci-bridge'>                                                         
      <alias name='pci.1'/>

Code: Alles auswählen

error: internal error: Invalid PCI controller modell -1

[NAB]

in /etc/default/grub

Code: Alles auswählen

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on vfio_iommu_type1.allow_unsafe_interrupts=1"

Das "vfio_iommu_type1.allow_unsafe_interrupts=1" solltest du weglassen, solange es nicht unbedingt nötig ist:
http://vfio.blogspot.de/2014/08/vfiovga-faq.html

anschliessend wie im debian howto unbinden

Code: Alles auswählen

echo '0000:01:00.1' | tee /sys/bus/pci/devices/0000:01:00.1/driver/unbind

und vfio-pci geben(ids aus howto)

Code: Alles auswählen

echo 1002 6739 | sudo tee /sys/bus/pci/drivers/vfio-pci/new_id

Richtig ... eigentlich müsstest du nur die HDMI-Soundkarte "unbind"en, da die Grafikkarte eh von keinem Treiber belegt sein sollte. Danach müsstest du aber sowohl der Grafik- als auch der Soundkarte den vfio-pci Treiber zuweisen ... hier machst du das aber nur mit einer Karte.
Funktioniert das denn? Sagt "lspci -k", dass danach sowohl Sound- als auch Grafikkarte den vfio-pci-Treiber benutzen?

xml erstellen ohne vnc und virtuelle gpu mit:

Genau das geht nicht. Der Intel-Treiber hat einen kaputten VGA Arbiter. Du brauchst also entweder eine virtuelle GPU als Primärkarte im Gast (meiner Meinung nach die bessere Alternative, solange du nur Spielen willst)) oder den "i915 vga arbiter patch" im Kernel:
https://bbs.archlinux.org/viewtopic.php?id=162768

Code: Alles auswählen

error : qemuMonitorIORead:523 : Unable to read from monitor: Connection reset by peer

Ah, du benutzt libvirt ... daher die komischen Fehlermeldungen
Wie wäre es, wenn du es erst mal mit dem nackten qemu versuchst ... bei libvirt sind die Fehlermeldungen immer so unhilfreich. Steht sonst unter /var/log/libvirt/ noch was Erhellendes?

Code: Alles auswählen

error: internal error: Invalid PCI controller modell -1

Das ist jetzt offensichtlich falsch abgetippt mit dem "modell", da frag ich mich, was sonst noch Tippfehler sein könnten. Anscheinend gefällt ihm das "model" nicht, also sowas wie 'pcie-root'. Könnte da nen Fehler drin sein?

[BLACKDIAMONT]

Code: Alles auswählen

01:00.0 VGA compatible controller: NVIDIA Corporation GM107 [GeForce GTX 750 Ti] (rev a2)
        Subsystem: eVga.com. Corp. Device 3753
        Kernel driver in use: vfio-pci
01:00.1 Audio device: NVIDIA Corporation Device 0fbc (rev a1)
        Subsystem: eVga.com. Corp. Device 3753
        Kernel driver in use: vfio-pci

sieht gut aus oder?

Also ich möchte ja die Nvidia auf die vm binden und die intel für den host lassen ohne an eine vm zu geben etc.

Ja das ich Spiele probieren möchte stimmt, das eigentliche Ziel ist ein Server(nein nicht zum zoggen im RZ) welcher älter Programme/Spiele starten soll in einer VM.

@letzter fehler
ja hab ich abgetippt vom zweiten Monitor daher das l zuviel

Bisher habe ich mit Libvirt gearbeitet da ich kvm schon auf anderen Servern einsetze

http://ubuntuforums.org/showthread.php?t=2262280
Der hat sich ein bash script geschrieben, keine Ahnung ob das was währe O.o

Wie würde das mit reinem Qemu aussehen?

EDIT
Hier meine xml welche nicht funktionieren möchte:

Code: Alles auswählen

<domain type='kvm'>
  <name>windows</name>
  <uuid>1e84aab9-0e73-5691-f000-af312493ef00</uuid>
  <memory unit='KiB'>8388608</memory>
  <currentMemory unit='KiB'>8388608</currentMemory>
  <vcpu placement='static'>4</vcpu>
  <os>
    <type arch='x86_64' machine='q35'>hvm</type>
    <boot dev='cdrom'/>
  </os>
  <features>
    <acpi/>
    <apic/>
    <pae/>
  </features>
  <cpu mode='host-model'>
    <model fallback='allow'/>
  </cpu>
  <clock offset='localtime'/>
  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
  <on_crash>restart</on_crash>
  <devices>
    <emulator>/usr/bin/qemu-system-x86_64</emulator>
    <disk type='file' device='disk'>
      <driver name='qemu' type='raw' cache='writeback'/>
      <source file='/var/lib/libvirt/images/win7.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <source file='/media/syno/windows/Windows_7_SP1_DE_AIO_X64.iso'/>
      <target dev='hdc' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>
    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <source file='/media/syno/linux/virtio-win-0.1-100.iso'/>
      <target dev='hdd' bus='ide'/>
      <readonly/>
      <address type='drive' controller='0' bus='0' target='0' unit='1'/>
    </disk>
    <controller type='pci' index='0' model='pcie-root'>
        <alias name='pcie.0'/>
    </controller>
    <controller type='pci' index='1' modell='dmi-to-pci-bridge'>
        <address type='pci' domain='0' bus='0' slot='0xe' function='0'/>
    </controller>
    <controller type='pci' index='2' modell='pci-bridge'>
        <address type='pci' domain='0' bus='1' slot='1' funtion='1'/>
    </controller>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x01' slot='0x03' function='0x0'/>
    </controller>
    <controller type='usb' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <interface type='direct'>
      <mac address='54:52:00:5d:f0:f0'/>
      <source dev='eth0' mode='vepa'/>
      <model type='virtio'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0'/>
    </interface>
    <serial type='pty'>
      <target port='0'/>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
    </console>
    <input type='tablet' bus='usb'/>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </memballoon>
  </devices>
  <qemu:commandline>
    <qemu:arg value='-vnc'/>
    <qemu:arg value=':1'/>
    <qemu:arg value='-device'/>
    <qemu:arg value='ioh3420,bus=pcie.0,addr=1c.0,multifunction=on,port=1,chassis=1,id=root.1'/>
    <qemu:arg value='-device'/>
    <qemu:arg value='vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=on'/>
    <qemu:arg value='-device'/>
    <qemu:arg value='vfio-pci,host=01:00.1,bus=root.1,addr=00.1'/>
    <qemu:env name='QEMU_AUDIO_DRV' value='alsa'/>
  </qemu:commandline>
</domain>

[NAB]

sieht gut aus oder?

Jupp, sehr gut!

Also ich möchte ja die Nvidia auf die vm binden und die intel für den host lassen ohne an eine vm zu geben etc.

Jaaa .... und?

http://ubuntuforums.org/showthread.php?t=2262280
Der hat sich ein bash script geschrieben, keine Ahnung ob das was währe O.o

Ja, sowas hab ich mir auch zusammengefrickelt ... das kannst du später machen, wenn alles läuft.

Wie würde das mit reinem Qemu aussehen?

Schau doch mal in das Script aus deinem Link! Die endlose Zeile, die mit "sudo qemu-system-x86_64" anfängt. Statt "-vga none" solltest du "-vga cirrus" nehmen, das spart dir das Patchen des Kernels.

Hier meine xml welche nicht funktionieren möchte:

Ich klick mir die Dinger immer mit Virt-Manager zusammen und brauch dann mindestens 3 Versuche, wenn ich manuell was drin ändern muss, damit es endlich läuft. Und ich bin noch bei Wheezy und hab keine Ahnung, welche Neuerungen libvirt bei Jessie mitbringt.

Aber ... das "modell" fällt mir sofort auf. Wieder abgetippt?

[BLACKDIAMONT]

Ups ja falsch abgetippt^^

Okay ich probier mal bisschen rum

Wie ist das wenn ich eine cirrus emuliere, benutzt er dann überhaupt die nvidia? O.o

[NAB]

Wie ist das wenn ich eine cirrus emuliere, benutzt er dann überhaupt die nvidia? O.o

Windows bootet dann über die virtuelle Cirrus-Karte, genau wie dein Rechner gerade über die interne Intel-Karte bootet. Das ist sehr unbeliebt in Internet-Cafes, wo du mit einem Rechner mit vier Grafikkarten dem Kunden vier spieletaugliche Rechner vorgaukeln kannst. Da willst du keine Cirrus-Krücke auf einem zweiten Monitor haben, die den Kunden verwirrt.

Für "zuhause" bedeutet das lediglich, dass du auf dem primären Monitor, auf dem Debian läuft, diese virtuelle Cirrus-Grafik mit dem laufenden Windows darstellen musst, um Windows zu bedienen. Sobald die sekundäre Nvidia-Karte einwandfrei erkannt wird inklusive Treibern, kannst du die Cirrus-Karte unter Windows einfach "deaktivieren". (Bitte nicht "entfernen", sonst bootet Windows nie wieder). Das musst du bei jedem Booten von Windows machen, das lässt sich aber auch automatisieren. (Wobei ... du "musst" das nicht machen ... ich finde es praktisch, durch die Cirrus-Karte den Windows-Desktop auf zwei Monitore ausdehnen zu können)

Die Alternative ist ein Kernel, den du bei jeder Aktualisierung immer wieder patchen musst, und der Verlust der 3D-Beschleunigung auf der Intel-Grafik. Da halt ich die Cirrus-Grafik für das kleinere Übel.

[BLACKDIAMONT]

Ich hab das jetz mal Probiert mit der cirrus, läuft soweit.

Die nvidia wird erkannt auch das hdmi audio, allerdings sagt Windows folgendes:

Code: Alles auswählen

Für dieses Gerät sind nicht genügend Ressourcen verfügbar(Code12)

Wenn Sie dieses Gerät nutzen möchten, müssen Sie ein anderes Gerät mit Anschluss an den Computer deaktivieren

Hab ich irgendwas vergessen?^^

Hab das benutzt von dem Link mit meinen ids :/

EDIT:

Sehe gerade in den Logs:

Code: Alles auswählen

[16040.786709] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set

EDIT2:

Grad nochmal rebootet:

Code: Alles auswählen

[    0.000000] ACPI: DMAR 0x00000000C8FABE08 0000B8 (v01 INTEL  HSW      00000001 INTL 00000001)
[    0.000000] Intel-IOMMU: enabled
[    0.038567] dmar: IOMMU 0: reg_base_addr fed90000 ver 1:0 cap c0000020660462 ecap f0101a
[    0.038571] dmar: IOMMU 1: reg_base_addr fed91000 ver 1:0 cap d2008020660462 ecap f010da
[    0.038637] IOAPIC id 8 under DRHD base  0xfed91000 IOMMU 1
[    0.451753] DMAR: No ATSR found
[    0.451775] IOMMU 0 0xfed90000: using Queued invalidation
[    0.451775] IOMMU 1 0xfed91000: using Queued invalidation
[    0.451777] IOMMU: Setting RMRR:
[    0.451787] IOMMU: Setting identity map for device 0000:00:02.0 [0xcb000000 - 0xcf1fffff]
[    0.452121] IOMMU: Setting identity map for device 0000:00:14.0 [0xc9ea4000 - 0xc9eb2fff]
[    0.452144] IOMMU: Setting identity map for device 0000:00:1a.0 [0xc9ea4000 - 0xc9eb2fff]
[    0.452162] IOMMU: Setting identity map for device 0000:00:1d.0 [0xc9ea4000 - 0xc9eb2fff]
[    0.452176] IOMMU: Prepare 0-16MiB unity mapping for LPC
[    0.452182] IOMMU: Setting identity map for device 0000:00:1f.0 [0x0 - 0xffffff]
[    0.461793] AMD IOMMUv2 driver by Joerg Roedel <joerg.roedel@amd.com>
[    0.461795] AMD IOMMUv2 functionality not available on this system
[    1.178932] [drm] DMAR active, disabling use of stolen memory
[   11.227474] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   11.230422] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   11.232752] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   11.235390] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   23.774037] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   23.906060] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   23.972054] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set
[   24.038097] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set

Scheint meine Intel Netzwerkkarte zu sein, normal?^^

[NAB]

Ich hab das jetz mal Probiert mit der cirrus, läuft soweit.

Klasse!

Die nvidia wird erkannt auch das hdmi audio, allerdings sagt Windows folgendes:

Code: Alles auswählen

Für dieses Gerät sind nicht genügend Ressourcen verfügbar(Code12)

Upps ... stimmt natürlich ... es darf nur eine Grafikkarte mit aktiviertem VGA-BIOS geben ... du hast jetzt vermutlich zwei *hüstel*

Ändere in der Zeile, die mit "-device vfio-pci " anfängt, mal das "x-vga=on" zu "x-vga=off".

"x-vga=on" läuft nur mit "-vga none" ... das hab ich vergessen, sorry

Statt "-vga cirrus" wird übrigens meistens "-vga std" empfohlen, "cirrus" läuft bei mir unter Win8 aber sehr gut.

Code: Alles auswählen

[   24.038097] dmar: DMAR:[DMA Read] Request device [05:00.0] fault addr 100000000
DMAR:[fault reason 06] PTE Read access is not set

Scheint meine Intel Netzwerkkarte zu sein, normal?^^

Neee, normal ist das nicht. Ich hab aber keine Ahnung, wie schädlich es ist. Diese Karte solltest du vermutlich nicht an eine VM durchreichen und eventuell mal ausbauen/deaktivieren, wenn du weiterhin Probleme hast.

Sicher, dass das eine Intel Karte ist? Hier gibt es einen Bugreport für Realtek:
https://bugzilla.kernel.org/show_bug.cgi?id=82761
(Übrigens auch ein MSI Board, aber mit H77-Chipsatz, damit funktionierte IOMMU noch ganz anders)

[BLACKDIAMONT]

Hab jetzt irgendwie ein komisches Problem, hoffe du kannst mir helfen.

Ich hatte den Rechner ausgeschaltet und vorhin wieder eingeschaltet um das wie in deinem Post zu testen aber jetzt kommt ein ganz komischer Fehler:

Code: Alles auswählen

qemu-system-x86_64: -device vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=off,romfile=/root/EVGA.GTX750Ti.2048.140109.rom: vfio: error opening /dev/vfio/1: No such file or directory
qemu-system-x86_64: -device vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=off,romfile=/root/EVGA.GTX750Ti.2048.140109.rom: vfio: failed to get group 1
qemu-system-x86_64: -device vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=off,romfile=/root/EVGA.GTX750Ti.2048.140109.rom: Device initialization failed.
qemu-system-x86_64: -device vfio-pci,host=01:00.0,bus=root.1,addr=00.0,multifunction=on,x-vga=off,romfile=/root/EVGA.GTX750Ti.2048.140109.rom: Device 'vfio-pci' could not be initialized

Ich habe nix veränder ausser das auf off zu schalten.....google ist auch nicht hilfreich :/

[NAB]

Code: Alles auswählen

vfio: error opening /dev/vfio/1: No such file or directory[/quote]
Ich vermute, da hast du vergessen, den vfio-pci Treiber der Grafik/Sound-Karte zuzuweisen, oder es ging irgendwie schief. Kontrolliere das mal mit lspci -k

[BLACKDIAMONT]

Hmmm eigentlich nicht

lsmod:

Code: Alles auswählen

vfio_pci               31389  0
vfio_iommu_type1       17118  0
vfio                   18402  2 vfio_iommu_type1,vfio_pci

lspci -k

Code: Alles auswählen

00:00.0 Host bridge: Intel Corporation 4th Gen Core Processor DRAM Controller (rev 06)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: hsw_uncore
00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor PCI Express x16 Controller (rev 06)
        Kernel driver in use: pcieport
00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller (rev 06)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: i915
00:03.0 Audio device: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor HD Audio Controller (rev 06)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: snd_hda_intel
00:14.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB xHCI (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: xhci_hcd
00:16.0 Communication controller: Intel Corporation 8 Series/C220 Series Chipset Family MEI Controller #1 (rev 04)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: mei_me
00:1a.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #2 (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: ehci-pci
00:1b.0 Audio device: Intel Corporation 8 Series/C220 Series Chipset High Definition Audio Controller (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device f817
        Kernel driver in use: snd_hda_intel
00:1c.0 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #1 (rev d5)
        Kernel driver in use: pcieport
00:1c.2 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #3 (rev d5)
        Kernel driver in use: pcieport
00:1c.3 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d5)
00:1d.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #1 (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: ehci-pci
00:1f.0 ISA bridge: Intel Corporation B85 Express LPC Controller (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: lpc_ich
00:1f.2 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: ahci
00:1f.3 SMBus: Intel Corporation 8 Series/C220 Series Chipset Family SMBus Controller (rev 05)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
01:00.0 VGA compatible controller: NVIDIA Corporation GM107 [GeForce GTX 750 Ti] (rev a2)
        Subsystem: eVga.com. Corp. Device 3753
        Kernel driver in use: pci-stub
01:00.1 Audio device: NVIDIA Corporation Device 0fbc (rev a1)
        Subsystem: eVga.com. Corp. Device 3753
        Kernel driver in use: pci-stub
03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)
        Subsystem: Micro-Star International Co., Ltd. [MSI] Device 7817
        Kernel driver in use: r8169
04:00.0 PCI bridge: ASMedia Technology Inc. ASM1083/1085 PCIe to PCI Bridge (rev 04)

Die Intel e1000 Netzwerkkarte hab ich mal ausgebaut, aber hat nix gebracht.

Wenn ich die devices nochmal binde auf vfio-pci, gehts trotzdem nicht :/

[NAB]

Ja, huch? Wenn die einzige Änderung "off" war, dann schalte es doch mal wieder auf "on" und schau, ob es daran liegt. Wobei ich nicht verstehe, warum dann auf einmal /dev/vfio/1 verschwunden sein sollte. (Hat er denn Recht damit? Existiert das Verzeichnis nicht?)

[BLACKDIAMONT]

Schon probiert bringt nix :/

das Verzeichniss gibts auch nicht, es gibt nur /dev/vfio

EDIT: Ich probiers in aller Früh nochmal, erstmal ne runde Schlafen *gg*

[NAB]

hmmm ... *kopfkratz* .... du lädst irgendein komisches Rom in die Karte und machst einen Neustart ... eventuell ist das Rom noch in der Karte und "Ausschalten" hätte geholfen. Aber das hast du inzwischen wohl eh gemacht.

Die PCI(e)-Geräte werden in Gruppen aufgeteilt. Man kann immer nur eine Gruppe am Stück zu einer VM durchreichen - bei dir z.B. Grafikkarte und zugehörige Soundkarte zusammen. Diese Gruppen werden durchnummeriert und finden sich in /dev/vfio/1, /dev/vfio/2 u.s.w. Diese Gruppen sollten automatisch entstehen, wenn du Geräte an den vfio-Treiber bindest. Dass die bei dir fehlen, deutet auf einen grundlegenden Fehler hin ... IOMMU nicht eingeschaltet, fehlendes Kernelmodul oder so.

Wenn "Ausschlafen" nicht hilft, schau mal hier:
https://bbs.archlinux.org/viewtopic.php?id=162768&p=29
Posting #722 von aw,
dort das dritte Script "lsgroups". Das sollte dir alle Gruppen auflisten, was es vermutlich nicht tun wird, aber vielleicht wirst du aus den Fehlermeldungen schlauer. Ggf. steht vielleicht in "dmesg" noch was Hilfreiches.

[BLACKDIAMONT]

das komische rom ist eigentlich das gpu bios, es soll auch ohne gehen aber soweit geht er ja garnichtmehr^^-.-

Habe jetzt schon das System neu aufgesetzt weil ich dachte ich hab was verbockt, trotzdem kommt der selbe fehler -_-

Es hatte ja geklappt das wundert mich ja, gut ich hatte mit virt-manager rumgespielt evtl sollte ich das nochmal tun^^

das lsgroup hab ich mal ausgeführt und es sieht so aus:

Code: Alles auswählen

### Group 0 ###
    00:00.0 Host bridge: Intel Corporation 4th Gen Core Processor DRAM Controller (rev 06)
### Group 1 ###
    00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor PCI Express x16 Controller (rev 06)
    01:00.0 VGA compatible controller: NVIDIA Corporation GM107 [GeForce GTX 750 Ti] (rev a2)
    01:00.1 Audio device: NVIDIA Corporation Device 0fbc (rev a1)
### Group 2 ###
    00:02.0 VGA compatible controller: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller (rev 06)
### Group 3 ###
    00:03.0 Audio device: Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor HD Audio Controller (rev 06)
### Group 4 ###
    00:14.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB xHCI (rev 05)
### Group 5 ###
    00:16.0 Communication controller: Intel Corporation 8 Series/C220 Series Chipset Family MEI Controller #1 (rev 04)
### Group 6 ###
    00:1a.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #2 (rev 05)
### Group 7 ###
    00:1b.0 Audio device: Intel Corporation 8 Series/C220 Series Chipset High Definition Audio Controller (rev 05)
### Group 8 ###
    00:1c.0 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #1 (rev d5)
### Group 9 ###
    00:1c.2 PCI bridge: Intel Corporation 8 Series/C220 Series Chipset Family PCI Express Root Port #3 (rev d5)
### Group 10 ###
    00:1c.3 PCI bridge: Intel Corporation 82801 PCI Bridge (rev d5)
    04:00.0 PCI bridge: ASMedia Technology Inc. ASM1083/1085 PCIe to PCI Bridge (rev 04)
### Group 11 ###
    00:1d.0 USB controller: Intel Corporation 8 Series/C220 Series Chipset Family USB EHCI #1 (rev 05)
### Group 12 ###
    00:1f.0 ISA bridge: Intel Corporation B85 Express LPC Controller (rev 05)
    00:1f.2 SATA controller: Intel Corporation 8 Series/C220 Series Chipset Family 6-port SATA Controller 1 [AHCI mode] (rev 05)
    00:1f.3 SMBus: Intel Corporation 8 Series/C220 Series Chipset Family SMBus Controller (rev 05)
### Group 13 ###
    03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 0c)

Ich hab im efi nochmal geschaut da is VT-x und VT-d eingeschaltet.

dmesg sagt auch das iommu enabled ist.

EDIT:
Da mal das komplette dmesg
http://repo.mystic-welten.de/dmesg-kvm.txt

Da meckert er mit acpi irgendwas und treibern, ne ahnung was das sein könnte?

vomstuhlfalledit:

habe spasseshalber die GT520 wieder eingebaut, und zack startet .....wtf?

allerdings bringt er hier auch die fehlermeldung zwecks ressourcen aber vga steht auf off

edit2:

https://bbs.archlinux.org/viewtopic.php?id=162768

ist zwar arch linux aber er schreibt das der acs und arbiter patch für intel notwendig sind, ich möchte das mal probieren
allerdings hab ich noch nie ein kernel gepatcht, kompiliert schon^^

Ich werd aus den links nicht schlau wie ich das jetz patchen muss kannst du mir helfen?

ichwerdwahnsinnigedit:

rebootet zwecks neuer config und wieder die fehlermeldung-.-
haut er die binds jedesmal komplett weg? ich blicks irgendwie langsam nicht mehr O.o

edit nr keine ahnung

Code: Alles auswählen

[  395.508958] vfio-pci 0000:01:00.0: enabling device (0000 -> 0003)
[  401.955214] kvm: zapping shadow pages for mmio generation wraparound
[  485.541641] [drm:intel_uncore_check_errors] *ERROR* Unclaimed register before interrupt
[  485.541863] [drm:intel_uncore_check_errors] *ERROR* Unclaimed register before interrupt
[  485.541953] [drm:intel_uncore_check_errors] *ERROR* Unclaimed register before interrupt
[  485.541967] [drm:hsw_unclaimed_reg_clear] *ERROR* Unknown unclaimed register before writing to c400c
[  488.002649] [drm:intel_uncore_check_errors] *ERROR* Unclaimed register before interrupt

[NAB]

Da meckert er mit acpi irgendwas und treibern, ne ahnung was das sein könnte?

Ja. Erstens schweigt dein BIOS sich zu den S1 und S2 Schlafzuständen aus, zweitens behauptet es, "OSI(Linux)" zu unterstützen, was Linux inzwischen ignoriert, und drittens kollidiert der Treiber für irgendeinen Hardware-Baustein mit dem ACPI-Adressbereich und wird deswegen nicht geladen. Das dürfte ein Temperatursensor oder sowas sein. Das hat alles nichts mit IOMMU zu tu.

vomstuhlfalledit:

habe spasseshalber die GT520 wieder eingebaut, und zack startet .....wtf?

Ach so ... du hast die klitzekleine Änderung verschwiegen, dass du die Grafikkarte gewechselt hast ^^
Dass du dann zumindest die PCI-ID anpassen musst, weißt du?

Da fällt mir auch siedend heiß auf, dass in deinem lspci von gestern Abend der pci-stub-Treiber verwendet wird. Das ist falsch, das muss der vfio-pci-Treiber sein, wie in deinem lspci davor. Sorry, ich war gestern wohl auch schon etwas müde.

allerdings bringt er hier auch die fehlermeldung zwecks ressourcen aber vga steht auf off

Schau dir die Sache doch mal von Windows aus an ... was ist da überhaupt womit in Konflikt? Such nal nach der Windows-Fehlermeldung, da findest du reichlich Erklärungen, die tritt nämlich auch so bei Windows auf, ohne Virtualisierung.

https://bbs.archlinux.org/viewtopic.php?id=162768

ist zwar arch linux aber er schreibt das der acs und arbiter patch für intel notwendig sind, ich möchte das mal probieren

Ja, die sind nötig für "primary vga passthrough". Solange du als primary VGA card die virtuelle Cirrus-Karte nimmst und deine Nvidia-Karte als Secondary durchreichst, brauchst du die Patches nicht.

Dann schau lieber, ob deine GTX 750 Ti schon ein UEFI Option Rom hat (oder ob du eins auftreiben und flashen kannst) und guck dir die Sache mit dem OVMF mal an:
http://www.linux-kvm.org/page/OVMF
Dann müsstest du Win7 im UEFI-Modus neu installieren und hättest gar nichts mehr mit VGA zu schaffen.

Alternativ ... du hast doch zwei Grafikkarten und zwei PCIe 16X Slots - könntest du auch die Intel-Karte ganz ausschalten, und eine Nvidia-Karte für Linux benutzen und die zweite an Windows durchreichen.

Und du kannst es auch einfach mal mit "-vga none" und x-vga=on" probieren. Vermutlich wirst du unter Debian Grafikfehler kriegen, aber vielleicht kannst du ja damit leben.

allerdings hab ich noch nie ein kernel gepatcht, kompiliert schon^^

Ich werd aus den links nicht schlau wie ich das jetz patchen muss kannst du mir helfen?

Das Problem an "Patches" ist, dass sie passen müssen. Der original intel vga arbiter Patch ist für Kernel 3.15. Die Leute von Arch haben ihn offensichtlich an den Mainline Kernel 3.18 angepasst, oder er passt noch einfach so. Nun patcht Debian den Kernel auch selber, du kannst dich also in einem heillosen Durcheinander wiederfinden. In dem Archlinux-Thread findest du doch einen fertigen Kernel 3.18.5 zum herunterladen ... probier doch einfach den aus.

Als Dauerlösung taugt das meiner Meinung nach aber nicht ... du müsstest dann sämtliche Bugfix-Patches selber einspielen und den Kernel immer wieder neu kompilieren ...

Edit:

haut er die binds jedesmal komplett weg?

Ja, natürlich. Die merkt er sich nicht über ein reboot. Deswegen packt man sich das alles in ein Script, wenn es denn mal läuft.

[BLACKDIAMONT]

erstmal danke für deine einsätze

@2 gpus
nein ich habe ein microatx board mit einem pcie-x16-3.0

@acpi
ok wenn das nicht störend is gut

@lspci+reboot
achso, dann hätte ich die nacht ja gut schlafen können <.<
wobei es vorher mit neustarts ja auch ohne adden ging

Code: Alles auswählen

01:00.0 VGA compatible controller: NVIDIA Corporation GF119 [GeForce GT 520] (rev a1)
        Subsystem: ZOTAC International (MCO) Ltd. Device 3214
        Kernel driver in use: vfio-pci
01:00.1 Audio device: NVIDIA Corporation GF119 HDMI Audio Controller (rev a1)
        Subsystem: ZOTAC International (MCO) Ltd. Device 3214
        Kernel driver in use: vfio-pci

@passthrough
die GTX 750 Ti ist uefi fähig, merkt man beim booten
die intel eigentlich auch ^^

aber ich schaue mir mal ovmf an.

@kernel
der 3.18er ist nackig, zumal fehlen ja die debian patches dann auch wieder

ich hätte aus den sourcen den 3.16er genommen und gepatcht

Witzig ist das der von arch schreibt das für nvidia + intel diese patches benötigt werden auch wenn die intel gpu nicht durchgereicht wird, deswegen dachte ich daran

edit:
ovmf wird nur beschrieben mit libvirt und virtual-manager aber dann geht ja passtrough nicht mehr oder nicht?
Durchreichen muss ja trotzdem irgendwie
http://www.linux-kvm.org/page/OVMF

[NAB]

@2 gpus
nein ich habe ein microatx board mit einem pcie-x16-3.0

Upps ... sorry ... das zweite große blaue auf dem Board ist ja ein PCI-Steckplatz *hüstel*

wobei es vorher mit neustarts ja auch ohne adden ging

Warum das ging, ist mir ein Rätsel. Wobei ... die Hauptsache ist ja, dass die Geräte von keinem Treiber belegt sind. Wenn für die GeForce GT 520 weder Grafik- noch Sound-Treiber geladen werden, könnte es auch ohne manuelle Nacharbeit klappen.

die GTX 750 Ti ist uefi fähig, merkt man beim booten
die intel eigentlich auch ^^

hmmm ... da sagst du was ...

Das Problem ist ja "VGA". VGA ist ja eine BIOS-Funktion, und die ist mit dem Intel-Treiber nicht "teilbar". Und um eine Grafikkarte als primäre Karte an den Gast durchzureichen, müsste bei ihr ebenfalls VGA aktiviert werden, und dann streiten sich der Intel-Treiber und die VM im BIOS um den VGA-Zugang.

Wenn du es nun schaffst, die Intel-Karte im reinen UEFI-Modus zu booten, ohne "Legacy Option ROM", dann dürfte die Intel-Karte mit VGA eigentlich gar nichts mehr zu tun haben. Dazu bräuchtest du vorallem ein im UEFI-Modus installiertes Debian - und ein UEFI, das dich die "Legacy Option Roms" ausschalten lässt.

(Das ist reine Spekulation, ich hab keine Ahnung, ob das geht!)

der 3.18er ist nackig, zumal fehlen ja die debian patches dann auch wieder

ich hätte aus den sourcen den 3.16er genommen und gepatcht

Genau das ist das Problem mit Patches. Probier es doch einfach mal mit dem 3.16er Kernel ... wenn es reibungslos geht, dann gut. Wenn nicht, würd ich die Finger davon lassen.

Witzig ist das der von arch schreibt das für nvidia + intel diese patches benötigt werden auch wenn die intel gpu nicht durchgereicht wird, deswegen dachte ich daran

Intel-Karten lassen sich meines Wissens bisher eh nicht durchreichen. Das liegt wohl daran, dass es wenn, dann nur mit den Z-Chipsätzen geht und der Bedarf dazu ziemlich gering ist.

Das Problem liegt wie gesagt in der VGA-Funktion des Mainboards. Die wird durch die Intel-Karte komplett belegt. Wenn du eine zweite Karte als primäre Karte an ein Gast-System weiterreichen willst, will der Gast die auch per VGA ansprechen (außer du benutzt im Gast ein UEFI statt eines BIOS), und dann gibt's Ärger. Der intel vga arbiter Patch bringt dem Intel-Treiber bei, die VGA-Funktion zu teilen, aber auf Kosten jeglicher 3D-Beschleunigung.

edit:
ovmf wird nur beschrieben mit libvirt und virtual-manager aber dann geht ja passtrough nicht mehr oder nicht?
Durchreichen muss ja trotzdem irgendwie

Natürlich geht passthrough mit libvirt und mit virt-manager. Du musst nur ggf. die nötigen qemu-Optionen per Hand reinbasteln. Ich hatte dir nur geraten, es erst mal mit dem nackten qemu zu versuchen, weil libvirt immer so unheimlich unhilfreiche Fehlermeldungen ausspuckt.

Und OVMF geht auch mit nacktem qemu:
https://wiki.ubuntu.com/UEFI/OVMF

Aber bevor du dich jetzt in zig neue Versuche stürzt, schau dir die Sache mit den belegten Ressourcen unter Windows mal an ... das sieht nämlich gar nicht so schlecht aus.