Bookworm-Kernel nachbauen - wo ist der realtime patch?

[whiizy]

Ich haben meine Audioworkstation (piano-software) jetzt von Debian bullseye auf bookworm hochgezogen. Wie schon unter bullseye wollte ich den Debian RealTime-kernel wieder selbst nachbauen, um im Wesentlichen den systemtimer von default 250Hz auf 1000Hz hochzusetzen. Nun vermisse ich im ersten Schritt aber schon den RT-kernel patch, der den kernel sourcen unter bullseye noch beigelegt war:

File list of package linux-source-5.10 in bullseye of architecture all

/usr/share/doc/linux-source-5.10/changelog.Debian.gz
/usr/share/doc/linux-source-5.10/copyright
/usr/src/linux-patch-5.10-rt.patch.xz
/usr/src/linux-source-5.10.tar.xz

In den kernel 6.1 sourcen von bookworm finde ich nichts mehr dergleichen:

File list of package linux-source-6.1 in bookworm of architecture all

/usr/share/doc/linux-source-6.1/changelog.Debian.gz
/usr/share/doc/linux-source-6.1/copyright
/usr/src/linux-source-6.1.tar.xz

Kann mir einer auf die Sprünge helfen, was sich da in bookworm geändert hat? Muß man sich den rt.patch jetzt vielleicht woanders beschaffen oder ist der gar schon in die normalen Debian kernel-sourcen eingeflossen?

Wenn ich mich recht erinnere war der gepatchte Kernel nach dem Kompilieren damals mit (PREEMPT_RT) gekennzeichnet.

[Livingston]

Findet sich vielleicht was in /usr/share/doc/linux-source-6.1/changelog.Debian.gz?
Vor 2-3 Jahren war die Rede davon, den Realtime-Support fest im Kernel zu integrieren. Gut möglich, dass es inzwischen gelungen ist.

[debianoli]

Ich dachte immer, das Paket ist der RT-Kernel https://packages.debian.org/de/bookworm ... 0-rt-amd64

Oder brauchst du was anderes?

[whiizy]

Changelog ist immer eine gute Idee, aber unter dem tag "[rt]" habe ich darin nichts gefunden. Aber nicht ausgeschlossen, daß mir in der Informationsfülle etwas entgangen ist.

Die Binär-Version des Debian rt-kernel ist nicht das, was ich suche. Ich will den Debian rt-kernel wieder selbst kompilieren, da ich eine bestimmte Kernel-Option ändern möchte. Die Sourcen des bookworm-kernels habe ich über das Paket linux-source-6.1.

Möglicherweise muß man diese Sourcen tatsächlich jetzt nicht mehr vorher patchen, bin da auf das Stichwort PREEMPT_DYNAMIC im laufenden bookworm kernel gestoßen:

Code: Alles auswählen

# cat /proc/version
Linux version 6.1.0-20-amd64 (debian-kernel@lists.debian.org) (gcc-12 (Debian 12.2.0-14) 12.2.0, GNU ld (GNU Binutils for Debian) 2.40) #1 SMP PREEMPT_DYNAMIC Debian 6.1.85-1 (2024-04-11)

Muß ich noch weiterverfolgen, eventuell kann man mittels grub dem Kernel eine boot option mitgeben, daß er als PREEMPT_RT startet. Dann müsste ich die kernel sourcen nur noch mit der Debian rt-config kompilieren, die in dem gesonderten Paket linux-config-6.1 als config vorliegt.

[whiizy]

... Fortsetzung ergab, daß man unter bookworm zumindest den Dynamic Preempt per Kernel command line in grub umstellen kann. Debian Standard ist aktuell "voluntary":

Code: Alles auswählen

# dmesg | grep -i preempt
[    0.000000] Linux version 6.1.0-20-amd64 (debian-kernel@lists.debian.org) (gcc-12 (Debian 12.2.0-14) 12.2.0, GNU ld (GNU Binutils for Debian) 2.40) #1 SMP PREEMPT_DYNAMIC Debian 6.1.85-1 (2024-04-11)
[    0.119776] Dynamic Preempt: voluntary
[    0.119824] rcu: Preemptible hierarchical RCU implementation.

Gebe ich per grub "preempt=full" mit, dann zeigt dmesg entsprechend Dynamic Preempt: full

Ich kann damit natürlich erstmal schauen, ob dieser full modus für meine Anwendungszwecke vielleicht schon ausreichend ist. Mein Verständnis an dieser Stelle ist aber, daß für die "höchste" Stufe PREEMPT_RT weiterhin ein separater kernel patch nötig wäre. Die Frage bliebe dann letzten Endes weiterhin: Welchen rt-patch für die bookworm kernel Quellen verwenden? Woher beziehen und welcher rt patch hat mit den bookworm kernel Quellen auch schonmal erfolgreich funktioniert?

[KP97]

Wenn Du das Debian tar.bz Paket entpackst, findet sich auch ein RT-Patch darin. Es gibt aber auch schon fertige Pakete.
Evtl. hilft das weiter:
https://snapshot.debian.org/package/lin ... d_6.1.85-1

[whiizy]

Wenn Du das Debian tar.bz Paket entpackst, findet sich auch ein RT-Patch darin. Es gibt aber auch schon fertige Pakete.
Evtl. hilft das weiter:
https://snapshot.debian.org/package/lin ... d_6.1.85-1

Danke, ich bin damit allerdings noch nicht weiter gekommen. Meintest Du mit "Debian tar.bz Paket" vielleicht das oben schon genannte /usr/src/linux-source-6.1.tar.xz? Darin habe ich bisher keinen patch gefunden, also etwas in der Art von linux-patch-5.10-rt.patch.xz wie noch bei bullseye.

Und bei deinem link auf snapshot.debian.org kann ich aktuell (etwas Zeitmangel) noch nicht erkennen, ob das nur ein anderer Schnappschuß des normalen distri Paketes linux-image-6.1.0-20-rt-amd64 ist und somit auch nur ein vorkompilierter Kernel.

[debilian]

Ich dachte ja auch, das wäre mittlerweile fest im Kernel.

früher war es ungefähr so:

https://www.audio4linux.de/forum/viewto ... ime#p10337
https://www.audio4linux.de/forum/viewto ... ime#p12055
https://www.audio4linux.de/forum/viewto ... ime#p12077

oder alles zum Thema:

https://www.audio4linux.de/forum/search ... s=realtime

gruss

[Babarosa]

Ich bin ein bisserl spät, aber kennst du diese Seite?

http://tedfelix.com/linux/linux-midi.html

und dann diese?

http://tedfelix.com/linux/kernel-build.html

Ich selbst verwende den rt-Kernel aus den Backports (zur Zeit 6.1.0-20 preempt dynamic) und habe beste Ergebnisse ohne xruns.

[whiizy]

@debilian
Die RT-Kernel sind stark im Fluß, da sind Quellen aus 2011 bis 2018 leider nur begrenzt verwendbar. Deshalb beschränke ich mich ausdrücklich auf den Übergang von Debian 11 bullseye auf 12 bookworm.

Die zentrale und aktuellste Quelle scheint mir eher die hier zu sein:

https://wiki.linuxfoundation.org/realti ... rt_patches

Mir ist immer noch nicht klar, ob eine der dort verlinkten Versionen, z.B. der patch-6.1.83-rt28.patch.xz unterhalb

https://cdn.kernel.org/pub/linux/kernel ... ts/rt/6.1/, vom Debian Projekt für den bookworm RealTime-Kernel linux-image-6.1.0-20-rt-amd64 verwendet wurde.

Im normalen bookworm kernel (ohne rt im Namen) ist ja zumindest schon PREEMPT_DYNAMIC mit seinen drei Modi (none, voluntary, full) aufgetaucht, wie wir gesehen hatten.

Aber wie kriege ich beim Kompilieren PREEMPT_RT in den bookworm kernel? Bei bullseye ging das ja noch, wie im erstem Post beschrieben. Stehe da wahrscheinlich einfach nur auf dem Schlauch ...

[debilian]

@whiizy

du hast vollkommen recht, alles zu alt - will ja auch schon seit Monaten meine M-Audio in den neuen AMD stecken - habs nur noch nicht gemacht,
dann wird RT auch hier wieder interessant.....

gruss

[whiizy]

Meine vorläufige "Arbeitshypothese" mangels besseren Wissens ist, daß die linux-source-6.1

den Mechanismus PREEMPT_DYNAMIC fest eingebaut hat und dieser den PREEMPT_RT ausschließt. Das könnte zumindest erklären, warum linux-source-6.1 im Gegensatz zu bullseye keinen rt.patch mehr beilegt - er wäre dann einfach nicht mehr auf die normale debian source anwendbar.

Wenn ich das weiterspinne, muß ich mich von linux-source-6.1 als Kernel-Quelle verabschieden, wenn ich einen PREEMPT_RT Kernel selbstkompilieren will (was mein Ziel ist). Dann muß ich mir wohl die universellen Kernel sourcen von kernel.org holen und die dazu passende Version des PREEMPT_RT patches der linuxfoundation.org.

Dann baue ich den Kernel wieder nach dem Schema, wie ich es schon unter bullseye gemacht hatte, und hoffe mal, daß der meine Debian-Umgebung dann auch starten kann ...

[Livingston]

Wenn man sich die Seite des Binär-Paketes https://packages.debian.org/bookworm/li ... 0-rt-amd64 anschaut und dann rechts dem Link Quellcode-Paket https://packages.debian.org/source/book ... gned-amd64 folgt, sieht die Sache ganz gut aus. Scheint zu reichen.

[whiizy]

Scheint zu reichen.

Wofür?

[Livingston]

Um den vollen RT-Kernel zu bauen.

[whiizy]

Dann fehlt mir da irgendwie noch ein Zwischenschritt. Dein Link

https://packages.debian.org/source/book ... gned-amd64

zeigt auf ein "Source Package: linux-signed-amd64 (6.1.85+1) [security]"

das ansscheinend nur Metainformationen in Form von zwei recht kleinen Dateien enthält:

Code: Alles auswählen

Download linux-signed-amd64

File	Size (in kB)	MD5 checksum
linux-signed-amd64_6.1.85+1.dsc 	8.3 kB 	069381b02318fc48d225e9dcc7e59316bb29ca43e87fd90c73b0648e3729f502

linux-signed-amd64_6.1.85+1.tar.xz 	3,065.4 kB 	c5dffb7227ad129bd1b4f73b97fb476e68adf4d77459c597454e070f153877e6

Wie kompilierst mit diesen "Metainformationen" die Debiankernel-Quelle linux-source-6.1 so, daß am Ende ein Binärpaket entsprechend linux-image-6.1.0-20-rt-amd64 mit PREEMPT_RT herausfällt?

[Livingston]

Ups, sorry
Jetzt steh ich gerade auch auf dem Schlauch. Muss ich mir noch mal genauer anschauen.

[KP97]

@whiizy
Ich habe mich dummerweise vertippert, es muß natürlich .xz heißen.
Also hier nochmal genau:
https://snapshot.debian.org/archive/deb ... n/l/linux/

Dieser Link weist auf die Kernelsourcen von Debian hin, also schon bearbeitet, im Gegensatz zu kernel.org.
Man muß weit runterscrollen, ca. im unteren Drittel, und ganz genau aufpassen, dann findet man
linux_6.1.85-1.debian.tar.xz
Leider kann man im Archiv nicht vorher reinsehen, der Download startet sofort. Ist aber nicht schlimm, ist ja nicht so viel.
Nach dem runterladen und auspacken sieht man einen Ordner debian.
Darin befinden sich die Ordner patches und patches-rt mit Inhalt. Ob das jetzt für Dich das Richtige ist, weiß ich nicht.
Etwas weiter vor im Archiv gibt es aber auch noch ältere Versionen, man muß aber sehr genau aufpassen beim scrollen.

Vielleicht ist es jetzt etwas klarer geworden...

[whiizy]

Danke KP97, des Pudels Kern rückt so langsam in Sichtweite. Gefunden habe ich dort diese Archive:

Code: Alles auswählen

- 	linux_6.1.85-1.debian.tar.xz 	1627960 	2024-04-16 02:59:14
- 	linux_6.1.85.orig.tar.xz 	137597252 	2024-04-16 02:59:14

Der Großteil der üblichen Kernelquellen ist, wie man schon aufgrund der Dateigröße sehen kann, in linux_6.1.85.orig.tar.xz. Das kleinere linux_6.1.85-1.debian.tar.xz enthält hingegen nur ein Unterverzeichnis namens debian. Es enthält aber offenbar jede Menge kleine patches, welche u.a. den RT Kernel mit PREEMPT_RT ausmachen. War mir bei der linuxfoundation.org schon aufgefallen, daß dort die patches als Sammelsurium (patches, plural) angeboten wurden oder monolithisch als (sagt man kumulierter?) patch.

Könnte mir vorstellen, daß man die beiden obigen Archive orig und debian mergen muß, aber das ist nur aus dem Bauch heraus - keine Ahnung.

Umgekehrt schließe ich aus diesen beiden Archiven, daß das Paket linux-source-6.1 aus Bookworm den RT Patch PREEMPT_RT nicht enthält, da ich entsprechende Dateien wie in linux_6.1.85-1.debian.tar.xz dort nicht finde.

Sind mir bisher noch zu viele Unbekannte drin: der Server snapshot.debian.org außerhalb der apt-sourcen und wie zwei unbekannte Source-Archive (orig und debian) miteinander in Verbindung zu bringen sind. Wenn das der Weg ist, um einfach nur den binären Kernel linux-image-6.1.0-20-rt-amd64 nachzubauen, dann könnte der externe Weg über kernel.org und die RT patches der linuxfoundation beinahe einfacher sein. Aber vielleicht klärt sich ja noch etwas mehr auf ...

[whiizy]

Ich bin jetzt vorläufig auf externe Quellen ausgewichen:
Startpunkt war patch-6.1.83-rt28.patch.xz, den ich hier fand:

https://wiki.linuxfoundation.org/realti ... t_versions

Zu der Versionsnummer passend habe ich mir die Kernel source linux-6.1.83.tar.xz geholt von:

https://mirrors.edge.kernel.org/pub/linux/kernel/v6.x/

Im Schnelldurchlauf, wie ich den RT-Kernel gebaut habe:

Code: Alles auswählen

~$ tar -xvJf linux-6.1.83.tar.xz
(kernel source auspacken)

~/linux-6.1.83$ xzcat ~/patch-6.1.83-rt28.patch.xz | patch -p1
(der PREEMPT_RT patch)

~/linux-6.1.83$ xzcat /usr/src/linux-config-6.1/config.amd64_rt_amd64.xz > .config
(Verwendung der config des Debian rt-kernels)

~/linux-6.1.83$ make localmodconfig
(beschränkt den Bau auf die lokal geladenen Module, wie WLAN, USB-Audio und MIDI etc.)
In diesem Schritt wurde erstmalig PREEMPT_RT sichtbar
...
Preemption Model
  1. No Forced Preemption (Server) (PREEMPT_NONE)
  2. Voluntary Kernel Preemption (Desktop) (PREEMPT_VOLUNTARY)
  3. Preemptible Kernel (Low-Latency Desktop) (PREEMPT)
> 4. Fully Preemptible Kernel (Real-Time) (PREEMPT_RT)
choice[1-4?]: 4
...

~/linux-6.1.83$ scripts/config --disable DEBUG_INFO

~/linux-6.1.83$ make nconfig
(über nconfig konnte ich eine gewünschte Kernel-Option ändern)

~/linux-6.1.83$ make -j4 bindeb-pkg
(der Bau des kernel Paketes)

# dpkg -i linux-image-6.1.83-rt28_6.1.83-rt28-1_amd64.deb
(die Installation des kernel Paketes)

reboot
(in den neuen RT-kernel starten)

$ uname -a
Linux [...] 6.1.83-rt28 #1 SMP PREEMPT_RT [...] x86_64 GNU/Linux
(der nun laufende kernel)

Habe auf diese Weise jetzt wieder einen präzisen 1000Hz RT-kernel unter Debian 12 bookworm.
Zwei Sachen die mich noch etwas stören, daß ich erstens das Debian-"Universum" dafür verlassen habe und zweitens, daß der Kernel jetzt mit v6.1.83 wieder hinter Debian's bookworm-kernel mit v6.1.85 zurückgefallen ist.

Wäre natürlich toll, wenn sich am Ende auch noch ein sauberer Debian-"Way" für den Nachbau des Debian RT-kernels finden ließe.

[whiizy]

Jetzt hatte ich gerade überlegt den fehlenden RT-Patch an die Wishlist bei bugs.debian.org zu schreiben und finde dazu bereits einen gemeldeten Bug-report 1051824

Offenbar vermisst schon längst ein anderer Debian-User den RT-Patch in bookworm's linux-source-6.1, welcher entsprechend in bullseye noch vorhanden war. Übersteigt allerdings meine Kenntnisse, was da postuliert wird. Im Raum steht dort ein eher zufälliger als beabsichtigter Verlust dieser Datei. Leider bisher ohne Feedback.

[Livingston]

Es könnte was bringen, doch noch einen Bug-Report zu schreiben. Vielleicht etwas in der Richtung: "Problem existiert auch noch in der stabilen Version 6.1" (Der Bugreport bezieht sich noch darauf: "Found in version linux/6.1~rc3-1~exp1") Eine Eskalation durch einen zweiten Report könnte die Aufmerksamkeit für das Problem erhöhen.

[whiizy]

Ich stimme dir zu, Livingston.
Was mich noch irritiert, daß auch im Nachfolger Debian testing (trixie) bisher kein RT-Patch beigelegt ist:

Code: Alles auswählen

File list of package linux-source-6.6 in trixie of architecture all

/usr/share/doc/linux-source-6.6/changelog.Debian.gz
/usr/share/doc/linux-source-6.6/copyright
/usr/src/linux-source-6.6.tar.xz

Trotzdem müssen die rt-kernel Pakete der Debian Distribution nach irgendeinem Schema von irgendwem gebaut worden sein, sonst könnte man sie ja nicht fertig kompiliert als deb installieren. Und dann muß das aus Transparenzgründen auch für jeden User möglich sein. Da schaue ich persönlich zur Zeit noch durch Milchglas.