dpkg-scanpackages bei umfangreichem lokalen Repo

[linuxlooser]

Hallo zusammen,

ich hab mir ein lokales Repo umgebaut nach der Beschreibung da:
https://wiki.debianforum.de/Lokales_Rep ... ukturieren
und jetzt sieht das so aus:

Code: Alles auswählen

root@maschine:/var/local/repository# tree
.
└── dists
    ├── buster
    │   ├── contrib
    │   │   └── binary-amd64
    │   │       ├── ipscan_3.8.2_amd64.deb
    │   │       ├── open-ecard-app_1.4.5-1_amd64.deb
    │   │       ├── taskcoach_1.4.6-1.deb
    │   │       └── tvbrowser_4.2.4-1_all.deb
    │   ├── main
    │   │   └── binary-amd64
    │   │       ├── darktable_3.8.1-1.1_amd64.deb
    │   │       ├── darktable-tools-noise_3.8.0-1.1_amd64.deb
    │   │       ├── exiv2_0.27.5-3.1_amd64.deb
    │   │       ├── lens-calibrate_0.2.0+git2.bb05f8a-0_amd64.deb
    │   │       ├── libexiv2-27_0.27.5-3.1_amd64.deb
    │   │       └── libexiv2-dev_0.27.5-3.1_amd64.deb
    │   └── non-free
    │       └── binary-amd64
    │           └── XnViewMP-linux-x64-0997.deb
    └── andere Versionen

(unterhalb von "andere Versionen" setzt sich die Struktur fort).

In der sources.list steht

Code: Alles auswählen

###### Lokal erstellte oder heruntergeladene .deb-Files
deb [trusted=yes] file:///var/local/repository buster main contrib non-free

Nun führe ich

Code: Alles auswählen

cd /var/local/repository/dists/buster/contrib/binary-amd64
dpkg-scanpackages ./ > Packages && gzip -k -f Packages
apt-ftparchive release . > Release 

aus.

Nach einem Update will das System die open-ecard-app aktualisieren:

Code: Alles auswählen

Möchten Sie fortfahren? [J/n] j
Holen:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9 [61,4 MB]
Fehl:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9
  Datei nicht gefunden - /var/local/repository/./open-ecard-app_1.4.9-1_amd64.deb (2: Datei oder Verzeichnis nicht gefunden)

Bin bisher nicht draufgekommen, an welcher Stelle da was mit dem Pfad nicht ok ist

Jedenfalls sieht das nachher so aus:

Code: Alles auswählen

.
└── dists
    ├── buster
    │   ├── contrib
    │   │   └── binary-amd64
    │   │       ├── ipscan_3.8.2_amd64.deb
    │   │       ├── open-ecard-app_1.4.5-1_amd64.deb
    │   │       ├── Packages
    │   │       ├── Packages.gz
    │   │       ├── Release
    │   │       ├── taskcoach_1.4.6-1.deb
    │   │       └── tvbrowser_4.2.4-1_all.deb
    │   ├── main
    │   │   └── binary-amd64
    │   │       ├── darktable_3.8.1-1.1_amd64.deb
    │   │       ├── darktable-tools-noise_3.8.0-1.1_amd64.deb
    │   │       ├── exiv2_0.27.5-3.1_amd64.deb
    │   │       ├── lens-calibrate_0.2.0+git2.bb05f8a-0_amd64.deb
    │   │       ├── libexiv2-27_0.27.5-3.1_amd64.deb
    │   │       ├── libexiv2-dev_0.27.5-3.1_amd64.deb
    │   │       ├── Packages
    │   │       ├── Packages.gz
    │   │       └── Release
    │   └── non-free
    │       └── binary-amd64
    │           ├── Packages
    │           ├── Packages.gz
    │           ├── Release
    │           └── XnViewMP-linux-x64-0997.deb

- alle Dateien (Packages und Release) sind an den lt. Beschreibung richtigen Stellen und listen die entsprechenden Pakete etc.

[michaa7]

Hast du mal

###### Lokal erstellte oder heruntergeladene .deb-Files
deb [trusted=yes] file:///var/local/repository/ buster main contrib non-free

probiert (man beacht den slash hinter repository)?

[linuxlooser]

Danke, 'n Versuch war's wert, aber:

Code: Alles auswählen

Die folgenden Pakete werden aktualisiert (Upgrade):
  open-ecard-app
1 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen noch 0 B von 61,4 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 0 B Plattenplatz zusätzlich benutzt.
Möchten Sie fortfahren? [J/n] j
Holen:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9 [61,4 MB]
Fehl:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9
  Datei nicht gefunden - /var/local/repository/./open-ecard-app_1.4.9-1_amd64.deb (2: Datei oder Verzeichnis nicht gefunden)
E: Fehlschlag beim Holen von file:/var/local/repository/./open-ecard-app_1.4.9-1_amd64.deb Datei nicht gefunden - /var/local/repository/./open-ecard-app_1.4.9-1_amd64.deb (2: Datei oder Verzeichnis nicht gefunden)
E: Einige Archive konnten nicht heruntergeladen werden; vielleicht »apt-get update« ausführen oder mit »--fix-missing« probieren?

Und offenbar gehört die Release-Datei auch 2 Ebenen höher als im Wiki beschrieben - vielleicht ... wenn ich das richtig deute

Code: Alles auswählen

E: Das Depot »file:/var/local/repository buster Release« ist nicht signiert.
N: Eine Aktualisierung von solch einem Depot kann nicht auf eine sichere Art durchgeführt werden, daher ist es standardmäßig deaktiviert.
N: Weitere Details zur Erzeugung von Paketdepots sowie zu deren Benutzerkonfiguration finden Sie in der Handbuchseite apt-secure(8).

Denn nachdem ich nur noch eine Release-Datei dort oben ablege (und nicht mehr in jeden Unterzweig), ist diese Meldung weg.

[linuxlooser]

Zwischenzeitlich sehen die Schritte so aus:

Code: Alles auswählen

cd /var/local/repository/dists/buster

dpkg-scanpackages main/binary-amd64 > main/binary-amd64/Packages && gzip -k -f main/binary-amd64/Packages
dpkg-scanpackages contrib/binary-amd64 > contrib/binary-amd64/Packages && gzip -k -f contrib/binary-amd64/Packages
dpkg-scanpackages non-free/binary-amd64 > non-free/binary-amd64/Packages && gzip -k -f non-free/binary-amd64/Packages

cd /var/local/repository/dists/buster/
apt-ftparchive release . > Release # Release-Datei generieren lassen

und das Ergebnis für open-ecard-app

Code: Alles auswählen

Die folgenden Pakete werden aktualisiert (Upgrade):
  open-ecard-app
1 aktualisiert, 0 neu installiert, 0 zu entfernen und 0 nicht aktualisiert.
Es müssen noch 0 B von 61,4 MB an Archiven heruntergeladen werden.
Nach dieser Operation werden 0 B Plattenplatz zusätzlich benutzt.
Möchten Sie fortfahren? [J/n] j
Holen:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9 [61,4 MB]
Fehl:1 file:/var/local/repository buster/contrib amd64 open-ecard-app amd64 1.4.9
  Datei nicht gefunden - /var/local/repository/contrib/binary-amd64/open-ecard-app_1.4.9-1_amd64.deb (2: Datei oder Verzeichnis nicht gefunden)
E: Fehlschlag beim Holen von file:/var/local/repository/contrib/binary-amd64/open-ecard-app_1.4.9-1_amd64.deb Datei nicht gefunden - /var/local/repository/contrib/binary-amd64/open-ecard-app_1.4.9-1_amd64.deb (2: Datei oder Verzeichnis nicht gefunden)
E: Einige Archive konnten nicht heruntergeladen werden; vielleicht »apt-get update« ausführen oder mit »--fix-missing« probieren?

[mcb]

Ich kann dir nicht wirklich helfen, aber so wie ich es verstanden habe generiert man Packages und Packages.gz nur im Hauptverzeichnis.

[KBDCALLS]

Ist jetzt schon ein bischen her das einfachste ist man nimmt reprepro. Und die Originalstruktur eines Debianrepositorys. Reprepro sortiert die Pakete richtig ein , erstellt die Package Datei und Signiert das Repository. Alles in einem Abwasch. Und falls gewünscht auch mit Sourcen.

[fischig]

Geht's nicht vielleicht auch ein paar Nummern kleiner: Einfach ein Verzeichnis, in das man die Pakete packt, die man lokal vorhalten aber bei der Installation auf apt (Abhängigkeitsauflösung) nicht verzichten will?

[mcb]

Geht's nicht vielleicht auch ein paar Nummern kleiner: Einfach ein Verzeichnis, in das man die Pakete packt, die man lokal vorhalten aber bei der Installation auf apt (Abhängigkeitsauflösung) nicht verzichten will?

Ich spiele damit auch zur Zeit rum. Unterverzeichnise sind (hier) kein Problem.

Code: Alles auswählen

marc@mb:~$ tree /var/local/repository/bullseye/ -d
/var/local/repository/bullseye/
├── tlp
└── veracrypt

2 directories
marc@mb:~$ apt policy veracrypt doas
veracrypt:
  Installed: (none)
  Candidate: 1.25.9-1
  Version table:
     1.25.9-1 500
        500 file:/var/local/repository/bullseye ./ Packages
doas:
  Installed: 6.8.1-3~bpo11+2
  Candidate: 6.8.1-3~bpo11+2
  Version table:
     6.8.1-3 -1
         -1 http://deb.debian.org/debian bookworm/main amd64 Packages
 *** 6.8.1-3~bpo11+2 500
        500 file:/var/local/repository/bullseye ./ Packages
        100 /var/lib/dpkg/status
     6.8.1-2 500
        500 http://deb.debian.org/debian bullseye/main amd64 Packages
        500 http://ftp.dk.debian.org/debian bullseye/main amd64 Packages
marc@mb:~$ 

Das Unterteilen in main contrib habe ich nicht hinbekommen. - Braucht man das unbedingt?

PS: Die list:

Code: Alles auswählen

marc@mb:~$ cat /etc/apt/sources.list.d/local.list 
deb file:///var/local/repository/bullseye ./

[JTH]

Braucht man das unbedingt?

Nein, (technisch) notwendig sind die Unterteilungen nicht. Sie machens nur möglich, die Pakete noch weiter nach bestimmten Kriterien – wie nach Art der Lizenz bei main/contrib/non-free – zu unterteilen. Ohne dass die Unterteilung ein komplettes, eigenes Repository braucht.

[fischig]

[offtopic]

Unterverzeichnise sind (hier) kein Problem

Das Hoffe ich doch mal sehr stark! Aber warum, zur Hölle, versucht man im lokalen System, ein Debian-Repo nachzubauen?

Um (wem auch immer) zu beweisen, dass man's kann?

[mcb]

[offtopic]

Unterverzeichnise sind (hier) kein Problem

Das Hoffe ich doch mal sehr stark! Aber warum, zur Hölle, versucht man im lokalen System, ein Debian-Repo nachzubauen?

Um (wem auch immer) zu beweisen, dass man's kann?

Ne, das ist richtig toll -> die selbstgebauten Pakete werden automatisch aktualisiert, wenn man eine neue Version reinkopiert.

Am liebsten würde ich mir eines für mein Heimnetz bauen, was nimmt man für sowas? reprepro ?

[tobo]

Aber warum, zur Hölle, versucht man im lokalen System, ein Debian-Repo nachzubauen?

Um (wem auch immer) zu beweisen, dass man's kann?

Ne, das ist richtig toll -> die selbstgebauten Pakete werden automatisch aktualisiert, wenn man eine neue Version reinkopiert.

Diese Pakete werden nach einem apt-get update "automatisch" aktualisiert - also genauso wie bei einem einzelnen Verzeichnis auch und damit unabhängig von dieser Verzeichnisstruktur.

[mcb]

Aber warum, zur Hölle, versucht man im lokalen System, ein Debian-Repo nachzubauen?

Um (wem auch immer) zu beweisen, dass man's kann?

Ne, das ist richtig toll -> die selbstgebauten Pakete werden automatisch aktualisiert, wenn man eine neue Version reinkopiert.

Diese Pakete werden nach einem apt-get update "automatisch" aktualisiert - also genauso wie bei einem einzelnen Verzeichnis auch und damit unabhängig von dieser Verzeichnisstruktur.

Also ich baue die Pakete in einem anderen Ordner, außerdem ist das Repro signiert.

[tobo]

Also ich baue die Pakete in einem anderen Ordner, außerdem ist das Repro signiert.

Inwiefern hat das jetzt irgendwas mit dem Kontext zutun? Musst du etwa kein dpkg-scanpackages und apt-get update ausführen, um über apt-get install irgendwelche neuen Pakete aus deinem Repository zu installieren?

[mcb]

Also ich baue die Pakete in einem anderen Ordner, außerdem ist das Repro signiert.

Inwiefern hat das jetzt irgendwas mit dem Kontext zutun? Musst du etwa kein dpkg-scanpackages und apt-get update ausführen, um über apt-get install irgendwelche neuen Pakete aus deinem Repository zu installieren?

Tschuldige da haben wir aneinander vorbeigeredet. Ich habe dich Mißverstanden.

[linuxlooser]

Aber warum, zur Hölle, versucht man im lokalen System, ein Debian-Repo nachzubauen?

weil ich das hier ja angezettelt habe:
Ich nutze derzeit noch Buster - einfach weil ich keine Zeit hatte, das auf Bullseye zu aktualisieren.
Andererseits will ich nicht einfach "stable" in die sources.list reinschreiben, dann kommt das update sicher zur - für mich - Unzeit.

Und daher erschien es mir sinnvoll, die lokalen .deb-Pakete ebenfalls nach der Version zu splitten. Dann kann ich deren Updates schon mal sammeln, bevor ich den Versionsupdate als Ganzes mache.
Dabei ist mir dann der Wiki-Eintrag untergekommen, wie man ein "richtiges" Repo baut - da dachte ich mir: ein paar Unterverzeichnisse tun nicht weh ...

Btw: so geht's:

Code: Alles auswählen

cd /var/local/repository

dpkg-scanpackages dists/buster/main/binary-amd64 > dists/buster/main/binary-amd64/Packages && gzip -k -f dists/buster/main/binary-amd64/Packages
dpkg-scanpackages dists/buster/contrib/binary-amd64 > dists/buster/contrib/binary-amd64/Packages && gzip -k -f dists/buster/contrib/binary-amd64/Packages
dpkg-scanpackages dists/buster/non-free/binary-amd64 > dists/buster/non-free/binary-amd64/Packages && gzip -k -f dists/buster/non-free/binary-amd64/Packages

cd /var/local/repository/dists/buster/
apt-ftparchive release . > Release # Release-Datei generieren lassen

Wußte doch, daß das irgend ein Quirk mit den Pfaden ist ...

[linuxlooser]

Ich kann dir nicht wirklich helfen, aber so wie ich es verstanden habe generiert man Packages und Packages.gz nur im Hauptverzeichnis.

laut dem verlinkten Wiki-Beitrag eben nicht ... das war ja der Ausgangspunkt meines Problems.
Aber: danach soll auch die Release-Datei in den Unterpfad - aber das funzt wiederum nicht, die muß offenbar zwei Ebenen höher ins Verzeichnis der Version (hier: Buster)

[mcb]

Ich kann dir nicht wirklich helfen, aber so wie ich es verstanden habe generiert man Packages und Packages.gz nur im Hauptverzeichnis.

laut dem verlinkten Wiki-Beitrag eben nicht ... das war ja der Ausgangspunkt meines Problems.
Aber: danach soll auch die Release-Datei in den Unterpfad - aber das funzt wiederum nicht, die muß offenbar zwei Ebenen höher ins Verzeichnis der Version (hier: Buster)

Ja - das habe ich inzwischen auch festgestellt.

Vielleicht bringt es dir ja noch etwas - das mit dem Signieren funktioniert nach der Anleitung. Du mußt das Passwort nur bei Änderungen au den Paketen eingeben.

Gruß

[KBDCALLS]

Ich frag mich doch mal was daran so schwierig ist. Die Hampelei mit dpkg-scanpackes und dpkg-scansources fand ich dagegen zu aufwendig.

Das Script

• Code: Alles auswählen

  #!/bin/bash
  
  # reprepro alle Debs ins repository
  
  reprepro --confdir=/var/packages/debian/conf  includedeb  jessie-test /var/cache/pbuilder/result-jessie/*.deb
  
  reprepro --confdir=/var/packages/debian/conf  includeudeb  jessie-test /var/cache/pbuilder/result-jessie/*.udeb
  
  # reprepro schleife zur Intergration von Sourcen ins Repository 
  
  for i in  /var/cache/pbuilder/result-jessie/*dsc
  	do reprepro --confdir=/var/packages/debian/conf  includedsc  jessie-test $i
    
  	 
  done
  
  

Und die passende config dazu.

• Code: Alles auswählen

  Origin: localhost 
  Label:  localhost-jessie
  Codename: jessie
  Architectures: i386 amd64 source
  Components: main
  Description: Example APT jessie repository
  SignWith: xxxxxxxx
  DebOverride: override.jessie
  DscOverride: override.jessie

dann noch die options

• Code: Alles auswählen

  verbose
  ask-passphrase
  basedir /var/packages/debian
  
  

Ich bekam jedensfalls immer Bauchschmerzen wenn ich gesehen habe wie manche auf ihren Webseiten die Repositories zusammengefrickelt hatten.

[mcb]

Puh -

ich habe mir jetzt reprepro installiert und verstehe nur die Hälfte.

Solange behelfe ich mir mit selbstgeschriebenen Scripten.

[linuxlooser]

Ich frag mich doch mal was daran so schwierig ist. Die Hampelei mit dpkg-scanpackes und dpkg-scansources fand ich dagegen zu aufwendig.

hmm ...
Wenn ich mir da Deine ganzen Code-Blöcke so anschaue ... und im Gegensatz dazu meine paar Bash-Zeilen ... letztere verstehe ich, ersteres nicht.
Ich ziehe geringere Komplexität vor ... bin kein Softwerker.

das mit dem Signieren funktioniert nach der Anleitung. Du mußt das Passwort nur bei Änderungen au den Paketen eingeben.

Ich komm gar nicht soweit. Ich soll das "Passphrase" beim generieren eingeben ... und nochmal ... und nochmal ... und nochmal ... und nochmal ... und irgendwann hab ich keinen Bock mehr ...
DANN schreibe ich lieber "trusted=yes" ... yes!

[mcb]

Beim Schlüssel erstellen sollte man das Passwd zweimal eingeben müssen ... Du kannst dir das Schlüsselpaar auch auf einem anderen Rechner erstellen.