Debian Mirror - Internet besser ausnutzen

[jared566]

Hallo Leute,

Ich habe vor mir einen Debian Mirror für mein Lokales Netz zu installieren. Ein passenedes Script dazu habe ich bereits:

Code: Alles auswählen

    #!/bin/sh
     
    # mirror various debian related suff
     
    # debian main mirror
    # --dist squeeze,squeeze-volatile,squeeze-proposed-updates
	
	path=/srv/mirrors/debian/
	
    debmirror $path/debian \
      --progress --ignore-release-gpg \
      --host ftp.de.debian.org --method=http \
      --arch i386,amd64 --dist squeeze \
      --section main,contrib,non-free,main/debian-installer \
      --rsync-extra doc,tools,trace --di-dist squeeze \
      --nosource \
      --exclude-deb-section '^debug$' \
      --i18n --exclude '/Translation-.*\.bz2$' --include '/Translation-de.*\.bz2$'
     
    # debian security mirror
    debmirror $path/debian-security/ \
      --progress --ignore-release-gpg \
      --host security.debian.org --root debian-security --method=http \
      --arch i386,amd64 --dist squeeze/updates \
      --section main,contrib,non-free,main/debian-installer \
      --nosource \
      --exclude-deb-section '^debug$'
     
    # debian backports mirror
    debmirror $path/debian-backports/ \
      --progress --ignore-release-gpg \
      --host ftp.de.debian.org --root debian-backports --method=http \
      --arch i386,amd64 --dist squeeze-backports \
      --section main,contrib,non-free,main/debian-installer \
      --nosource \
      --exclude-deb-section '^debug$'
     
    # debian multimedia mirror
    debmirror $pathb/debian-multimedia/ \
      --progress --ignore-release-gpg \
      --host www.debian-multimedia.org --root / --method=http \
      --arch i386,amd64 --dist squeeze \
      --section main,contrib,non-free \
      --nosource \
      --exclude-deb-section '^debug$'

Das Script funktioniert auch soweit sehr gut, jedoch lade ich mit "nur" 1 Mb/s bei einer 100Mbit Leitung. Kann ich debmirror anweisen, das er mehrere Dateien auf einmal Laden soll, um meine Internet Leitung besser zu nutzen?

Mfg Jared

[gingupin]

Moinsen aus dem Norden....

also ich habe nur eine 16000 DSL aber ich bin mit allem unterwegs, was die Leitung hergibt....

anbei mal mein mirrorscript und die verwendete sourceslist (ist aber etwas umfangreicher ):

Unter /usr/local/bin/ habe ich mirrorupdate liegen

Code: Alles auswählen

apt-mirror /root/apt-mirror/sources.mirror 2>&1 > /var/log/apt-mirror.log
/var/spool/apt-mirror/var/clean.sh 2>&1 >> /var/log/apt-mirror.log
date >> /var/log/apt-mirror.log
echo "Mirrorupdate beendet" >> /var/log/apt-mirror.log

und die entsprechende /root/apt-mirror/sources.mirror:

http://nopaste.debianforum.de/36493

apt-mirror öffnet 20 Verbindungen gleichzeitig und zieht soviel die Server hergeben....

kannst ja mal sehen, ob Du nachvollziehen kannst, was ich gemacht habe....

btw... gestartet wird das ganze regelmäßig per cron mit

Code: Alles auswählen

mirrorupdate &

hth

[jared566]

Danke für die Antwort

Ja ich konnte einiges daraus ablesen und habe mal das Szenario auf meine Umgebung umgestellt (hoffentlich richtig?)

Vielleicht kannst du ja nochmal drüberschauen


/root/scripts/apt-mirror.sh :

Code: Alles auswählen

## Parameter

set base_path     /srv/mirror/debian/squeeze
set mirror_path   $base_path/mirror
set skel_path     $base_path/skel
set var_path      $base_path/var

## Repos
# amd64
deb-amd64 http://ftp.de.debian.org/debian/ squeeze main contrib non-free
deb-amd64 http://ftp.de.debian.org/debian/ squeeze-updates main contrib non-free
deb-amd64 http://security.debian.org/ squeeze/updates main contrib non-free
deb-amd64 http://download.virtualbox.org/virtualbox/debian/ squeeze contrib non-free
deb-amd64 http://www.debian-multimedia.org/ squeeze main 

# i386
deb-i386 http://ftp.de.debian.org/debian/ squeeze main contrib non-free
deb-i386 http://ftp.de.debian.org/debian/ squeeze-updates main contrib non-free
deb-i386 http://security.debian.org/ squeeze/updates main contrib non-free
deb-i386 http://download.virtualbox.org/virtualbox/debian/ squeeze contrib non-free
deb-i386 http://www.debian-multimedia.org/ squeeze main 

## Clean
clean http://ftp.de.debian.org/debian/
clean http://security.debian.org/
clean http://download.virtualbox.org/virtualbox/debian/
clean http://www.debian-multimedia.org/

Existiert die Datei ( /var/spool/apt-mirror/var/clean.sh ) schon nach der Installation von apt-mirror?

Ich sehe grade du "cleanst" 2x ist das richtig? Einmal in deinem Script und einmal mit der "clean.sh"?

Unter /usr/local/bin/ würde ich dann auch ein Script (mirrorupdate) mit folgendem Inhalt ablegen:

Code: Alles auswählen

# !/bin/sh

if [ ! -f /var/log/apt-mirror/`date +%Y-%m-%d`.log ]
then
	mkdir -p /var/log/apt-mirror/

	echo "### Update Area ###" > /var/log/apt-mirror/`date +%Y-%m-%d`.log
	
	apt-mirror /root/scripts/apt-mirror.sh >> /var/log/apt-mirror/`date +%Y-%m-%d`.log
	
	echo "" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log
	echo "" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log

	echo "### Cleaning Area ###" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log
	
	/var/spool/apt-mirror/var/clean.sh  >> /var/log/apt-mirror/`date +%Y-%m-%d`.log

	echo "" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log
	echo "" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log

	echo "Mirrorupdate beendet" >> /var/log/apt-mirror/`date +%Y-%m-%d`.log

else
	echo "Es konnte kein neues Log am `date +%Y-%m-%d` erzeugt werden." >> /var/log/apt-mirror/error.log
fi

Ich habe mir mal Erlaubt dein "mirrorupdate" Script etwas auszubauen, mir erleichtert es so auf jeden Fall die Übersichtlichkeit
So wird jeden Tag ein neues Log angelegt.

Mfg Jared

[schorsch_76]

Bist du sicher dass du den ganzen Mirror brauchst? [1]
Reicht nicht ein cache wie apt-cacher-ng?
Lädst du die Daten vom Mirror in den USA oder von einem in DE?

Gruß
schorsch

[1] http://www.debian.org/mirror/ftpmirror.de.html

[gingupin]

Moinsen....

Vorsicht! Deine "apt-mirror.sh" ist kein script!

rtfm zu apt-mirror!

Der Aufruf erfolgt über apt-mirror [config datei] !
Die "clean" Einträge sind ebenfalls nur Konfigurationseinträge! Deshalb rufe ich

Code: Alles auswählen

apt-mirror /root/apt-mirror/sources.mirror

auf!

Das eigentliche cleaning findet dann im Aufruf des

Code: Alles auswählen

/var/spool/apt-mirror/var/clean.sh

statt!

Ich war eigentlich davon ausgegangen, dass Du mein script nicht nur umbaust, sondern erstmal die entsprechenden
man-Pages studierst! Sorry, aber der Hinweis muss sein, sonst zerschiesst Du Dir irgendwann Deine Systeme,
weißt nicht warum und Linux ist dann schuld!

nicht bös gemeint!

@schorsch in seinen deb-mirror scripten hat er ftp.de.debian.org eingetragen, also wohl aus DE
aber Du hast natürlich recht: für viele Konstellationen ist apt-cache wohl die bessere Lösung
kommt wohl sehr auf den Einsatzzweck an!

Gruss

[jared566]

Sorry, aber der Hinweis muss sein, sonst zerschiesst Du Dir irgendwann Deine Systeme,
weißt nicht warum und Linux ist dann schuld!

Linux ist für mich niemals der Schuldige

Und das mit dem Script - das Prinzip hab ich ja verstanden, nur die Datei falsch benannt - Danke für den Hinweis.

Kann ich "apt-mirror" noch irgendwie anweisen, das er nen bischen mehr ins Log schreibt als einfach nur ein Countdown von 20 auf 0? Von "debmirror" bin ich es gewohnt das jede Datei die heruntergeladen wird, auch im log steht. Allerdings habe ich auf der Man page nix gefunden.

Mfg Jared

[gingupin]

Linux ist für mich niemals der Schuldige
Mfg Jared

Ein "Bruder" im Geiste! Seid gegrüßt!

Zum Thema: apt-mirror hat nur wehr wenig positive Meldungen die sich für eine detailierte
Log-Auswertung nutzen lassen. Ich habe allerdings auch nur sehr wenig "negative" Erfahrungen
mit dem proggi gemacht! Solange ich sehen kann, wann das mirrorupdate gelaufen ist, reicht
mir das als Log. Deshalb überschreibe ich ja auch immer mein letztes Log!

Wenn Du das "detailiertere" Log von deb-mirror haben willst -und Geschwindigkeit, könntest
Du doch auch mal versuchen, Deine verschiedenen deb-mirrors zeitgleich zu starten (durch "forken" in den Hintergrund). Nach Deinem orginal script, laufen die einzelnen Aktualisierungen nacheinander!

Gruss von der Küste

[jared566]

Seid gegrüßt

Was genau meinst du mit "durch "forken" in den Hintergrund"?

Ich habe bereits versucht, das debmirror script aufzuteilen, jedoch ohne Erfolg.

Ich hatte dann auf 4 Terminals jeweils ein Script am laufen (zumindest versucht). Aber anscheinend lässt "debmirror" nur eine Instanz zu.

Oder meinst du mit "forken", die Scripts über screen laufen zu lassen?

Mfg Jared

[gingupin]

Moinsen nochmal,

ich meinte -ohne vorher in die ManPages geschaut zu haben *ascheaufmeinHaupt*-
die verschiedenen deb-mirror Prozesse in den Hintergrund zu schieben und den nächsten zu starten, so dass
alle deb-mirrors laufen und glechzeitig die Aktualisierungen ziehen.

Sollte deb-mirror keine Instanzen zulassen - so streiche er diesen Gedanken wieder...