Wikipedia Offline: Welche Software?

[hikaru]

Hallo,

ich werde demnächst eine Reise machen auf der ich offline bin, es aber sinnvoll wäre in der Wikipedia (deutsch und englisch) nachschlagen zu können. Welche Artikel das genau sein werden weiß ich noch nicht, daher kann ich das nicht sinnvoll eingrenzen. Bilder wären (zumindest in reduzierter Größe) von Vorteil. Hochaktuell müssen die Daten nicht sein, schaden würde es aber natürlich auch nicht. Dabei haben werde ich ein Netbook mit ausreichend großer Festplatte auf dem Squeeze amd64 läuft.

Nun gibt es ja diverse Projekte die sich mit Wikipedia-Offline-Lösungen beschäftigen [1][2]. Auf den ersten Blick scheint mir Kiwix [3] vom OpenZIM-Projekt [4] die vielversprechendste unter vielen mehr oder weniger fertigen Lösungen zu sein. Es gibt in Sid sogar ein kiwix-Paket das vielleicht auch auf Squeeze läuft. Vor einigen Jahren hatte ich mich in einer ähnlichen Situation auch für die damalige Lösung des OpenZIM-Projekts entschieden, was im Grunde gut funktionierte wenn man bereit war für den damals nur in der Windowsversion sinnvoll lauffähigen Client auf wine zurückzugreifen.
Eine (inzwischen klinisch tote) Alternative könnte wohl das Offline-Wikipedia-Projekt [5] sein.

Bevor ich nun gigabyteweise Inhalte herunterlade wollte ich aber zumindest mal nachfragen ob sich hier in letzter Zeit jemand mit dem Thema beschäftigt hat und mir einen Tipp geben kann welche Lösung am besten funktioniert und welches Format sich für die Inhalte daher am besten eignet.
Eine Selbstbaulösung mit eigenem Mediawiki, DB-Backend und Dumps wollte ich aus Gründen der Faulheit gern vermeiden.

[1] http://de.wikipedia.org/wiki/Hilfe:Download
[2] http://en.wikipedia.org/wiki/Wikipedia: ... e_download
[3] http://kiwix.org
[4] http://openzim.org/wiki/Main_Page
[5] http://owi.sourceforge.net/

[uname]

Bis jetzt habe ich leider nur mal die Android-Version WikiDroyd probiert. Die war damals aber wirklich gut und sehr zu empfehlen. Die Bilder würde ich aber generell weglassen.

[hikaru]

Android habe und will ich nicht und die Bilder wären deshalb sinnvoll weil ich anhand derer gern Dinge identifizieren bzw. einen Anfangsverdacht verifizieren würde.

[Dogge]

Ganze Websiten konnte man mit wget ganz gut archivieren, da gibts einige hilfreiche Optionen. Aber ob ein Schalter zum komprimieren der Bilder existiert kann ich dir so spontan auch nicht sagen.

[hikaru]

Ganze Websiten konnte man mit wget ganz gut archivieren, da gibts einige hilfreiche Optionen.

Meine Erfahrungen mit wget und kleinen Websites extrapoliert auf die Dimensionen von Wikipedia lassen mich vermuten dass das ohne weitere Software kaum noch sinnvoll handhabbar wäre. Da wäre dann wohl ein eigenes Mediawiki + SQL-Dump die bessere Wahl.

Aber ob ein Schalter zum komprimieren der Bilder existiert kann ich dir so spontan auch nicht sagen.

Die Bilder sind bereits komprimiert, und zwar transparent. Das nennt sich dann jpeg.

[Saxman]

Es gab vor einer Weile eine DVD Version der Wikipedia zum Download. Vielleicht wäre das ja etwas.

[hikaru]

Es gab vor einer Weile eine DVD Version der Wikipedia zum Download. Vielleicht wäre das ja etwas.

Die DVDs hatte ich bei meinem Versuch vor ein paar Jahren (ich meine es war etwa 2010) als Input für den Windows-OpenZIM-Reader verwendet. Brauchbar waren sie, aber die sind auch heute noch Stand 2007 und damit schon sehr alt.
Ich hätte schon gern irgendwas aus den letzten drei Jahren, ohne dafür aber mit Fakten einen Bedarf begründen zu können. Es ist eher ein Bauchgefühl.

Ohne den Reader waren die Daten auf den DVDs übrigens nicht zu gebrauchen. Ich glaube das Hauptproblem des Linuxreaders war dass er damals veraltet war und daher nur einen Bruchteil der Artikel überhaupt anzeigte. Daher hatte ich damals den Windowsreader via wine verwendet.

[hikaru]

Zwischenstand:
Ich habe mir die aktuelle Kiwix-Version [1] als Binary geholt (das Sid-Paket ließ sich nicht sinnvoll unter Squeeze installieren - auf Wheezy ging es) und auf meinem System "installiert". Die Installation beschränkt sich auf ein Auspacken des Archivs in ein exec-gemountetes Dateisystem, daher die Anführungszeichen.

Dazu habe ich mir per Torrent die deutsche und englische Version der Wikipedia [2] geladen, jeweils in der präindizierten Version. Das ging erfreulich schnell. Zumindest wurden die ca. 6MBit die mir mein ISP real zugesteht bis zum Anschlag ausgelastet (Dauer für beide Wikis ca. 14 Stunden).
Den Index zur Volltextsuche muss man dann nicht mehr selbst generieren, sondern nur noch den mitgelieferten Index importieren. Wie das geht ist im Wesentlichen im ubuntuusers-Wiki-beschrieben [3]. Die Anweisung bezieht sich aber entweder auf eine ältere Kiwix-Version oder ist unsauber formuliert. Die Einträge zu indexPath und indexType werden nicht "unterhalb" der path-Angabe, also in einer neuen Zeile, eingefügt, sondern im selben XML-Tag, also z.B. dahinter.

Solange man sich nur innerhalb eines Wikis (in meinem Fall einer Sprache) bewegt funktioniert Kiwix sehr gut und auch auf dem Netbook recht performant. Was nicht implementiert ist, ist eine Interaktion zwischen verschiedenen Wikis, wie z.B. dem Wechseln von einem deutschen Arrtikel zu seinem englischen Gegenstück. Ich habe diesbezüglich Kontakt mit den Entwicklern aufgenommen [4]. Vielleicht ergibt sich auf lange Sicht etwas. In absehbarer Zeit ist aber keine Änderung zu erwarten.
Eine weitere Baustelle ist, dass es bisher keine einfache Möglichkeit für Endnutzer gibt selbst eigene Zim-Dateien aus beliebigen Mediawikis zu erstellen. Im Moment ist man dafür auf die Kiwix-Entwickler angewiesen bzw. die Prozedur ist recht aufwändig. [5]

Abgesehen von der fehlenden wikiübergreifenden Verlinkung erscheint mir Kiwix auf den ersten Blick eine recht überzeugende Lösung zu sein und kein reiner Notbehelf wie der Windows-Zim-Reader den ich da vor ein paar Jahren hatte. Ein wirklich aussagekräftiges Urteil zu Kiwix lässt sich vermutlich aber erst nach intensiver Nutzung fällen.

[1] http://sourceforge.net/projects/kiwix/files/0.9_rc2/
[2] http://www.kiwix.org/wiki/Wikipedia_in_all_languages
[3] http://wiki.ubuntuusers.de/Kiwix#Index-importieren
[4] http://sourceforge.net/p/kiwix/discussi ... /aa0dad65/
[5] http://www.kiwix.org/wiki/Mediawiki_Dum ... mprovement