[gelöst] Horde Fehler bei gpg-unterschriebenen Emails

[scientific]

Hi Leute!

Ich experimentiere gerade mit Horde. Das ist ja eine wirklich super Software geworden

Leider habe ich ein Problem, und ich konnte es endlich eingrenzen.
Bei manchen Emails kommt diese Fehlermeldung

Code: Alles auswählen

Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Panic: file index-mail-binary.c: line 586 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)
Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Error: Raw backtrace: /usr/lib/dovecot/libdovecot.so.0(+0x95272) [0x7f217efe7272] -> /usr/lib/dovecot/libdovecot.so.0(+0x9536d) [0x7f217efe736d] -> /usr/lib/dovecot/libdovecot.so.0(i_fatal+0) [0x7f217ef7d951] -> /usr/lib/dovecot/libdovecot-storage.so.0(index_mail_get_binary_stream+0x238) [0x7f217f31cde8] -> /usr/lib/dovecot/libdovecot-storage.so.0(mail_get_binary_stream+0x60) [0x7f217f2a9fa0] -> /usr/lib/dovecot/libdovecot-storage.so.0(imap_msgpart_open+0x139) [0x7f217f35d0f9] -> dovecot/imap [jakob ::1 UID FETCH](+0x1ebbc) [0x55f34207fbbc] -> dovecot/imap [jakob ::1 UID FETCH](+0x1cfb6) [0x55f34207dfb6] -> dovecot/imap [jakob ::1 UID FETCH](imap_fetch_more+0x39) [0x55f34207f0e9] -> dovecot/imap [jakob ::1 UID FETCH](cmd_fetch+0x33b) [0x55f342070d9b] -> dovecot/imap [jakob ::1 UID FETCH](command_exec+0xa5) [0x55f34207c735] -> dovecot/imap [jakob ::1 UID FETCH](+0x199c2) [0x55f34207a9c2] -> dovecot/imap [jakob ::1 UID FETCH](+0x19a4c) [0x55f34207aa4c] -> dovecot/imap [jakob ::1 UID FETCH](client_handle_input+0x1b5) [0x55f34207ae55] -> dovecot/imap [jakob ::1 UID FETCH](client_input+0x86) [0x55f34207b3c6] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_call_io+0x52) [0x7f217effbdd2] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_handler_run_internal+0x109) [0x7f217effd409] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_handler_run+0x3c) [0x7f217effbe6c] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_run+0x38) [0x7f217effc018] -> /usr/lib/dovecot/libdovecot.so.0(master_service_run+0x13) [0x7f217ef83e93] -> dovecot/imap [jakob ::1 UID FETCH](main+0x328) [0x55f34206de68] -> /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf1) [0x7f217ebd32b1] -> dovecot/imap [jakob ::1 UID FETCH](_start+0x2a) [0x55f34206dfea]
Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Fatal: master: service(imap): child 16314 killed with signal 6 (core dumps disabled)

Und Horde zeigt kein Email an. Rufe ich das nächste Email auf, zeigt Horde einen IMAP-Fehler. Danach kann ich wieder Emails ganz normal anzeigen.

Die genauen Umstände zur Reproduktion sind folgende:

• Ich habe virtuelle "smarte" Folder in Dovecot, welche mir in einem Folder alle Emails, bzw. alle ungelesenen Emails anzeigen. Aus allen Mailboxen des Users. Ich möchte es in einem solchen virtuellen Folder anzeigen
• Das Mail ist gpg-signiert
• Das Email befindet sich nicht in der INBOX sondern in einem Unterordner.

Gehe ich in den originalen Ordner der signierten Email, kann ich diese ohne Probleme anzeigen.

Diese Umstände herauszufinden hat mich jetzt einen ganzen Tag gekostet.
Ich habe in der Zwischenzeit in Horde die gpg-Unterstützung aktiviert. Dennoch bleibt das Verhalten so.

Hat dazu jemand eine Idee?

[EDIT] Ich habe gerade ein nicht signiertes Email gefunden, welches die selben Probleme aufwirft.
lg scientific

[slu]

Code: Alles auswählen

Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Panic: file index-mail-binary.c: line 586 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)
Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Error: Raw backtrace: /usr/lib/dovecot/libdovecot.so.0(+0x95272) [0x7f217efe7272] -> /usr/lib/dovecot/libdovecot.so.0(+0x9536d) [0x7f217efe736d] -> /usr/lib/dovecot/libdovecot.so.0(i_fatal+0) [0x7f217ef7d951] -> /usr/lib/dovecot/libdovecot-storage.so.0(index_mail_get_binary_stream+0x238) [0x7f217f31cde8] -> /usr/lib/dovecot/libdovecot-storage.so.0(mail_get_binary_stream+0x60) [0x7f217f2a9fa0] -> /usr/lib/dovecot/libdovecot-storage.so.0(imap_msgpart_open+0x139) [0x7f217f35d0f9] -> dovecot/imap [jakob ::1 UID FETCH](+0x1ebbc) [0x55f34207fbbc] -> dovecot/imap [jakob ::1 UID FETCH](+0x1cfb6) [0x55f34207dfb6] -> dovecot/imap [jakob ::1 UID FETCH](imap_fetch_more+0x39) [0x55f34207f0e9] -> dovecot/imap [jakob ::1 UID FETCH](cmd_fetch+0x33b) [0x55f342070d9b] -> dovecot/imap [jakob ::1 UID FETCH](command_exec+0xa5) [0x55f34207c735] -> dovecot/imap [jakob ::1 UID FETCH](+0x199c2) [0x55f34207a9c2] -> dovecot/imap [jakob ::1 UID FETCH](+0x19a4c) [0x55f34207aa4c] -> dovecot/imap [jakob ::1 UID FETCH](client_handle_input+0x1b5) [0x55f34207ae55] -> dovecot/imap [jakob ::1 UID FETCH](client_input+0x86) [0x55f34207b3c6] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_call_io+0x52) [0x7f217effbdd2] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_handler_run_internal+0x109) [0x7f217effd409] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_handler_run+0x3c) [0x7f217effbe6c] -> /usr/lib/dovecot/libdovecot.so.0(io_loop_run+0x38) [0x7f217effc018] -> /usr/lib/dovecot/libdovecot.so.0(master_service_run+0x13) [0x7f217ef83e93] -> dovecot/imap [jakob ::1 UID FETCH](main+0x328) [0x55f34206de68] -> /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf1) [0x7f217ebd32b1] -> dovecot/imap [jakob ::1 UID FETCH](_start+0x2a) [0x55f34206dfea]
Nov 12 22:45:03 aldebaran dovecot[2879]: imap(jakob): Fatal: master: service(imap): child 16314 killed with signal 6 (core dumps disabled)

Oh we, das sieht mir aber nicht nach einem Horde Problem aus.

• Ich habe virtuelle "smarte" Folder in Dovecot, welche mir in einem Folder alle Emails, bzw. alle ungelesenen Emails anzeigen. Aus allen Mailboxen des Users. Ich möchte es in einem solchen virtuellen Folder anzeigen

So etwas hat Horde schon eingebaut und nennt sich Virtueller Posteingang.

Ich habe hier Horde (aus pear installiert) und dovecot auf Jessie und Stretch ohne Probleme am laufen.
Wie sieht denn dein Setup aus?

[scientific]

Ich denke schon, dass es ein Horde-Problem ist, denn es tritt nur mit Horde auf. Alle anderen Clients funktionieren.

Die Config von Horde und Dovecot poste ich später. Sitz grad nicht am Rechner.

Ich hab Horde aus dem Stretch-Repo installiert.

Das ist auch nur eine Probeinstallation, da ich das ganze demnächst auf einem neuen Server fix installieren. Bis dahin möchte ich die div. Problemchen und Serverleins verstanden haben.

Lg

[scientific]

Kann das ev. auch ein Problem von PHP7 mit Horde sein?

[slu]

Ich denke schon, dass es ein Horde-Problem ist, denn es tritt nur mit Horde auf. Alle anderen Clients funktionieren.

Dann musst Du das IMAP Debug aktivieren und am besten an die Horde Mailingliste wenden.

Ich hab Horde aus dem Stretch-Repo installiert.

Ich würde dir raten Horde nur aus pear zu installieren, die Debian Versionen sind oft zu alt.
Das wäre vor allem sehr wichtig wenn Du auch ActiveSync einsetzten möchtest, hier gibt es immer wieder Bugfixes und Verbesserungen.

[scientific]

Du meinst Imap-Debug in Horde?
Ich bin in dem Thema noch nicht so drin.

Ja, die Hordemailinglisten wären eh mein nächster Anlaufpunkt gewesen.

[weshalb]

Hi Leute!

Ich experimentiere gerade mit Horde. Das ist ja eine wirklich super Software geworden

He, he das kann ich bestätigen. Bei mir läuft es auf Stretch in einer VM und wurde ebenfalls mittels pear installiert. Ohne Probleme, allerdings ohne gpg, werde ich aber mal bei Zeiten probieren. Ich würde das tatsächlich mal mit der aktuellen Version testen.

[scientific]

Und wie installiere ich horde mittel pear?
In Debian stretch ist ja mittlerweile php7 (7.0 und 7.1 welches soll ich nehmen?) angekommen.
Halte ich mich an die Anleitung von https://www.horde.org/apps/webmail/docs ... il-edition, kommt bei mir eine Fehlermeldung und horde lässt sich nicht installieren:

Code: Alles auswählen

# pear run-scripts horde/horde_role

Warning: Declaration of PEAR_Task_Postinstallscript::startSession($pkg, $contents) should be compatible with PEAR_Task_Common::startSession($pkg, $contents, $dest) in PEAR/Task/Postinstallscript.php on line 34
PHP Warning:  Declaration of PEAR_Task_Postinstallscript::startSession($pkg, $contents) should be compatible with PEAR_Task_Common::startSession($pkg, $contents, $dest) in /usr/share/php/PEAR/Task/Postinstallscript.php on line 34

Warning: Declaration of PEAR_Task_Postinstallscript::run() should be compatible with PEAR_Task_Common::run($tasks) in PEAR/Task/Postinstallscript.php on line 34
PHP Warning:  Declaration of PEAR_Task_Postinstallscript::run() should be compatible with PEAR_Task_Common::run($tasks) in /usr/share/php/PEAR/Task/Postinstallscript.php on line 34
Including external post-installation script "/usr/share/php/PEAR/Installer/Role/Horde/Role.php" - any errors are in this script
Inclusion succeeded
running post-install script "Horde_Role_postinstall->init()"
init succeeded
Filesystem location for the base Horde application : /var/www/horde
Could not save horde_dir configuration value to PEAR config.

/var/www/horde habe ich angegeben.

lg scientific

[scientific]

So. Ich habe jetzt die Debian-Pakete von Horde gelöscht und es versucht aus PEAR zu installieren.
https://www.linuxmuster.net/wiki/anwend ... rde5ubuntu
Das zieht doch eine ganze Menge Abhängigkeiten nach sich...puh... Bin mir grad nicht so sicher, ob das auch auf einem kleinen Einplatinenrechner so performant läuft...

Wie auch immer. Horde 5.2.22 läuft.

Aber der Fehler, dass manche Emails nicht geöffnet werden, (die selben wie zuvor) bleibt bestehen.



Es gelingt mir auch nicht, das Logging für IMAP zu aktivieren.
Ich habe dazu in der Datei imp/config/backends.php den Abschnitt für imap so abgeändert:
// IMAP server
$servers['imap'] = array(
// ENABLED by default; will connect to IMAP port on local server
'disabled' => false,
'name' => 'IMAP Server',
'hostspec' => 'localhost',
'hordeauth' => false,
'protocol' => 'imap',
'port' => 143,
// Plaintext logins are disabled by default on IMAP servers (see RFC 3501
// [6.2.3]), so TLS is the only guaranteed authentication available by
// default.
'secure' => 'tls',
'debug' => '/tmp/imp_imap.log',
'debug_raw' => true,
);


Jedoch gibt es keine Datei /tmp/imp_imap.log.
Dass ich in der Richtigen Section bin, zeigt mir, dass nicht einmal der Login funktioniert, wenn ich bei hostspec einen nicht existierenden Server angebe.

Oder bin ich da falsch?

lg scientific

[weshalb]

Bei mir läuft das OHNE virtuelle "smarte" Folder 1A, doch ich bin auch an einer Lösung interessiert, falls ich das mal einsetzen möchte.

[scientific]

Ich hab an anderer Stelle schon mal erwähnt, warum ich das so eingerichtet habe. Gerne aber hier nochmal.

Ich habe ziemlich viele IMAP-(Unter)ordner im Einsatz. Das ist über die Jahre so gewachsen. Ich habe z.B. unter der INBOX einen Ordner der heißt Mailinglisten. In diesem gibts dann einen Unterordner, der heißt Linux. Unter Linux dann einen der heißt debian. Unter debian gibts dann die Unterordner mit "bugs", "user-german", "backports" usw...

Mit Sieve-Scripten sortiere ich schon serverseitig beim Eintreffen der Emails (fetchmail!!) in alle diese Unterordner ein. Das funktioniert prächtig und verschafft mir einen guten Überblick.
Thunderbird färbt die Ordner mit neuen Emails blau. Wenn eine Unterordnerhierarchie zugeklappt ist, und es ist ein neues in einem dieser Unterordner, dann wird der oberste zu sehende eben blau gefärbt. Ich weißt als am ersten Blick, ob die neu eingetroffenen Emails wichtig sind, oder nicht.

Am Smartphone ist aber so eine Ordnerstruktur nicht besonders bedienerfreundlich. Das heißt, man sieht nur die oberste Ebene. Unterordner sind zum Teil sehr umständlich zugänglich. Smarte Ordner gibts z.B. bei k9Mail oder der Gmail-App auch nicht.
Also nutze ich die Funktion von dovecot, dass ich virtuelle Ordner mit dem Virtual-Plugin realisiere.
Dort kann ich genau definieren, welche Emails zusammengefasst angezeigt werden sollen. Alle Ungelesenen, aber ohne Trash und Junk und jene aus den Systemmeldungen. Oder alle die jünger als 3 Wochen und 2 Tage sind (wenn ich mag).
Es ist ein eigener Namespace "Virtual". Der wird mir sowohl in TB, als auch Outlook angezeigt. In k9mail am Androiden kann ich zwar nicht gleichzeitig mehrere Namespaces anzeigen. Ich habe dort den Namespace "Virtual" ausgewählt und sehe so einen Überblick über ALLE Neuen, ALLE Ungelesen, ALLE Markierten Emails (usw.) Das was ich eben im Namespace Virtual definiert habe.

Und so sehr ich meine komplexe Ordnerstruktur schätze, im "ALLE"-Ordner lässt es sich viel einfacher suchen, wenn ich mal nicht genau weiß, wo ich ein Email finden könnte. Auch in Thunderbird und Outlook

Das Problem dabei ist, dass Horde in Kombination mit den Virtuellen Ordnern nicht funktioniert.
Hab jetzt extra in einem systemd-nspawn-Container gebaut und dort buster installiert und damit auch die Version von dovecot aus buster (2.2.32)
Der Fehler besteht auch hier exakt so.
Ich hab extra ein fehlerauslösendes Email in diesen Mailserver gepackt. Die Fehlermeldung ist gleich, das Email wird in Horde nicht angezeigt.
Übrigens ein unverschlüsseltes, ganz simples Testemail von Outlook beim Einrichten des Accounts...

Wie ich aus der von dir verlinkten Konversation mitgekriegt habe, dürfte es doch an dovecot liegen. Ich werde mich an deren Mailingliste wenden.

liebe Grüße

scientific

[slu]

Es gelingt mir auch nicht, das Logging für IMAP zu aktivieren.

Hab es nicht mehr genau im Kopf, ich meine aber du musst dich erneut in Horde einloggen dass das Debug Logging aktiviert wird.

Ich habe dazu in der Datei imp/config/backends.php den Abschnitt für imap so abgeändert:

Du solltest in diesem Ordner eine backends.local.php anlegen und dort deine Änderungen machen:
https://www.horde.org/apps/imp/docs/INS ... guring-imp

Hier mal ein Beispiel:

<?php
$servers['imap']['disabled'] = true;
$servers['advanced']['disabled'] = false;
$servers['advanced']['hostspec'] = 'localhost';
$servers['advanced']['hordeauth'] = false;
$servers['advanced']['protocol'] = 'imap';
$servers['advanced']['port'] = 143;
$servers['advanced']['secure'] = 'false';
$servers['advanced']['acl'] = true;
$servers['advanced']['cache'] = false;
//$servers['advanced']['debug'] = '/tmp/imp_imap.log';
$servers['advanced']['autocreate_special'] = true;

Die backends.php wird beim nächsten pear Horde Update überschrieben...

Sollte es dann doch ein Horde IMAP Bug sein kannst Du ihn hier melden:
https://bugs.horde.org/
Vorsicht, Anhänge sind immer für alle öffentlich lesbar.
Ich persönlich habe sehr gute Erfahrungen mit Bugs in Horde gemacht, oft werden die Sachen schnell gefixt und sind dann via pear update verfügbar.

[scientific]

So. Ich habe jetzt einiges rausgefunden. (Irgendwie hab ich das schon geschrieben, aber ich finde es nicht mehr... muss ich wohl irrtümlich gekübelt haben...)

In Dovecot kann man rawlog einschalten, dann wird mitprotokolliert, was so an IMAP-Dialog zwischen Server und Client hin und her läuft.
https://wiki2.dovecot.org/Debugging/Rawlog Damit man den Dialog nach der Authentifizierung mitkriegt, muss es als postlogin-Skript aktiviert werden.

Also gut, ich hab das Logging aktiviert und das betreffende Email in der Virtuellen Mailbox versucht in Horde zu öffnen:

Die Header des Emails werden geöffnet. Das ist erfolgreich (im Log stehen an dieser Stelle die Headerzeilen), dann folgt das im IMAP-Dialog:

Code: Alles auswählen

8 OK Fetch completed (0.001 + 0.000 secs).
12 SELECT Virtual$Alle (QRESYNC (1510659001 3 1))
11 OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE IDLE SORT SORT=DISPLAY THREAD=REFERENCES THREAD=REFS THREAD=ORDEREDSUBJECT MULTIAPPEND URL-PARTIAL CATENATE UNSELECT CHILDREN NAMESPACE UIDPLUS LIST-EXTENDED I18NLEVEL=1 CONDSTORE QRESYNC ESEARCH ESORT SEARCHRES WITHIN CONTEXT=SEARCH LIST-STATUS BINARY MOVE XDOVECOT QUOTA ACL RIGHTS=texk] Logged in
12 BAD Error in IMAP command SELECT: QRESYNC not enabled (0.001 + 0.000 secs).

Der Befehl

Code: Alles auswählen

SELECT Virtual$Alle (QRESYNC (1510659001 3 1))

schlägt also fehl. Der kommt von Horde.
Die IMAP-Capabilities zeigen an, dass dovecot QRESYNC kann. Und dann kann dovecot es offenbar doch nicht.

Weiters fand ich dazu wenig, aber immerhin etwas:

https://bugs.horde.org/ticket/13144

Ob bei mir jetzt imapproxy verwendet wird oder nicht, kann ich derzeit noch nicht beurteilen. Ich denke aber nicht. Hab nix dazu aktiviert oder verändert.

Seltsam das Ganze jedenfalls...

lg scientific

[slu]

Wenn Du den imapproxy nicht installiert und in Horde konfiguriert hast ist der auch nicht in Verwendung.
Was mir immer noch nicht klar ist, geht denn die Funktion mit einem anderen EMail Client?

[scientific]

Hab ich eh schon geschrieben. Einzig Horde macht hier Mucken. Und das auch nur bei virtuellen Ordnern aus dovecot.
Das selbe Email im originalen Ordner geöffnet funktioniert auch in Horde.

In Thunderbird, in Outlook und in k9mail kann ich diese Emails auch im virtuellen Ordner öffnen.

Hier meine Dovecot- Config. Die problematischen Ordner sind jene im Namespace "Virtual"

Code: Alles auswählen

# dovecot -n
# 2.2.27 (c0f36b0): /etc/dovecot/dovecot.conf
# Pigeonhole version 0.4.16 (fed8554)
# OS: Linux 4.13.0-trunk-amd64 x86_64 Debian 9.1 btrfs
auth_mechanisms = plain login cram-md5 digest-md5
auth_socket_path = /var/run/dovecot/auth-userdb
first_valid_uid = 1000
imap_capability = +XDOVECOT
imap_client_workarounds = tb-extra-mailbox-sep
lda_mailbox_autocreate = yes
lda_mailbox_autosubscribe = yes
listen = *, ::1
login_trusted_networks = 127.0.0.1/8 192.168.0.0/24 192.168.1.0/24 172.17.0.0/24 172.18.0.0/24
mail_gid = vmail
mail_home =  /var/mail/%u
mail_location = maildir:/var/mail/%u/Maildir:LAYOUT=fs:INDEX=/var/lib/dovecot/db/indexes/%u:CONTROL=/var/lib/dovecot/db/control/%u
mail_plugins = zlib quota acl listescape mail_log notify virtual
mail_privileged_group = vmail
mail_server_admin = mailto:jakob@xundeenergie.at
mail_uid = vmail
managesieve_notify_capability = mailto
managesieve_sieve_capability = fileinto reject envelope encoded-character vacation subaddress comparator-i;ascii-numeric relational regex imap4flags copy include variables body enotify environment mailbox date index ihave duplicate mime foreverypart extracttext
mmap_disable = yes
namespace {
  hidden = no
  ignore_on_failure = no
  inbox = no
  list = children
  location = maildir:/var/mail/%%u/Maildir:LAYOUT=fs:INDEX=/var/lib/dovecot/db/indexes/%u/shared/%%u:INDEXPVT=/var/mail/%u/shared:CONTROL=/var/lib/dovecot/db/control/%u/shared
  prefix = shared$%%u$
  separator = $
  subscriptions = no
  type = shared
}
namespace {
  hidden = no
  inbox = no
  list = children
  location = maildir:/var/mail/mailarchiv/%u/:LAYOUT=fs:INDEX=/var/lib/dovecot/db/indexes/mailarchiv/%u:INDEXPVT=/var/mail/%u/mailarchiv
  mailbox incoming {
    auto = create
  }
  mailbox outgoing {
    auto = create
  }
  prefix = Mailarchiv$
  separator = $
  subscriptions = no
  type = public
}
namespace {
  list = children
  location = maildir:/var/mail/public/:LAYOUT=fs:INDEXPVT=/var/mail/%u/public
  prefix = Roseggergasse$
  separator = $
  subscriptions = no
  type = public
}
namespace Virtual {
  hidden = no
  list = children
  location = virtual:/var/mail/virtual:INDEX=/var/lib/dovecot/db/indexes/virtual/%u
  mailbox Alle {
    comment = All my messages
  }
  mailbox "Deleted Messages" {
    auto = no
    special_use = \Trash
  }
  mailbox Drafts {
    auto = no
    special_use = \Drafts
  }
  mailbox Entwürfe {
    auto = no
    special_use = \Drafts
  }
  mailbox "Gelöschte Elemente" {
    auto = no
    special_use = \Trash
  }
  mailbox "Gelöschte Objekte" {
    auto = no
    special_use = \Trash
  }
  mailbox Gesendet {
    auto = no
    special_use = \Sent
  }
  mailbox "Gesendete Elemente" {
    auto = no
    special_use = \Sent
  }
  mailbox "Gesendete Objekte" {
    auto = no
    special_use = \Sent
  }
  mailbox Markierte {
    comment = All my unread messages
  }
  mailbox Mistkübel {
    auto = no
    special_use = \Trash
  }
  mailbox "Neue Mails" {
    comment = All my unread messages
  }
  mailbox Papierkorb {
    auto = no
    special_use = \Trash
  }
  mailbox Sent {
    auto = no
    special_use = \Sent
  }
  mailbox "Sent Messages" {
    auto = no
    special_use = \Sent
  }
  mailbox Trash {
    auto = no
    special_use = \Trash
  }
  mailbox "Ungelesene Mails" {
    comment = All my unread messages
  }
  prefix = Virtual$
  separator = $
  subscriptions = no
}
namespace inbox {
  hidden = no
  inbox = yes
  location =
  mailbox Archiv {
    auto = no
    special_use = \Archive
  }
  mailbox Archive {
    auto = no
    special_use = \Archive
  }
  mailbox Archives {
    auto = no
    special_use = \Archive
  }
  mailbox "Deleted Messages" {
    auto = no
    special_use = \Trash
  }
  mailbox Drafts {
    auto = no
    special_use = \Drafts
  }
  mailbox Entwürfe {
    auto = no
    special_use = \Drafts
  }
  mailbox "Gelöschte Elemente" {
    auto = no
    special_use = \Trash
  }
  mailbox "Gelöschte Objekte" {
    auto = no
    special_use = \Trash
  }
  mailbox Gesendet {
    auto = no
    special_use = \Sent
  }
  mailbox "Gesendete Elemente" {
    auto = no
    special_use = \Sent
  }
  mailbox "Gesendete Objekte" {
    auto = no
    special_use = \Sent
  }
  mailbox Important {
    auto = no
  }
  mailbox Junk {
    auto = subscribe
    autoexpunge = 30 days
    special_use = \Junk
  }
  mailbox Mistkübel {
    auto = no
    special_use = \Trash
  }
  mailbox Papierkorb {
    auto = no
    special_use = \Trash
  }
  mailbox Sent {
    auto = subscribe
    special_use = \Sent
  }
  mailbox "Sent Messages" {
    auto = no
    special_use = \Sent
  }
  mailbox Spam {
    auto = no
    special_use = \Junk
  }
  mailbox Trash {
    auto = no
    special_use = \Trash
  }
  mailbox Wichtig {
    auto = create
  }
  prefix = INBOX$
  separator = $
  subscriptions = no
}
namespace subscriptions {
  hidden = yes
  list = no
  location =
  prefix =
  subscriptions = yes
}
passdb {
  args = scheme=CRYPT username_format=%u /etc/dovecot/users
  driver = passwd-file
}
plugin {
  acl = vfile:/etc/dovecot/dovecot-acl:cache_secs=300
  acl_anyone = allow
  acl_shared_dict = file:/var/lib/dovecot/db/shared-mailboxes.db
  fts =  lucene
  fts_autoindex =  yes
  fts_autoindex_max_recent_msgs =  80
  fts_decoder =  decode2text.sh
  fts_index_timeout =  90
  fts_lucene =  whitespace_chars=@. normalize no_snowball
  mail_home =  /var/mail/%u
  setting_name = sieve, managedsieve
  sieve = file:/var/spool/dovecot/sieve/%n;active=/var/spool/dovecot/sieve/%n/%n.sieve
}
postmaster_address = postmaster@localhost
protocols = " imap lmtp sieve sieve"
service anvil {
  unix_listener anvil-auth-penalty {
    mode = 00
  }
}
service auth {
  unix_listener auth-client {
    group = vmail
    mode = 0666
    user = vmail
  }
  unix_listener auth-userdb {
    group = vmail
    mode = 0666
    user = vmail
  }
}
service imap-login {
  inet_listener imaps {
    port = 993
    ssl = yes
  }
  process_min_avail = 1
}
service imap {
  process_limit = 1024
}
ssl = required
ssl_cert = </etc/dovecot/dovecot.crt
ssl_cipher_list = ALL:!ADH:!LOW:!SSLv2:!SSLv3:!EXP:!aNULL:+HIGH:+MEDIUM
ssl_key =  # hidden, use -P to show it
ssl_protocols = TLSv1.2 TLSv1.1 TLSv1 !SSLv3
userdb {
  args = username_format=%u /etc/dovecot/users
  default_fields = home=/var/mail/%u
  driver = passwd-file
}
verbose_proctitle = yes
protocol lmtp {
  mail_plugins = zlib quota acl listescape mail_log notify virtual quota sieve acl
}
protocol lda {
  mail_plugins = zlib quota acl listescape mail_log notify virtual quota sieve acl
}
protocol imap {
  mail_max_userip_connections = 10
  mail_plugins = zlib quota acl listescape mail_log notify virtual imap_quota imap_acl
}

In den virtuellen Ordnern dürfte QRSYNC (Quick Resynchronisation) nicht klappen.
Ich frage mich momentan, ob es an der Konfiguration von INDEX und CONTROL für die virtuellen Ordner liegt, oder ob Dovecot im Plugin Virtual mit QRSYNC (ev. auch CONDSTORE) noch nicht gut umgehen kann, und der Fehler deswegen auftritt. Überall anders klappt es wunderbar.

imapproxy hab ich nicht installiert.

Code: Alles auswählen

# apt list imapproxy
Auflistung... Fertig
imapproxy/stable 1.2.8~svn20161210-2+deb9u1 amd64

lg scientific

[scientific]

Bin jetzt mal auf der Dovecot-Mailingliste gelandet.

So wie es ausschaut, dürfte es doch ein Horde-Problem sein... Horde aktiviert nach einem Timeout das QRESYNC nicht mehr.
Die Frage ist, wieso es zu einem Timeout kommt...

lg scientific

[slu]

So wie es ausschaut, dürfte es doch ein Horde-Problem sein...

Hört sich spannend an, mach doch mal bei Horde ein Ticket auf und füge die IMAP Logdatei hinzu.

[scientific]

Ich möchte zuerst die Analyse meiner Logfiles (horde + dovecot) von den dovecot-Mailinglistlern durch haben, bevor ich die Pferde bei Horde aufscheuche...

Es gibt ja ein Ticket aus dem Jahr 2015 (die imapproxy-Geschichte), welches genau dieses Thema (nur nicht bei virtual-folder) behandelt. Damals war die Aussage bei Horde, dass Dovecot ziemlich sicher einen Fehler mache.
Deshalb möchte ich das auf der Dovecotliste zuerst abgeklärt haben, ob tatsächlich ein Reenablen von QRESYNC bei Horde nach einem Timeout die Ursache ist (bin ziemlich sicher, dass das auch das Ticket von Damals betreffen würde.)
Auf der Dovecot-Mailingliste sind die Antworten auch ziemlich fix da gewesen. Ich nehm an, das geht so flott weiter.

lg scientific

[scientific]

Andere Frage...
wo liegt eigentlich das mit PEAR installierte Zeugs?
Hab zwar nur Grundkenntnisse in php... aber vielleicht finde ich ja einen entscheidenden Hinweis, wo ein reenablen von QRESYNC nach einem Timeout gemacht werden kann...

Ich frag mich aber schon seit heut morgen, warum dieses Timeout überhaupt auftritt, und warum es nur bei bestimmten Emails auftritt...

lg scientific

[scientific]

Das ist dieses Timeout:

Code: Alles auswählen

S: )
S: 6 OK Fetch completed (0.004 + 0.000 + 0.003 secs).
>> Command 6 took 0,0038 seconds.
C: 7 UID FETCH 43462 (BINARY.PEEK[1])
>> ERROR: read/timeout error.
>> ERROR: Server closed the connection.
>> Connection to: imap://aldebaran.local/
>> Server connection took 0,002 seconds.
S: * OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE IDLE XDOVECOT STARTTLS AUTH=PLAIN AUTH=LOGIN AUTH=CRAM-MD5 AUTH=DIGEST-MD5] Dovecot ready.
C: 8 [AUTHENTICATE response (username: jakob)]
S: + PDUyMjg4MDg2MTc3NjY3NTEuMTUxMDc1NTYxMEBhbGRlYmFyYW4+
C: amFrb2IgNmMzY2YyZDEwODg1MTY1NDE1OGE0NDIwMGEzMjE2NmQ=
S: 8 OK [CAPABILITY IMAP4rev1 LITERAL+ SASL-IR LOGIN-REFERRALS ID ENABLE IDLE SORT SORT=DISPLAY THREAD=REFERENCES THREAD=REFS THREAD=ORDEREDSUBJECT MULTIAPPEND URL-PARTIAL CATENATE UNSELECT CHILDREN NAMESPACE UIDPLUS LIST-EXTENDED I18NLEVEL=1 CONDSTORE QRESYNC ESEARCH ESORT SEARCHRES WITHIN CONTEXT=SEARCH LIST-STATUS BINARY MOVE XDOVECOT SPECIAL-USE QUOTA ACL RIGHTS=texk] Logged in
>> Command 8 took 0,0143 seconds.
C: 9 SELECT Virtual$Alle (QRESYNC (1510698551 957 43365:43366,43368:43390,43392:43402,43404:43443,43445:43449,43451,43453:43454,43456:43486,43525,43544,43651,47819,49811:49812,49815:49826,56239:56243,73576:73586,75035:75039,75048,75071,77704,77865:77872))
S: 9 BAD Error in IMAP command SELECT: QRESYNC not enabled (0.000 + 0.000 secs).
>> Command 9 took 0,0003 seconds.
>> CACHE: Retrieved messages (HICenv,HICdg [Virtual$Alle; 43462])

Möglicherweise aber kommt das Timeout weil der Server die Verbindung unterbricht wegen dem:

Code: Alles auswählen

Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Debug: Mailbox INBOX$Sent: Opened mail UID=2364 because: header stream
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Debug: Mailbox INBOX$Sent: Opened mail UID=2364 because: header stream
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Debug: Mailbox INBOX$Sent: Opened mail UID=2364 because: access
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Debug: Mailbox INBOX$Sent: Opened mail UID=2364 because: mail stream
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Panic: file index-mail-binary.c: line 586 (index_mail_get_binary_stream): assertion failed: (mail->data.stream != NULL)
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Error: Raw backtrace: /usr/lib/dovecot/libdovecot.so.0(+0x95272) [0x7f898649f272] -> /usr/lib/dovecot/libdovecot.so.0(+0x9536d) [0x7f898649f36d] -> /usr//lib/dovecot/libdovecot.so.0(i_fatal+0) [0x7f8986435951] -> /usr/lib/dovecot/libdovecot-storage.so.0(index_mail_get_binary_stream+0x238) [0x7f89867d4de8] -> /usr/lib/dovecot/libdovecot-storage.so.0(mail_get_binary_stream+0x60) [0x7f8986761fa0] -> /usr/lib/dovecot/libdovecot-storage.so.0(imap_msgpart_open+0x139) [0x7f89868150f9] -> dovecot/imap [jakob 192.168.0.14 UID FETCH](+0x1ebbc) [0x561e4bf69bbc] -> doveco[...]ETCH](+0x19a4c) [0x561e4bf64a4c] -> dovecot/imap [jakob 192.168.0.14 UID FETCH](client_handle_input+0x1b5) [0x561e4bf64e55] -> dovecot/imap [jakob 192.168.0.14 UID FETCH][...](client_input+0x86
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Fatal: master: service(imap): child 11915 killed with signal 6 (core dumps disabled)
Nov 15 15:20:10 aldebaran dovecot[8794]: imap-login: Login: user=<jakob>, method=CRAM-MD5, rip=192.168.0.14, lip=172.17.0.1, mpid=11950, secured, session=</92CMwZe7rrAqAAO>
Nov 15 15:20:10 aldebaran dovecot[8794]: imap(jakob): Debug: Loading modules from directory: /usr/lib/dovecot/modules

Also dovecot beendet sich, weil ein Fehler auftritt.

Momentan sieht es für mich so aus, als ob beide Seiten Fehler machen. Horde reagiert falsch auf den Abbruch der Verbindung, und Dovecot hat das Problem mit index-mail-binary.c, dass irgendwo ein Datenstrom nicht korrekt ist und deshalb ein Prozess mit einem Fehler beendet wird.

Wenn ich die Meldung

Code: Alles auswählen

assertion failed: (mail->data.stream != NULL)

richtig interpretiere, dann erwartet die Zeile 586 in index-mail-binary.c, dass der Datenstrom aus dem erwünschten Email ungleich null ist. Der gelieferte Datenstrom (also das Email) das geöffnet wird, ist aber leer. Daher wird der Fehler erzeugt.
Für mich passt das schon irgendwie rein, da die Mailbox ja nur eine virtuelle ist, und das Email irgendwo anders liegt. Ich vermute, je länger ich darüber nachdenke und stöbere, dass ein Zeiger im Virtual-Plugin womöglich falsch ist/verwendet wird.

Aber es ist wirklich seltsam.
Wenn ich die IMAP-Befehle direkt im gdb abarbeite, kann ich sie problemlos nacheinander ausführen.
Warum kommt der Fehler, wenn Horde das macht?

Die Befehle aus dem Log sind:
2 ENABLE QRESYNC
3 SELECT Virtual$Alle
4 NAMESPACE
5 UID FETCH 43543 (ENVELOPE)
6 UID FETCH 43543 (BODYSTRUCTURE),
7 UID FETCH 43543 (BODY[HEADER])
8 UID FETCH 43543 (BINARY.PEEK[1]) <--- hier tritt bei horde der Fehler auf, manuell aber ok!


Muss mir direkt mal den Source-Code von dovecot runterladen. Aber leider kann ich kein C Programmieren...

Und damit es festgehalten ist:
Ich hab jetzt einen Bericht gefunden, der ein äußerst ähnliches Problem beschreibt. Gelöst wurde es mit dem Upgrade auf eine neuere dovecot-Version (2.2.17 von 2.2.13)
Es scheint also doch ein Problem in Dovecot zu sein. Ich vermute, dass das im Code des virtual-Plugins noch nicht gefixt ist.
https://lists.horde.org/archives/horde/ ... 56281.html (Im Thread weiterschauen. Die Fehlermeldungen sind die selben)
Dürfte mit dem im Zusammenhang stehen:
https://tools.ietf.org/html/rfc3516

lg scientific

[scientific]

Gute/Schlechte Nachrichten.
Auf der dovecot-Mailingliste bin ich soweit gekommen, dass mir mitgeteilt wurde, dass es sich in der Tat offenbar um einen Bug in Dovecot handelt!

Immer wieder schön, zur Weiterenwicklung von FOSS beitragen zu können!
Vor allem dovecot, der auf - WIMRE - auf 50-60% aller Mailserver weltweit läuft.

lg scientific

[scientific]

Das ging ja fix...

Hier ist der Patch https://github.com/dovecot/core/commit/ ... 2ef5870c8d

Nur... Wie wende ich das jetzt unter Debian an?

Git clonen und selber kompillieren?
Und wenns funktioniert einen Debian-Bugreport verfassen und auf einen Backport für stretch hoffen?

[scientific]

Also!

Zuerst die Build-Dependencies geholt:

Code: Alles auswählen

sudo apt-get build-dep dovecot-core

Ich hab mir mit

Code: Alles auswählen

apt-get source dovecot-core

die aktuellen Sourcen von dovecot-2.2.27 rungerheladen.
Die werden nach

dovecot-2.2.27

im aktuellen Verzeichnis entpackt.
In dieses Verzeichnis rein, nach src und dann hab ich mal ganz "hot" einen Fix angewendet... ich hab die Datei aus dem Github-Commit gesucht:

Code: Alles auswählen

https://github.com/dovecot/core/commit/489af46c6c1ee32fe6a6ff96a8281f2ef5870c8d?diff=unified

Und die Ergänzungen/Änderungen an den entsprechenden Stellen eingefügt.

Dann mit

Code: Alles auswählen

debuild -b -uc -us

das Paket neu gebaut.

Es entstehen eine ganze menge neuer Pakete im Verzeichnis darüber.
Hab dann entsprechend der bereits installierten die entsprechenden mit dpkg -i <Paketname> installiert.
Dovecot neu gestartet... und siehe da, ich kann in Horde die zuvor nicht funkionierenden Emails öffnen.

Hab einen Bugreport an Debian und das paket dovecot-core gemacht, den Link zum Github-Commit beigefügt und gebeten, dies auch in Stable oder den Backports einzufügen.

Ganz sicher falsch ist, dass ich die Versionsnummer in Control nicht angepasst habe... Und Patches fügt man auch anders ein. Hatte aber jetzt keine Zeit, mir das genauer anzusehen. Mach in demnächst und werde ein ordentliches Paket dazu bauen.

lg scientific

[slu]

Sehr schön das Du den Fehler gefunden hast, vielen Dank für das Berichten und melden.

[weshalb]

Auch einen Dank von mir scientific, werde ich mal bei Gelegenheit ausprobieren.