Kategorien

Mailzustellung nachverfolgen

Wie mein Mailsetup aussieht habe ich in einer ausführlichen Artikelserie zu Dovecot, Exim, OpenLDAP, getmail und dspam beschrieben. Bei einigen Accounts kam es in letzter Zeit jedoch dazu, dass Mailnachrichten nur unvollständig zugestellt wurden. Dabei ging nicht die Nachricht an sich verloren, sondern die Nachricht wurde einfach abgeschnitten, so dass z.B. der Nachrichtentext unvollständig war oder Anhänge fehlten. Diesem Problem will ich nun auf den Grund gehen. Die Einträge in den Logdateien lassen nicht auf Fehler schließen:

Exim (unter /var/log/exim/exim_main.log):
2014-02-26 09:18:37 1WIZhL-0007rH-JF <= **@**.com
H=exprod6og101.obsmtp.com [64.18.1.181] P=smtps
X=TLS1.0:DHE_RSA_AES_256_CBC_SHA1:256 S=118913
id=OF22A8285E.635A0C34-ONC1257C8B.002D8787-C1257C8B.002DA1DC@**.COM
2014-02-26 09:18:37 1WIZhL-0007rH-JF => ** <**@**>
R=local_user T=dovecot_delivery
2014-02-26 09:18:37 1WIZhL-0007rH-JF Completed
2014-02-28 09:28:24 1WJInu-0001M5-NU <= **@**.com
H=exprod6og118.obsmtp.com [64.18.1.233] P=smtps
X=TLS1.0:DHE_RSA_AES_256_CBC_SHA1:256 S=257948
id=OF8652FF3E.7990F5DE-ONC1257C8D.002DB28B-C1257C8D.002E87A3@**.COM
2014-02-28 09:28:24 1WJInu-0001M5-NU => ** <**@**>
R=local_user T=dovecot_delivery
2014-02-28 09:28:24 1WJInu-0001M5-NU Completed

Dspam (unter /var/spool/dspam/data/user/user.log):
1393402717 I *@**.com 9,530da35d36871725616547
Sunject! Delivered
<OF22A8285E.635A0C34-ONC1257C8B.002D8787-C1257C8B.002DA1DC@**.COM>
1393576104 I *@**.com 9,531048a836871554010661
Re: Subject Delivered
<OF8652FF3E.7990F5DE-ONC1257C8D.002DB28B-C1257C8D.002E87A3@**.COM>

Dovecot (/var/log/dovecot-deliver.log):
2014-02-26 09:18:37 lda(*@*@**): Info: sieve:
msgid=<OF22A8285E.635A0C34-ONC1257C8B.002D8787-C1257C8B.002DA1DC@**.COM>:
stored mail into mailbox 'INBOX'
2014-02-28 09:28:24 lda(*@*@**): Info: sieve:
msgid=<OF8652FF3E.7990F5DE-ONC1257C8D.002DB28B-C1257C8D.002E87A3@**.COM>:
stored mail into mailbox 'INBOX'

Da der Fehler kann sich irgendwo in der Kette zwischen exim, dspam und dem Dovecot-LDA befinden kann, teste ich nun den Ansatz, die Nachricht nach jedem Zwischenschritt zu speichern:
Ursprüngliche Nachricht an Exim => /var/log/msg_id.exim
Nach Weiterverarbeitung durch Dspam /var/log/msg_id.dspam
Nach Zustellung durch Dovecot-LDA => im Mailverzeichnis des Benutzers

Für die Speicherung der Zwischenschritte habe ich deshalb folgendes Skript angelegt:

#!/bin/bash
/usr/bin/tee -a "/var/log/mails/$1.exim" | /usr/bin/dspamc --client --deliver=innocent,spam --user "$2" --stdout | /usr/bin/tee -a "/var/log/mails/$1.dspam"

In der Exim Konfigurationsdatei exim.conf passen wir den Paramter transport_filter an, der normalerweise dspam aufruft:

  #transport_filter = /usr/bin/dspamc --client --deliver=innocent,spam --user "GET_LOCAL_MAIL" --stdout
  transport_filter = /etc/exim/savemail "$message_id" "GET_LOCAL_MAIL"

Mal schauen, wo sich nun der Fehler versteckt..

(Hardened-)Kernel unter Gentoo kompilieren

In diesem Artikel geht es darum, wie ich es geschafft habe, für Gentoo einen Hardenend Kernel zu kompilieren. Dazu bin ich den Anweisungen des Wikis bis zur Anweisung

emerge --ask hardened-sources

gefolgt. Und habe dann den Kernel mit einem

make menuconfig

konfiguriert. Die zu setzenden Optionen, kann man dem Wiki in der Pax Quickstart Anleitung und der Grsecurity2 Quickstart Anleitung entnehmen. Leider sind bei letzterer nicht die Menüpunkte aufgelistet unter denen man die Konfigurationsoptionen findet. Man kann sich aber behelfen, indem man im Konfigurationsmenü die Taste „/“ drückt, worauf eine Suchmaske für Kernel-Optionen erscheint, in der dann der entsprechende Begriff eingegeben werden kann.

In vielen Fällen benötigt man zum Booten ein initramfs, das zum Beispiel Module lädt, die zum Hochfahren des richtigen Systems gebraucht werden. Bei mir war dies der Fall, weil ich einen KVM Guest eingerichtet habe., der die virtio Module benötigt. Zum Erzeugen eines initramfs muss man das Tool genkernel benutzen. Dieses kann aber viel mehr als nur ein initramfs erzeugen, da es auch dazu gedacht ist, bei einem Rechner automatisch festzustellen, welche Kernel Module benötigt werden. Wenn man es also ohne Bedacht aufruft, kann man sich sehr leicht die mühsam zusammengestellte, manuelle Kernel-Konfiguration überschreiben. Deshalb verfährt man am Besten wie im Gentoo-Wiki zum initramfs beschrieben und kopiert zur Sicherheit zunächst die Kernel-Konfiguration nach /etc/kernels/ mit einem sinnvollen Namen wie z.B. kernel-config-x86-2.6.18-gentoo-r6. Dann kopiert man die Datei nach /usr/src/linux/.config und führt im entsprechenden Verzeichnis folgenden Befehl aus:

genkernel --no-clean --no-splash --install all

Hierbei möchte ich auf einen interessanter Artikel hinweisen, in dem gezeigt wird, wie sich das initramfs unter gentoo zur Einbindung von verschlüsselten root-Partitionen anpassen lässt. Wenn man soweit alles fertig eingerichtet hat, kann man loslegen mit der Konfiguration und Einrichtung von Grsecurity wie es beispielsweise in dem Forumsartikel zu RBAC detailliert erklärt wird.

Monkey’s Audio (APE) und Cue Sheets mit Logitech Media Server

Meine Musiksammlung steuere ich über einen Logitech Media Server an und habe einige CDs so gerippt, dass für die komplette CD eine Monkey’s Audio Datei in Verbindung mit einem Cue Sheet vorliegt. Der Logitech Media Server unterstützt zwar prinzipiell Dateien im Monkey’s Audio Format, kann in diesen aber nicht an eine bestimmte Stelle springen, was natürlich für die Kombination mit Cue Sheets unbedingt erforderlich ist, denn schließlich möchte man nicht immer die ganze CD von Anfang an hören, wenn man eigentlich das 4. Lied darauf hören möchte. Deshalb habe ich mich daran gemacht, eine Lösung zu finden, so dass der Logitech Media Server mit der Kombination aus APE/Cue Sheets umgehen kann.

Basis meiner Lösung ist das Programm ffmpeg, welches im Gegensatz zu dem Standard-Logitech Decoder mac (Monkey’s Audio Console Front End) das Springen an eine Start-Position ermöglicht. Allerdings ist ffmpeg etwas speziell, was die Angabe der Sprungpositionen anbelangt, da es genau das Format hh:mm:ss.xxx erwartet und statt einer Endstelle in der Datei nur einen Parameter für die Abspieldauer akzeptiert. Deshalb habe ich ein kleines Übersetzungsprogramm geschrieben. Dieses muss als ffmpeg_wrapper im Verzeichnis /path_to_logitechmediaserver/Bin/i386-linux gespeichert werden und ausführbar gemacht werden (chmod +x):

#!/bin/sh

USAGE="Usage: `basename $0` [-s start_offset_in_sec] [-t end_offset_in_sec] [-i inputfile] any_other_args_for_ffmpeg"
# Example: ffmpeg_wrapper -s 514.733333333333 -t 764.133333333333 -i /path/to/file.ape -loglevel quiet -ac 2 -f wav pipe:1

# convert seconds.milliseconds to hh:mm:ss.xxx (maximum 3 digits for milliseconds)
function hms()
{
 local S=${1}
 ms=$(echo "scale=3;$S/1" | bc | cut -d '.' -f 2 | cut -c1,2,3)
 S=$(echo $S | cut -d '.' -f 1)
 ((h=S/3600))
 ((m=S%3600/60))
 ((s=S%60))
 printf "%02d:%02d:%02d.%d" "$h" "$m" "$s" "$ms"
}

# Parse command line options.
# we need to parse -i as an indicator that parsing of options is finished (keep in mind for convert.conf)
while getopts :s:t:i OPT;  do
    case "$OPT" in
        s)
            START=$OPTARG
            START_NEW="-ss $(hms $START)"
            ;;
        t)
            END=$OPTARG
            DURATION=$(echo "scale=3;$END-$START" | bc)
            DURATION="-t $(hms $DURATION)"
            ;;
        i)  ADDARG="-i"
            ;;
    esac
done

# Remove the switches we parsed above.
shift `expr $OPTIND - 1`

# We want at least one non-option argument = filename
if [ $# -eq 0 ]; then
    echo $USAGE >&2
    exit 1
fi

# Start ffmpeg with adjusted parameters
$(dirname "$0")/ffmpeg ${START_NEW} ${DURATION} ${ADDARG} "$@"

Außerdem muss natürlich ffmpeg auf dem Rechner installiert sein (bei mir funkioniert es wunderbar mit Version 0.11.1), so dass wir im Verzeichnis /path_to_logitechmediaserver/Bin/i386-linux einen symbolischen Link auf das Programm erzeugen können mit einem

ln -s /usr/bin/ffmpeg ffmpeg

Darüber hinaus ergänzen wir noch folgende Zeilen in /path_to_logitechmediaserver/convert.conf bzw. ändern diese ab:

ape mp3 * *
        # FB:{BITRATE=-B %B}D:{RESAMPLE=--resample %D}T:{START=-s %s}U:{END=-t %u}
        [ffmpeg_wrapper] $START$ $END$ -i $FILE$ -loglevel quiet -ac 2 -f wav pipe:1 | [lame] --silent -q $QUALITY$ $RESAMPLE$ -v $BITRATE$ - -

ape flc * *
        # FT:{START=-s %s}U:{END=-t %u}
        [ffmpeg_wrapper] $START$ $END$ -i $FILE$ -loglevel quiet -ac 2 -f wav pipe:1 | [flac] -cs --totally-silent --compression-level-0 --ignore-chunk-sizes -

ape ape * *
        -

Zusätzlich habe ich im Quellcode unter /path_to_logitechmediaserver/Slim/Formats/APE.pm noch eine Zeile ergänzt. Aus

        return $s->{tags}->{'COVER ART (FRONT)'};
}

1;

wird

        return $s->{tags}->{'COVER ART (FRONT)'};
}

sub canSeek { 1 }

1;

So, nun muss man den Logitech Media Server nur noch neu starten und man kann die Musik mit Monkey’s Audio/Cue Sheets genießen 🙂

Prinzipiell sollte die Lösung auch unter Windows mit einem entsprechenden Binary für ffmpeg auch funktionieren, allerdings muss man dann natürlich das Shell-Skript umschreiben.

GnuCash, AqBanking und HBCI bei der Commerzbank einrichten

Leider ist es nicht ganz einfach, HBCI mit GnuCash so einzurichten, dass es ohne Probleme läuft. Mit HBCI 3.0 funktioniert die Abfrage der Kontoumsätze nicht, da man die folgende Fehlermeldung bekommt:

Warte auf Antwort
Antwort erhalten
HBCI: 9050 - Teilweise fehlerhaft (M)
HBCI: 9210 - Keine gültige Kontoverbindung des Kunden (S)
Beende Dialog mit dem Server

Laut einer Diskussion in der GnuCash-Mailingliste liegt dies daran, dass AqBanking/GnuCash keine Unterkonten unterstützt mit HBCI 3.0. Mit HBCI 2.01 soll es dagegen funktionieren. Nur leider kann man die Schlüsseldatei nicht übermitteln, wenn man HBCI 2.01 beim Einrichten in AqBanking auswählt. In der Logdatei sieht der zugehörige Fehler so aus:

HBCI: 9010 - Auftrag abgelehnt
HBCI: 9130 - Inhalt syntaktisch ungültig, Segment/Auftrag wird abgelehnt
HBCI: 9050 - Teilweise fehlerhaft

Was also tun? Ich habe es schließlich doch noch geschafft, HBCI bei der Commerzbank zum Laufen zu bekommen. Man muss zunächst die Schlüsseldatei erstellen und dabei folgende Erweiterte Optionen einstellen:

Wichtig ist insbesondere, RDH-Version 1 einzustellen (nur diese Art Schlüssel ist kompatibel mit HBCI 2.x) . Nun funktioniert die Schlüsselübermittlung und wir können den Schlüssel anschließend entweder per INI-Brief in der Filiale oder online auf http://www.comerzbanking.de freischalten. Wenn das erfolgt ist, schalten wir den Schlüssel aktiv, d.h. wir setzen den Benutzer-Status auf aktiv:Wenn wir das gemacht haben, schließen wir AqBanking erstmal wieder und nehmen manuell Änderungen in der Konfiguration vor. Da der Abruf der Kontoumsätze nur mit HBCI 2.01 funktioniert, stellen wir die für die Schlüsselübermittlung verwendete Version 3.00 auf 2.01 um. Dazu editieren wir die entsprechende Konfigurationsdatei im Verzeichnis ~/aqbanking/settings/users/xxx.conf (xxx.conf auf eure Gegebenheiten anpassen) und ändern die Zeile

int  hbciVersion="300"

wie folgt ab

int  hbciVersion="201"

Im nächsten Schritt starten wir wieder den AqBanking-Einrichtungsassistenten, rufen den Benutzer für die Commerzbank-Konten auf und führen unter dem Reiter HBCI folgende Aktionen durch:

  1. Server-Schlüssel abrufen
  2. Systemkennung abrufen
  3. Kontenliste abrufen

Nun können wir den Einrichtungsassisten von AqBanking schließen und die Konten in GnuCash zuweisen. Und voilà, der Abruf der Kontoumsätze funktioniert!

E-Mails erneut zustellen aus Exims frozen queue

Bei der Aktualisierung meiner Programme aufgrund der zuletzt bekannt gewordenen Sicherheitslücken in dovecot, openssl usw. war bei mir kurzzeitig die Mailkonfiguration zerschossen. In der Folge konnten einige E-Mails nicht zugestellt werden und deshalb hat exim versucht, die Ursprungsnachricht mit einer Fehlermeldung an den Absender zu schicken. Da das auch nicht funktioniert hat, wurden diese als Nachrichten als frozen im Mailqueue markiert. Diese E-Mails wollte ich nun an den ursprünglichen Empfänger zustellen. Da es glücklicherweise nicht so viele waren, habe ich das kurz folgendermaßen per Hand bewerkstelligt:
Die IDs der frozen messages in Exims Queue auflisten mit

exiqgrep -z -i

Dann die Nachricht der entsprechenden ID anzeigen mit

exim -Mvb ID

Falls es sich um eine Spamnachricht handelt, diese direkt löschen mit

exim -Mrm ID

ansonsten die Ausgabe in eine Datei umleiten mit

exim -Mvb ID > mailcontent

Dann die Datei mailcontent editieren und die oberen Zeilen bis zum Beginn der ursprünglichen Mail löschen. Der „To:“-header darf nur die Mailaddresse des Empfängers enthalten, an den Exim die Mail eigentlich hätte zustellen sollen. Beispielsweise wird aus

1REOlj-0006ED-VH-D
This message was created automatically by mail delivery software.

A message that you sent could not be delivered to one or more of its
recipients. This is a permanent error. The following address(es) failed:

  xxx@mydomain
    local delivery failed

------ This is a copy of the message, including all the headers. ------

Return-path: <someone@senderdomain>
Received: from abc.com ([aaa.bbb.ccc.ddd])
        by mymailserver with esmtp (Exim 4.76)
        (envelope-from <someone@senderdomain>)
To: someone@somedomain; anotherone@anotherdomain; xxx@mydomain
...

dann

Return-path: <someone@senderdomain>
Received: from xxx.de ([129.187.xxx.yyy])
        by mymailserver with esmtp (Exim 4.76)
        (envelope-from <someone@senderdomain>)
To: xxx@mydomain
...

Sobald die Änderungen erfolgt sind, kann die Mail mit einem

cat mailcontent | exim -t

an die Empfänger gemäß dem Mail-Header verschickt werden oder mit einem

cat mailcontent | exim someone@somedomain.com

direkt an den/die definierten Empfänger geschickt werden. Durch ein

exim -Mrm ID

wird die entsprechende frozen E-Mail aus dem Queue gelöscht. Diese Schritte müssen für alle Mails durchgeführt werden.