Hotfolder: abgelegte Dateien automatisch weiterverarbeiten
Kurz gesagt: Ein Hotfolder ist ein Ordner, in den Menschen oder Programme Dateien legen, worauf automatisch etwas passiert: Fotos werden verkleinert und hochgeladen, Preislisten importiert, Scans umbenannt und abgelegt, Druckdaten geprüft. Auf Linux-Servern lässt sich das ohne zusätzliche Software bauen, etwa mit einer systemd-Pfad-Einheit oder mit dem Kernel-Mechanismus inotify. Entscheidend ist weniger das Werkzeug als die Frage, wann eine Datei wirklich fertig ist, was mit verarbeiteten und fehlerhaften Dateien passiert und wie Sie bemerken, wenn der Hotfolder stillsteht. Dieser Artikel zeigt einen robusten Aufbau Schritt für Schritt.
Wofür sich ein Hotfolder eignet
Hotfolder sind praktisch, wenn Dateien aus unterschiedlichen Quellen kommen und jedes Mal gleich behandelt werden. Typische Beispiele:
- Produktfotos aus dem Fotostudio, die verkleinert, umbenannt und an den Shop übergeben werden.
- Preis- oder Bestandsdateien eines Lieferanten, die per SFTP ankommen und importiert werden.
- Gescannte Lieferscheine, die nach Datum abgelegt und an ein Ablagesystem übergeben werden.
- Druckdaten von Kunden, die auf Format und Auflösung geprüft werden, bevor jemand sie ansieht.
Der Vorteil: Wer Dateien liefert, muss nichts über das Zielsystem wissen. Er legt sie einfach in den Ordner.
Variante 1: systemd-Pfad-Einheit
Auf den meisten aktuellen Linux-Distributionen ist systemd ohnehin vorhanden. Eine sogenannte Path-Unit überwacht einen Pfad und startet eine zugehörige Service-Unit, wenn sich dort etwas tut. Laut Dokumentation von systemd.path gibt es dafür mehrere Auslöser:
PathChanged=startet die Einheit, wenn sich eine Datei oder ein Verzeichnis ändert, und zwar nicht bei jedem Schreibvorgang, sondern wenn eine zum Schreiben geöffnete Datei geschlossen wird.PathModified=reagiert zusätzlich auch auf einfache Schreibvorgänge.DirectoryNotEmpty=startet die Einheit, sobald ein Verzeichnis mindestens eine Datei enthält.
Für einen Hotfolder ist DirectoryNotEmpty= oft die einfachste Wahl. Die Dokumentation erläutert, dass eine Path-Datei standardmäßig die gleichnamige Service-Einheit aktiviert, also hotfolder.path die Einheit hotfolder.service. Mit Unit= lässt sich das ändern. Der Service ruft Ihr Verarbeitungsskript auf, das alle Dateien im Ordner abarbeitet und verschiebt. Ist der Ordner danach leer, wartet die Path-Unit auf die nächste Datei.
Variante 2: inotify direkt
Wer mehr Kontrolle braucht, kann den Kernel-Mechanismus inotify nutzen, etwa mit dem Werkzeug inotifywait oder einer Programmbibliothek. Die Handbuchseite inotify(7) beschreibt unter anderem die Ereignisse IN_CLOSE_WRITE, wenn eine zum Schreiben geöffnete Datei geschlossen wurde, und IN_MOVED_TO, wenn eine Datei in den überwachten Ordner verschoben wurde.
Wichtig ist eine Einschränkung, die die Handbuchseite nennt: inotify erfasst nur Ereignisse, die ein Programm auf dem lokalen System über das Dateisystem auslöst. Änderungen, die auf Netzlaufwerken von anderen Rechnern aus geschehen, werden nicht erkannt. Für solche Fälle müssen Anwendungen laut Handbuchseite auf regelmäßiges Abfragen zurückgreifen.
Wann ist eine Datei fertig?
Das ist die wichtigste Frage beim Hotfolder. Wird eine große Datei hochgeladen, existiert sie im Ordner, lange bevor sie vollständig ist. Startet die Verarbeitung zu früh, entstehen abgeschnittene Bilder oder halbe Importe. Bewährte Wege:
- Erst hochladen, dann umbenennen. Der Absender lädt die Datei mit einer Endung wie
.parthoch und benennt sie danach um. Ihr Skript ignoriert.part-Dateien. - Auf das Schließen reagieren.
IN_CLOSE_WRITEoderPathChanged=reagieren erst, wenn die Datei geschlossen wurde. - In einen Unterordner hochladen und verschieben. Ein Verschieben innerhalb desselben Dateisystems ist ein einziger Schritt, die Datei taucht im Hotfolder also vollständig auf.
- Größe prüfen. Im Zweifel prüft das Skript, ob sich die Dateigröße über einige Sekunden nicht mehr ändert.
Ordnerstruktur und Fehlerbehandlung
Ein robuster Hotfolder hat mehr als einen Ordner:
/srv/hotfolder/eingang
/srv/hotfolder/in-arbeit
/srv/hotfolder/erledigt
/srv/hotfolder/fehler
Das Skript verschiebt jede Datei zuerst nach in-arbeit, damit sie nicht doppelt verarbeitet wird, und danach je nach Ergebnis nach erledigt oder fehler. Zu jeder fehlerhaften Datei schreibt es eine kurze Textdatei mit dem Grund. Räumen Sie erledigt regelmäßig auf, sonst wächst der Ordner endlos.
Achten Sie auf Dateinamen mit Leerzeichen, Umlauten oder Sonderzeichen. Ein Skript, das sie nicht sauber in Anführungszeichen setzt, scheitert genau an der Datei, die ein Kunde „Foto Müller (2).jpg“ genannt hat.
Überwachen, dass er läuft
Ein Hotfolder, der still steht, fällt oft erst auf, wenn sich Dateien stapeln. Sinnvoll sind:
- eine Warnung, wenn im Eingangsordner Dateien älter als eine festgelegte Zeit liegen,
- eine Benachrichtigung bei jeder Datei, die im Fehlerordner landet,
- ein Protokoll mit Zeitpunkt, Dateiname und Ergebnis.
Mit systemd sehen Sie Status und Ausgaben des Dienstes zudem über systemctl status und das Systemprotokoll.
Rechte und Sicherheit
Ein Hotfolder ist eine Tür in Ihr System, und wer Dateien hineinlegen kann, löst Verarbeitung aus. Geben Sie Lieferanten oder externen Fotografen deshalb einen eigenen Zugang, der nur in den Eingangsordner schreiben darf und nichts anderes sieht. Bei SFTP lässt sich ein solcher Zugang auf ein einzelnes Verzeichnis beschränken.
Das Verarbeitungsskript sollte unter einem eigenen Benutzer laufen, nicht als root. Prüfen Sie Dateien, bevor Sie sie weiterreichen: Ist es wirklich ein Bild, wenn ein Bild erwartet wird? Hat die Preisliste die erwarteten Spalten? Dateien, die nicht passen, gehören in den Fehlerordner, nicht ins Zielsystem. Begrenzen Sie außerdem die Dateigröße, damit eine versehentlich hochgeladene riesige Datei nicht den Server lahmlegt. Und legen Sie fest, wer im Betrieb für den Hotfolder zuständig ist, damit Meldungen aus dem Fehlerordner nicht ins Leere laufen.
Beispiel zur Veranschaulichung
Ein Kärntner Möbelhaus (Beispiel zur Veranschaulichung) bekommt Produktfotos von einem externen Fotografen per SFTP. Bisher lädt eine Mitarbeiterin sie herunter, verkleinert sie und lädt sie in den Shop. Nun landen die Fotos zunächst mit der Endung .part und werden nach dem Upload umbenannt. Eine systemd-Pfad-Einheit mit DirectoryNotEmpty= startet ein Skript, das die Bilder in zwei Größen umrechnet, nach Artikelnummer benennt und über die Shop-Schnittstelle hochlädt. Fotos mit unbekannter Artikelnummer wandern in den Fehlerordner, die Mitarbeiterin bekommt dazu eine kurze E-Mail.
Typische Fehler
- Dateien verarbeiten, die noch hochgeladen werden.
- Verarbeitete Dateien im Eingangsordner liegen lassen.
- inotify auf einem Netzlaufwerk einsetzen und sich wundern, dass nichts passiert.
- Fehler nur in eine Protokolldatei schreiben, ohne Benachrichtigung.
- Dateinamen mit Leerzeichen oder Umlauten nicht berücksichtigen.
Häufige Fragen
Brauche ich dafür eine spezielle Software?
Nein. Auf Linux reichen systemd oder inotify und ein Skript. Für Windows-Server gibt es eigene Überwachungsmechanismen.
Funktioniert das mit einem Netzlaufwerk?
Nur eingeschränkt. Laut inotify-Handbuchseite werden Änderungen von anderen Rechnern auf Netzlaufwerken nicht erkannt. Dort hilft ein regelmäßiges Abfragen.
Was passiert, wenn der Server neu startet?
Mit systemd startet die Pfad-Einheit wieder, sofern sie aktiviert ist. Dateien, die inzwischen angekommen sind, werden beim nächsten Durchlauf verarbeitet.
Wenn bei Ihnen regelmäßig Dateien ankommen, die immer gleich bearbeitet werden, richten wir gern mit Ihnen einen zuverlässigen Hotfolder ein: Ablauf automatisieren.