Verwaiste Uploads finden und aufräumen
Kurz gesagt: In jeder Web-App, die Dateien annimmt, sammeln sich mit der Zeit Dateien an, zu denen kein Datensatz mehr gehört: Fotos von gelöschten Aufträgen, ersetzte Profilbilder, abgebrochene Uploads, alte Versionen von Dokumenten. Diese verwaisten Dateien kosten Speicherplatz, machen Sicherungen größer und langsamer und können vertrauliche Inhalte enthalten, die eigentlich gelöscht sein sollten. Viele Frameworks räumen nicht von selbst auf. Die Django-Dokumentation sagt es ausdrücklich: Wird ein Datensatz gelöscht, bleiben die zugehörigen Dateien erhalten, und das Aufräumen müssen Sie selbst erledigen. Mit einem regelmäßigen, vorsichtigen Abgleich zwischen Datenbank und Speicher bekommen Sie das in den Griff.
Wie verwaiste Dateien entstehen
Die häufigsten Ursachen in Betrieben:
- Gelöschte Datensätze: Ein Auftrag, eine Reklamation oder ein Kundenkonto wird gelöscht, die hochgeladenen Fotos bleiben im Speicher.
- Ersetzte Dateien: Jemand lädt ein neues Profilbild oder eine neue Version eines Plans hoch, und die alte Datei bleibt liegen.
- Abgebrochene Uploads: Eine Datei wird hochgeladen, aber das Formular nie abgeschickt.
- Fehler in Abläufen: Ein Import bricht ab, nachdem die Dateien gespeichert, aber bevor die Datensätze angelegt wurden.
- Testdaten: Dateien aus Tests landen im selben Speicher wie echte Daten.
Einzeln sind das kleine Mengen. Über Jahre kann ein großer Teil des Speichers aus Dateien bestehen, auf die nichts mehr verweist.
Warum das mehr als ein Speicherproblem ist
Speicherplatz ist günstig, aber verwaiste Dateien haben weitere Folgen:
- Sicherungen: Jede Sicherung enthält auch die verwaisten Dateien. Sicherungen werden größer, dauern länger, und eine Wiederherstellung braucht mehr Zeit.
- Vertraulichkeit: Wenn eine Kundin ihr Konto löschen lässt, erwartet sie, dass auch ihre Fotos und Dokumente verschwinden. Verwaiste Dateien widersprechen dieser Erwartung.
- Übersicht: Wer den Speicher durchsucht, findet Dateien, deren Herkunft niemand mehr kennt.
- Kosten: Bei Cloudspeichern wird nach Menge abgerechnet, bei Sicherungen oft ebenfalls.
Schritt 1: Herausfinden, wie groß das Problem ist
Bevor Sie etwas löschen, verschaffen Sie sich einen Überblick. Ein kleines Skript liest alle Dateipfade aus dem Speicher und alle Dateiverweise aus der Datenbank. Die Differenz sind Kandidaten für verwaiste Dateien. Lassen Sie das Skript zunächst nur zählen und eine Liste erstellen, ohne etwas zu verändern. So sehen Sie, um wie viele Dateien und wie viel Speicherplatz es geht.
Achten Sie dabei darauf, alle Stellen zu berücksichtigen, an denen Dateien verwendet werden. Neben dem Hauptfeld eines Datensatzes können Dateien auch in Textfeldern verlinkt sein, etwa Bilder in Beschreibungen, oder in anderen Tabellen referenziert werden.
Schritt 2: Eine Karenzzeit einbauen
Dateien, die gerade erst hochgeladen wurden, können noch auf ihren Datensatz warten, etwa wenn jemand ein Formular in Ruhe ausfüllt. Löschen Sie deshalb nur Dateien, die älter sind als eine festgelegte Frist, zum Beispiel einige Tage. So vermeiden Sie, dass ein laufender Upload mitten im Ausfüllen verschwindet.
Schritt 3: Erst verschieben, dann löschen
Löschen Sie verwaiste Dateien nicht sofort. Verschieben Sie sie zuerst in einen Quarantänebereich und warten Sie eine Weile. Wenn sich in dieser Zeit niemand meldet, dass ein Bild fehlt, werden die Dateien endgültig gelöscht. Dieses Vorgehen fängt Fehler im Abgleich ab, etwa einen Verweis, den das Skript übersehen hat.
Schritt 4: Regelmäßig ausführen
Ein einmaliges Aufräumen hilft nur kurz. Die Django-Dokumentation schlägt für das Aufräumen verwaister Dateien beispielsweise einen eigenen Verwaltungsbefehl vor, der von Hand oder regelmäßig über einen Zeitplaner ausgeführt werden kann. Dasselbe Prinzip gilt für jede andere Technik: Ein geplanter Ablauf, etwa einmal pro Woche, hält den Speicher dauerhaft sauber. Lassen Sie sich über das Ergebnis informieren, zum Beispiel per kurzer Nachricht mit der Zahl der verschobenen und gelöschten Dateien.
Besser: beim Löschen gleich mit aufräumen
Noch besser als nachträgliches Aufräumen ist es, Dateien gleich mitzulöschen, wenn ihr Datensatz gelöscht oder ersetzt wird. Dabei ist Vorsicht geboten: Das Löschen der Datei sollte erst passieren, wenn das Löschen des Datensatzes erfolgreich abgeschlossen ist. Sonst kann es passieren, dass die Datei weg ist, der Datensatz aber wegen eines Fehlers erhalten bleibt und nun auf eine fehlende Datei verweist. Viele Teams kombinieren beides: sofortiges Löschen im Normalfall und einen regelmäßigen Abgleich als Sicherheitsnetz.
Wer entscheidet, was weg darf?
Nicht jede Datei ohne Datensatz ist wertlos. Manche Betriebe müssen Unterlagen aus fachlichen oder vertraglichen Gründen länger aufbewahren, etwa Fotos zu abgeschlossenen Schadensfällen oder Pläne zu fertigen Projekten. Klären Sie daher mit den Verantwortlichen im Betrieb, welche Arten von Dateien nach welcher Zeit gelöscht werden dürfen, und bauen Sie diese Regeln in den Abgleich ein. Ein Auftrag, der abgeschlossen statt gelöscht wurde, ist kein Fall für das Aufräumen. Halten Sie die Regeln schriftlich fest, damit auch neue Teammitglieder nachvollziehen können, warum eine Datei verschwunden ist oder warum sie noch da ist.
Sicherungen nicht vergessen
Auch wenn Dateien aus dem Speicher gelöscht sind, existieren sie in älteren Sicherungen weiter, bis diese ablaufen. Das ist meistens gewollt, sollte aber bekannt sein, etwa wenn jemand nach der Löschung seiner Daten fragt. Legen Sie fest, wie lange Sicherungen aufbewahrt werden, und halten Sie das in Ihrer Dokumentation fest.
Beispiel aus der Praxis
Ein Gutachterbüro in Hamburg verwaltet Schadensfälle mit vielen Fotos in einer Web-App (Beispiel zur Veranschaulichung). Nach einigen Jahren war der Speicher deutlich größer, als die Zahl der aktiven Fälle erwarten ließ. Ein Abgleichskript zeigte zahlreiche Fotos aus gelöschten und abgeschlossenen Testfällen sowie ersetzte Bilder. Das Büro verschiebt verwaiste Dateien jetzt wöchentlich in einen Quarantänebereich, löscht sie nach einer Wartezeit endgültig und hat die App so angepasst, dass ersetzte Fotos sofort entfernt werden.
Typische Fehler
- Verwaiste Dateien ohne Abgleich sofort löschen.
- Verweise in Textfeldern übersehen.
- Keine Karenzzeit für laufende Uploads.
- Datei vor dem Datensatz löschen.
- Nur einmal aufräumen statt regelmäßig.
Häufige Fragen
Wie finde ich heraus, ob mein System betroffen ist?
Vergleichen Sie die Zahl der Dateien im Speicher mit der Zahl der Dateiverweise in der Datenbank. Eine große Differenz ist ein deutliches Zeichen.
Gilt das auch für Cloudspeicher?
Ja. Cloudspeicher kennen die Verbindung zu Ihrer Datenbank nicht. Das Aufräumen muss Ihre Anwendung übernehmen.
Kann ich das Aufräumen automatisieren?
Ja, mit einem geplanten Ablauf. Wichtig sind Karenzzeit, Quarantäne und eine Benachrichtigung über das Ergebnis.
Was passiert, wenn doch eine benötigte Datei gelöscht wurde?
Solange sie im Quarantänebereich liegt, lässt sie sich einfach zurückholen. Danach bleibt nur die Wiederherstellung aus einer Sicherung, deshalb ist die Wartezeit so wichtig.
Wenn sich in Ihrer Web-App Dateien ohne Besitzer stapeln, räumen wir gern gemeinsam und dauerhaft auf: Speicher aufräumen lassen.