Digitalisierungsprojekte stehen früher oder später vor dem Problem, dass der Speicherbedarf schneller wächst als das Budget. Eine einzelne Fotosammlung fällt dabei kaum ins Gewicht. Sie wird aber mehrfach vorgehalten, weil Sicherungskopien dazugehören, und es bleibt selten bei einer Tranche. Über die Jahre summiert sich das zu einer Grössenordnung, die geplant sein will.

Der vorliegende Beitrag geht der Frage nach, welche Formen der Kompression für einen Archivmaster in Betracht kommen. Kompression kennt mehrere Abstufungen, die sich in ihren Folgen deutlich unterscheiden. Die erste davon, die tatsächlich komprimiert, kommt ohne Informationsverlust aus.

Vier Stufen

1. Unkomprimiert. Jedes Pixel wird einzeln gespeichert. Diese Form ist am einfachsten zu lesen und braucht am meisten Platz. Die Praxisregeln «Digitalisierung» der Deutschen Forschungsgemeinschaft (DFG) halten sie für die sicherste Variante: «Bildmaster sollten nach dem derzeitigen Kenntnisstand in ‹TIFF uncompressed› langzeitgesichert werden.»

2. Verlustfrei komprimiert. Die Datei wird gepackt wie ein ZIP-Archiv. Beim Öffnen kommt Pixel für Pixel dasselbe Bild heraus. Das lässt sich nachweisen, dazu unten mehr. Im TIFF-Format stehen dafür zwei Packverfahren zur Wahl: LZW, nach seinen Erfindern Lempel, Ziv und Welch benannt und seit 1988 in TIFF enthalten, sowie Deflate, derselbe Algorithmus, der auch in ZIP-Dateien und in PNG steckt. Beide suchen wiederkehrende Muster im Datenstrom und speichern sie nur einmal.

3. Visuell verlustfrei. Hier werden Informationen verworfen, aber so wenige und so gezielt, dass ein Mensch im direkten Vergleich keinen Unterschied erkennt.

4. Verlustbehaftet mit sichtbaren Einbussen. Die Kompression geht so weit, dass Artefakte im Bild erkennbar werden.

Alle vier Stufen bezeichnen ein Qualitätsniveau und kein Dateiformat. TIFF kann unkomprimiert oder verlustfrei gepackt sein, JPEG 2000 verlustfrei oder verlustbehaftet, und auch ein gewöhnliches JPEG lässt sich visuell verlustfrei speichern, wenn die Qualitätsstufe hoch genug gewählt wird. Die Koordinationsstelle für die dauerhafte Archivierung elektronischer Unterlagen (KOST), das gemeinsame Kompetenzzentrum der Schweizer Archive, hält beide Verfahren nebeneinander fest: Eine «JPEG- oder JPEG2000-Komprimierung» könne den Speicherbedarf gegenüber unkomprimiertem TIFF «im Idealfall auf gegen einen Zehntel verkleinern, ohne dass ein für das menschliche Auge wahrnehmbarer Qualitätsverlust entsteht».

Der Unterschied liegt darin, wie viel Speicherplatz ein bestimmtes Qualitätsniveau einnimmt. Hier ist JPEG 2000 das effizientere Verfahren. Dazu kommen zwei Eigenschaften, die dem gewohnten JPEG fehlen: ein verlustfreier Modus im selben Format sowie Qualitätsschichten, aus denen sich ohne Neukodierung verschieden stark komprimierte Fassungen ableiten lassen. Die KOST empfiehlt es entsprechend «mit seinen Vorteilen in der Speicherplatzökonomie».

In der Diskussion werden meist nur Stufe 1 und Stufe 4 betrachtet. Die praktisch interessanten Möglichkeiten liegen dazwischen.

Stufe 2: der Predictor

Für das Ergebnis verlustfreier Kompression ist der Predictor entscheidend. Statt des Pixelwertes wird die Differenz zum linken Nachbarn gespeichert. Die TIFF-Spezifikation begründet ihn damit, dass sich benachbarte Pixel in Fotografien selten stark unterscheiden. Die meisten Differenzen sind deshalb null oder klein, und genau darauf sprechen Packverfahren an.

Der Effekt ist erheblich. In einer eigenen Messung an zwanzig Fotoscans (24 Bit Farbe, 500 bis 1200 dpi):

Variantegegenüber LZW ohne Predictorgegenüber unkomprimiert
unkomprimiert+36 %100 %
LZW ohne PredictorAusgangswert74 %
LZW mit Predictor−43 %42 %
Deflate mit Predictor−47 %39 %
JPEG 2000 verlustfrei−65 %26 %

Die zweite Zeile verdient Beachtung: Ohne Predictor bleibt der grösste Teil des möglichen Effekts ungenutzt. Das Digital-Preservation-Team der British Library ging weiter und prüfte gut 500 Dateien aus 17 Sammlungen: «LZW compression sometimes resulted in a larger file than the original», während Deflate ausnahmslos verkleinerte und «uniformly more effective than LZW compression» war.

Der Predictor ist eine ganzzahlige, umkehrbare Rechnung. Auf das Bild wirkt er sich deshalb nicht aus. (Ob er gesetzt wird, hängt vom Werkzeug ab: ImageMagick 7 setzt ihn bei LZW und Deflate von sich aus, das tiffcp aus libtiff dagegen nicht. Ein Blick in die erzeugte Datei lohnt sich.)

Stufe 3: visuell verlustfrei

Visuell verlustfreie Kompression ist in mehreren der grössten Digitalisierungsprogramme seit Jahren im Einsatz. Robert Buckley hat für die Library of Congress zusammengetragen, wie Institutionen verlustbehaftetes JPEG 2000 für Master verwenden:

  • Das National Digital Newspaper Program von Library of Congress und National Endowment for the Humanities behält unkomprimiertes TIFF als Archivmaster und nutzt JPEG 2000 mit 8:1 für die Produktionsmaster, also jene Dateien, aus denen im Alltag Ansichts- und Druckderivate erzeugt werden. Beurteilt wurde eine ganze Leiter: 4:1 und 6:1 galten als visuell verlustfrei, 8:1 und 10,67:1 als «preferable», 16:1 noch als «acceptable», selbst 32:1 für manche Zwecke als brauchbar. Gewählt wurde 8:1 als Kompromiss zwischen Dateigrösse und Bildqualität.
  • Das British Newspaper Archive der British Library mit bis zu 40 Millionen Zeitungsseiten verwendet verlustbehaftetes JPEG 2000 für den Archivmaster wie für die Produktion. Die British Library entschied, dass verlustbehaftete Kompression «not only economically desirable but also acceptable» sei.
  • Die Wellcome Digital Library hat für grosse Projekte ebenfalls verlustbehaftetes JPEG 2000 als Archivmaster eingeführt, bei bis zu 30 Millionen Bildern. In der Praxis bewährten sich 10:1 für Bücher und 8:1 für Archivgut.

Begründet wird das mit den Speicherkosten: Der Bericht weist bei einem Verhältnis von 10:1 rund 90 Prozent Einsparung aus. Er benennt zugleich die Grenze. Der Nutzen liegt fast ganz im Bereich zwischen 2:1 und 10:1; darüber hinaus fällt er kaum noch ins Gewicht. Eine nochmalige Verdoppelung der Kompression bringt weitere fünf Prozentpunkte, «at the risk of significantly increasing the cost of poor quality».

Weiter geht die Federal Agencies Digital Guidelines Initiative (FADGI), ein Zusammenschluss von US-Bundesbehörden, der seit 2007 gemeinsame Richtlinien für die Digitalisierung erarbeitet. Getragen wird sie von der Library of Congress, die Personal und Forschungsmittel stellt und die Vorgaben im eigenen Digitalisierungsprogramm überprüft. Erste wissenschaftlich fundierte Richtlinien für die Digitalisierung von Kulturgut hatte auf Bundesebene zuvor das Nationalarchiv NARA erarbeitet.

Die Richtlinien formulieren in der Ausgabe von 2023 deutlich: TIFF habe der Community jahrzehntelang gedient, erzeuge aber Master, die «excessively large» seien und die Speicherkosten dramatisch erhöhten. «FADGI recommends considering JPEG2000, 20:1 compression for most applications.» Das bringe 95 Prozent kleinere Dateien «with no visible loss».

Der Wert liegt deutlich über dem, was die genannten Häuser tatsächlich gewählt haben. Die 95 Prozent entsprechen zudem genau jenen fünf Punkten über der 10:1-Marke, für die Buckley auf das Risiko schlechter Qualität hinweist. In den Formattabellen präzisiert FADGI selbst: 20:1 ist dort eine Obergrenze, ausdrücklich an visuelle Verlustfreiheit gebunden, und die Einrichtung muss den tatsächlichen Wert «by performing tests and visually evaluating for compression artifacts» selber bestimmen. Die Zahl ist damit eine Obergrenze für geprüfte Anwendungsfälle und kein pauschaler Zielwert.

Diese Linie ist nicht überall die gleiche. Memoriav lässt JPEG 2000 für den Archivmaster von Fotografien ausschliesslich mit verlustfreier Kompression zu.

JPEG

JPEG hat in der archivischen Praxis zwei feste Anwendungsbereiche.

Für Nutzungskopien ist es der Normalfall: das, was im Lesesaal, im Onlinekatalog oder in der Publikation gebraucht wird. Dort zählen kurze Ladezeiten und die Unterstützung durch alle gängigen Browser und Endgeräte.

Bei bereits als JPEG vorliegenden Beständen oder Akzessionen empfiehlt es sich, das Ausgangsformat beizubehalten. Die KOST hält fest: JPEG gelte nicht als Archivformat, grosse Bestände würden aber praktisch akzeptiert, weil eine Konversion selten sinnvoll sei. Eine Umwandlung in TIFF erzeugt eine grössere Datei bei gleicher Bildqualität.

Die Empfehlungen im Vergleich

Die Empfehlungen zum Bildmaster decken eine erhebliche Bandbreite ab:

EmpfehlungHaltung zum Bildmaster
DFG-Praxisregeln (12/2022)Unkomprimiertes Baseline-TIFF; die Optionen von Extended TIFF sollen für den Master nicht genutzt werden. TIFF-LZW und verlustfreies JPEG 2000 sind möglich, aber: «Generell sind jedoch Formate ohne Komprimierung denen mit verlustfreier Komprimierung vorzuziehen»
KOST (Schweiz)Für TIFF empfohlen: unkomprimiert, CCITT 1D und Group 3/4, LZW und PackBits; Deflate fehlt in dieser Aufzählung. Formatentscheid ausdrücklich fallweise: JPEG 2000 wird empfohlen, «bei der Archivierung von Fotographien ist JPEG2000 vorzuziehen»
Memoriav (Schweiz, Mindestanforderungen Fotografie)«Auf verlustbehaftete Kompression ist möglichst zu verzichten.» Archivmaster Aufsicht: «TIFF/unkomprimiert oder LZW; JPEG 2000/verlustfreie Komprimierung». Archivmaster Durchsicht, also Negative, Diapositive und Glasplatten: «TIFF/unkomprimiert; JPEG 2000/verlustfreie Komprimierung»
FADGI (USA, 2023)Für TIFF-Master: «Uncompressed, DEFLATE (ZIP)». Empfiehlt, JPEG 2000 zu erwägen, visuell verlustfrei bis maximal 20:1
Library of Congress (RFS, 2025/26)Bevorzugte Formate: TIFF, JPEG 2000, PNG; bevorzugt aber «uncompressed». «Lossless compression or lower compression ratios» steht in der Spalte acceptable, nicht preferred

Dahinter stehen unterschiedliche Abwägungen zwischen Sicherheit, Kosten und Verbreitung, getroffen zu unterschiedlichen Zeitpunkten und für unterschiedlich grosse Bestände. Wer 40 Millionen Zeitungsseiten verwaltet, rechnet anders als ein Archiv mit 5 000 Fotos.

Schon bei der verlustfreien Stufe fallen die Empfehlungen unterschiedlich aus. Wer den Master verlustfrei komprimiert, verlässt in jedem Fall den Baseline-Kern von TIFF 6.0: LZW steht dort unter den Erweiterungen, der Predictor ebenfalls, und Deflate kommt gar nicht vor, sondern wurde erst später von Adobe nachgetragen. Die KOST sagt das offen und beschreibt ihre Auswahl als «Erweiterung von TIFF V6 Baseline (Part 1)»; die DFG verlangt unkomprimiertes Baseline-TIFF und nennt TIFF-LZW im selben Abschnitt als mögliche Alternative; FADGI führt für TIFF-Master Deflate auf, LZW dagegen nicht.

Bewertung des Bestands

Die KOST bezieht die archivische Bewertung ausdrücklich in den Formatentscheid ein: Der Formatvergleich solle nicht «zum Fehlschluss verleiten, es gebe ein einziges ideales Archivformat für Bilddaten», es sei vielmehr «unerlässlich, den konkreten Anwendungsfall und die archivische Bewertung in den Formatentscheid mit einzubeziehen».

Die Bewertung entscheidet, was überhaupt dauernd aufbewahrt wird. Sie kann ebenso entscheiden, in welcher Qualität.

Die Memoriav-Mindestanforderungen für die Fotodigitalisierung unterscheiden durchaus, allerdings entlang technischer Achsen: nach Vorlagenart und nach Originalformat. Für Aufsichtsvorlagen ist «TIFF/unkomprimiert oder LZW» zugelassen, für Durchsichtsvorlagen nur noch «TIFF/unkomprimiert». Der Zeugniswert eines Bestands, seine Ersetzbarkeit und die Frage, ob das Original erhalten bleibt, gehen in diese Tabellen nicht ein. Die Bewertung behandeln dieselben Empfehlungen an anderer Stelle ausführlich, mit Kriterien wie Erhaltungszustand, Singularität und Dichte der Kontextinformation. Sie entscheidet dort darüber, welche Fotografien digitalisiert werden, und nicht darüber, wie deren Master zu spezifizieren ist.

Was das für den Speicher bedeutet, lässt sich ausrechnen. Ein Kleinbildnegativ nach Mindestvorgabe, also 4800 ppi in unkomprimiertem TIFF, ergibt 4535 × 6803 Pixel und belegt bei 8 Bit pro Kanal rund 93 Megabyte. In den empfohlenen 16 Bit sind es rund 185 Megabyte, bei 5000 Negativen gut 900 Gigabyte und dreifach vorgehalten knapp 3 Terabyte. Für andere Vorlagen und Bittiefen rechnet der Datenmengen-Rechner das durch. Verlustfreie Kompression würde davon einen erheblichen Teil einsparen, nachweisbar ohne jeden Informationsverlust; im TIFF-Pfad sieht Memoriav sie für Durchsichtsvorlagen aber nicht vor. Wer im Rahmen der Empfehlung verlustfrei komprimieren will, wechselt zu JPEG 2000, also zu jenem Format, das laut KOST «ein bewusstes Bekenntnis» verlangt.

Die verlustfreie Kompression im TIFF verlangt dieses Bekenntnis nicht. LZW ist nach Einschätzung der KOST «weitverbreitet» und das Patent darauf abgelaufen. Deflate ist derselbe Algorithmus wie in ZIP-Dateien und in PNG; die British Library hält fest, er sei «widely implemented», und zwar vor allem deshalb, weil er nie patentiert war. Beide Verfahren liest jedes gängige Bildprogramm. Es sind keine Insellösungen, und die Verbreitung, die den Empfehlungen bei JPEG 2000 fehlt, ist hier gegeben.

Für die Bewertung selbst sind zwei Punkte zu klären.

Ob es ein Original gibt und wie lange noch. Hier lohnt es, drei Fälle zu trennen, die in der Praxis häufig zusammenfallen.

Digitalisiert, Original bleibt. Die DFG-Praxisregeln sind für Bibliotheken und Forschung geschrieben und setzen diesen Fall voraus: digitalisiert wird «bei gleichzeitiger Schonung der kostbaren, bisweilen fragilen Originale». Die Datei ist ein Surrogat. Zeigt sie in zwanzig Jahren ein Artefakt, kann man auf das Original zurückgreifen und neu scannen. Das ist der einfachste Fall, und die meisten Empfehlungen sind stillschweigend für ihn geschrieben.

Digitalisiert, Original vergänglich. Nitrocellulose- und Acetatfilm, Magnetbänder, Thermopapier, vom Tintenfrass bedrohte Handschriften, sprödes Zeitungspapier: Das Original existiert heute noch und in dreissig Jahren womöglich nicht mehr. Die Rückfallebene hat damit ein Verfallsdatum. Faktisch wird das Digitalisat hier zur Überlieferung, unabhängig von der ursprünglichen Planung. Bemerkt wird das in der Regel erst dann, wenn eine Korrektur nicht mehr möglich ist.

Digital entstanden. Hier gibt es kein Original ausser der Datei. Jede verworfene Information ist endgültig verloren, eine analoge Rückfallebene existiert nicht. Zugleich ist die Sache oft bereits entschieden: Was eine Kamera als JPEG abgelegt hat, lässt sich nicht zurückgewinnen. Die Aufgabe besteht dann darin, den überlieferten Bitstrom unverändert zu sichern und ihn nicht in ein vermeintlich besseres Format zu überführen.

Diese Unterscheidung prägt das Ergebnis und klärt, worüber beim Kompressionsentscheid überhaupt befunden wird.

Der Zeugniswert des Bestands. Ein fotografischer Nachlass mit Unikaten ist anders zu beurteilen als ein Mitteilungsblatt, das in drei weiteren Archiven auf Papier liegt. Ein Bauplan, an dem später Masse abgenommen werden, anders als ein Sitzungsprotokoll, bei dem es auf den Wortlaut ankommt und nicht auf die Papierfarbe.

Daraus folgt: Die Kompressionsfrage muss nicht für das ganze Archiv gleich beantwortet werden. Ein kleiner, unersetzlicher Kern unkomprimiert oder verlustfrei; grosse Massenbestände, deren Originale erhalten bleiben, visuell verlustfrei.

Zwei Einschränkungen gehören dazu. Erstens kostet Differenzierung Verwaltungsaufwand: Jede zusätzliche Klasse muss dokumentiert, begründet und über Jahrzehnte durchgehalten werden. Zwei oder drei Stufen sollten genügen. Auch die KOST hält fest, solche Überlegungen seien gegen den Wunsch abzuwägen, «die Formatvielfalt im Archiv möglichst gering zu halten». Zweitens ist das eine archivische Entscheidung und liegt weder bei der Informatik noch beim Dienstleister.

Nachweis der Verlustfreiheit

Ob ein Wechsel des Kompressionsverfahrens tatsächlich verlustfrei war, lässt sich prüfen, und zwar für jede einzelne Datei.

Der Nachweis läuft über eine Prüfsumme der entpackten Bilddaten; die Dateigrösse selbst sagt darüber nichts aus. Die Prüfsumme erfasst den dekodierten Bildinhalt unabhängig davon, wie er in der Datei verpackt ist. Vorher und nachher gebildet, muss sie identisch sein. Mit ImageMagick genügt dafür ein Aufruf pro Datei.

Sinnvoll ist die Prüfung für alle betroffenen Dateien und nicht stichprobenweise. Der Aufwand steigt linear und besteht allein aus Rechenzeit. Die blosse Formatkennung hilft hier nicht weiter: PRONOM vergibt für TIFF unabhängig vom Kompressionsverfahren dieselbe Kennung, weshalb auch eine gute Einstufung in den NARA Risk Levels nichts über die Packung der Datei aussagt. Das Protokoll gehört anschliessend zu den Unterlagen, die der Datenlieferung beiliegen. Damit bleibt die Verlustfreiheit auch nach Jahren überprüfbar.

Fazit

Wie viel Kompression ein Archivmaster verträgt, ist keine allein technische Frage. Davor steht die archivische Bewertung: ob das Digitalisat die primäre Überlieferung bildet oder ob das Original erhalten bleibt, welche archivwürdigen Eigenschaften überliefert werden sollen und welchen Informationswert der Bestand hat. Erst daraus ergibt sich, wie viel Sicherheit angemessen ist.

Technisch ist Stufe 2 unstrittig. Verlustfreie Kompression mit Predictor senkt den Bedarf gegenüber unkomprimierten Dateien um deutlich mehr als die Hälfte, und die Verlustfreiheit lässt sich für jede einzelne Datei nachweisen. Wo mehr eingespart werden muss, ist verlustfreies JPEG 2000 die sparsamste Variante, die die Empfehlungen mittragen. Visuell verlustfreie Kompression ist die Praxis mehrerer der grössten Digitalisierungsprogramme, verlangt aber eine bewusste Festlegung auf das Format und eine visuelle Kontrolle.

Quellen

Für sachdienliche Kommentare und Korrekturen sind wir dankbar und werden diese einarbeiten oder als Kommentar hier anhängen: info@k-r.ch