Als die erste Version unserer DMS-L\u00f6sung Archivista im Jahre 1998 auf den Markt kam, konnte das PDF-Format bereits den f\u00fcnfj\u00e4hrigen Geburtstag feiern, wurde die PDF-Spezifikation<\/a> doch bereits im Jahre 1993 ver\u00f6ffentlicht.<\/strong> Die Urspr\u00fcnge gehen aber weiter zur\u00fcck, als Vorl\u00e4ufer zum PDF-Format gilt Postscript;<\/a><\/strong> diese Sprache bzw. die ersten Drucker dazu kamen bereits 1984 auf den Markt. Im Unterschied zu anderen Drucksprachen hatte Postscript seit jeher die M\u00f6glichkeit, Elemente frei im Druckspeicher zu positionieren, und diese erst am Schluss zu Papier zu bringen. Damit war Postscript anderen Drucksprachen weit \u00fcberlegen, die nur Zeile um Zeile zu Papier bringen konnten. Anf\u00e4nglich waren Postscript-Drucker uns\u00e4glich teuer, unter einem f\u00fcnfstelligen Betrag war ein Drucker (Schwarz\/Weiss in 300dpi) nicht erh\u00e4ltlich.<\/p>\n Der hohe Preis war dadurch bedingt, dass dei Drucker-Hersteller hohe Lizenzgeb\u00fchren zahlen mussten, um einen 100% kompatiblen Postscript-Drucker auf den Markt zu bringen. F\u00fcr deutlich weniger Geld gab es PS-Printer (PS steht hier f\u00fcr Postscript), welche die Postscript-Befehle verarbeiten konnten, die aber nicht lizenziert wurden. Noch g\u00fcnstiger war es, eine Postscript-Datei mit einer Software (Ghostscript sprach sich bald herum)<\/a> in eine Bilddatei umzuwandeln, um sie anschliessend mit einem kosteng\u00fcnstigen Laser-Drucker zu Papier zu bringen.<\/strong> Dieses Verfahren hatte den Nachteil, dass das Erstellen einer Seite „unendlich“ lange dauern konnte. Auf einem 386er mit 4 MByte RAM dauerte es im Jahre 1990 ca. 2 Stunden, um eine einzelne Seite zu erstellen (rastern).<\/strong> Wehe, wenn es dabei bei 98 Prozent ein Problem gab, wehe wenn noch Tippfehler bereinigt werden sollten… Einmal gerasterte Seiten konnten anschliessend aber problemlos am Bildschirm dargestellt werden, und auch das Drucken mit einem g\u00fcnstigen Drucker war keine Hexerei.<\/p>\n Zu jener Zeit gab es auch erste Versuche, Postscript-Dateien direkt am Bildschirm (in Echtzeit) darzustellen. Dieser Versuch scheiterte, wer wartet schon zwei Stunden auf eine Seite? Daher wurde 1993 eine vereinfachte Variante von Postscript, das PDF-Format, ver\u00f6ffentlicht.<\/strong> Wie der Name P<\/strong>ortable D<\/strong>ocument F<\/strong>ormat besagt, sollte es dadurch m\u00f6glich werden, Dokumente unabh\u00e4ngig von einer Software oder einem Betriebssystem darzustellen. Daf\u00fcr ver\u00f6ffentliche der Hersteller (Adobe) die ersten Versionen von Acrobat, wobei die erste Version des Viewers z.B. nicht kostenfrei verteilt werden konnte, genauso wie die damals erstellten Dateien uns\u00e4glich gross waren,<\/strong> da PDF-Dateien zu Beginn nur ASCII-Zeichen enthalten konnten.<\/p>\n Das Darstellen eines gescannten Logos z.B. konnte enorm viel Platz beanspruchen, selbst wenn eine platzsparende komprimierte Tiff-Datei vorlag; die Bilddatei wurde m\u00fchsam in Textzeichen umgewandelt und ben\u00f6tigte anschliessend gut und gerne um den Faktor 100 mehr Platz.<\/strong> Und ja, die Zuverl\u00e4ssigkeit von PDF-Dateien liess oft zu w\u00fcnschen \u00fcbrig. Die Darstellung einer PDF-Datei wich zuweilen wesentlich von einer Ursprungsdatei ab. Manchmal enthielten die erstellten Dateien Fehler, mal gab es Probleme mit dem PDF-Anzeigeprogramm, mal fehlten Schriften, sodass diese Dateien nicht mehr ge\u00f6ffnet werden konnten, oder dann derart verhackelt waren, dass die Lesbarkeit nicht mehr gegeben war.<\/p>\n Zugegeben, die Verbreitung der PDF-Dateien ist immens, nicht weniger problematisch ist aber das langrfristige Speichern der Dokumente. Bei der ArchivistaBox funktioniert dies in dem Sinne, dass wir jederzeit PDF-Dateien in Bild-Dateien umwandeln und aus den archivierten Daten jederzeit wieder PDF-Dateien erstellen k\u00f6nnen.<\/strong> Dabei erleben wir immer wieder Problemf\u00e4lle, bei denen der Kunde meist davon ausgeht, das Problem liege bei der ArchivistaBox.<\/p>\n Seit mehreren Jahren archivieren wir Daten aus einer verbreiteten ERP-L\u00f6sung, wobei die Dokumente im PDF-Format angeliefert werden. Nach einem Versionswechsel bei der ERP-Software gab es pl\u00f6tzlich Probleme mit den verarbeiteten PDF-Dateien. Etwa die H\u00e4lfte der Textzeilen war nicht korrekt ausgerichtet (meist links aussen am Rand). Sowohl der Kunde wie auch der Lieferant beteuerten, die PDF-Dokumente k\u00f6nnten in Acrobat problemlos dargestellt werden.<\/strong> Daraus ergab sich die folgende Mail-Konversation:<\/p>\n Die Recherchen von unserer Seite f\u00fchrten zu der folgenden Antwort:<\/p>\n Filename: \/home\/data\/archivista\/ftp\/pdf\/GU1000439.pdfpdf\u00a0\u00a0 **** Unknown operator: ‚–10.16‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–10.20‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–10.20‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–51.44‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–21.40‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–32.08‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–21.40‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–32.08‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–206.88‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–12.36‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–12.40‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–13.04‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–12.36‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–292.00‘ looks like a malformed number, replacing with 0.\u00a0\u00a0 **** Unknown operator: ‚–1.40‘ looks like a malformed number, replacing with 0.<\/p>\n pdftk GU1000439.pdf output temp.pdf flatten uncompress<\/p>\n Und ja, wir stehen — auch nach 15 Jahren dazu — PDF-Dokumente eignen sich nicht f\u00fcr die Langzeit-Archivierung, gerasterte Bild-Dateien sind hier deutlich sinnvoller. Sollte dabei das Vorurteil bestehen, dass der Rasterprozess zu lange dauren sollte, so sei hier noch angef\u00fchrt, dass eine einzelne ArchivistaBox bis zu 2,4 Mio Seiten pro Tag (siehe Kurztipps PDF-Tools bei pro-linux.de bzw. dort Kommentare),<\/a> oder ca. 28 Seiten pro Sekunde<\/strong> verarbeiten kann. Dies ist im \u00fcbrigen um den Faktor 1:200’000 schneller, als vor etwas mehr als 20 Jahren, wo eine einzelne Seite ca. 2 Stunden Zeit ben\u00f6tigte.<\/p>\n Toll, dass die Technologie uns heute M\u00f6glichkeiten gibt, die vor 20 Jahren nicht einmal denkbar gewesen w\u00e4ren, dumm nur, dass die Problematiken die gleichen bleiben (sprich ein Minus-Zeichen zu viel und die Datei ist hin\u00fcber). Als ArchivistaBox-Kunde k\u00f6nnen Sie zweifach zur\u00fccklehnen. Erstens erhalten ArchivistaBox-Kunden on-the-fly von allen abgelegten Daten Bild-Dateien und zweitens helfen wir heute und jetzt, allf\u00e4llige „Problemf\u00e4lle“ speditiv aus der Welt zu schaffen.<\/strong> Damit auch wirklich alle Daten (inkl. der PDF-Dateien) f\u00fcr die Ewigkeit halten.<\/p>\n\n\n\n\t![\"\"](\"\/de\/media\/stresa_1.jpg\")
<\/em><\/p>\nGleicher Ursprung, unterschiedliche Wirkung<\/h2>\n
![\"\"](\"\/de\/media\/stresa_2.jpg\")
Zu dieser Zeit entstand die erste Version von Archivista. Und weil es mit Archivista m\u00f6glich sein sollte, Dokumente langfristig verf\u00fcgbar zu halten, kam das PDF-Format als „Originaldatei“ nicht in Frage.<\/strong> Die PDF-Spezifikation \u00e4nderte zwischen 1993 und 1998 bereits viermal, derzeit (nach 20 Jahren) sind wir bereits im zweistelligen Bereich. Zum Vergleich: Mit Archivista werden 30 Jahre Lesbarkeit der gleichen Datei garantiert. Im Moment steht es 20:11 beim PDF-Format zu 15:1 f\u00fcr Archivista. Will heissen, das PDF-Format wurde in 20 Jahren 11 mal ge\u00e4ndert<\/strong> (die Unterarten PDF-X und PDF-A bzw. deren Versionen nicht mal eingerechnet), bei der ArchivistaBox war dies in 15 Jahren bisher noch nie der Fall.<\/strong><\/p>\nAcrobat zeigt PDF ohne Probleme an…<\/h2>\n
> Ich m\u00f6chte Sie h\u00f6flich anfragen, ob Sie sich dem von Herrn Hofer<\/span>> beschriebenen Problem annehmen konnten?<\/span>> Auf unserer Seite dr\u00e4ngt es ein bisschen mit der Zeit, da wir seit gut<\/span>> einem Monat die \"elektronischen Belege\" nicht mehr archivieren k\u00f6nnen.<\/span>> Besten Dank f\u00fcr Ihr kurzes Feedback<\/span><\/pre>\nIch hatte bereits letzte Woche versucht, Herrn Hofer zu erreichen. Ichh\u00e4tte damals jedoch noch keine Resultate vorweisen k\u00f6nnen, sondern einzigeine Vermutung. Die Vermutung, welche durch erneute Recherchen von heuteabend best\u00e4tigt werden konnte, lautet, dass die PDF-Dateien nicht korrekterstellt werden. Doch zun\u00e4chst der Reihe nach, d.h. eine Zusammenfassung,welche Schritte unternommen wurden, um anhand der Datei GU1000439.pdf zudiesem Schluss zu kommen.<\/pre>\n
Erste Annahme: Veraltete Bibliotheken auf ArchivistaBox<\/h3>\n
Installation neuste Debian-Version und entsprechende Tools (Aufwand: 1,25 Std).Resultat: PDF-Datei enth\u00e4lt weiterhin Fehler<\/pre>\n
Zweite Annahme: Fehler in PDF-Datei<\/h3>\n
\u00dcberpr\u00fcfen der Datei mit verschiedenen Acrobat-Readern. Getestet und installiert wurden Acrobat 6.0 unter Windows und 9.x unter Linux. Datei wird mit Acrobat 6.0 nicht korrekt dargestellt, mit 9.x dagegen schon. Die Datei wird aber in derVersion 1.4 angeliefert (m\u00fcsste daher bereits mit Acrobat 5.x korrekt dargestellt werden), siehe dazu:<\/pre>\n
pdfinfo GU1000439.pdf\r\nTitle: GU1000439.pdf\r\nAuthor: Oracle\r\nReportsCreator: Oracle11gR1 AS Reports Services\r\nProducer: Oracle PDF driver\r\nCreationDate: Wed Jul 17 14:39:57 2013\r\nModDate: Wed Jul 17 14:39:57 2013\r\nTagged: no\r\nPages: 1\r\nEncrypted: noPage\r\nsize: 595 x 842 pts (A4)\r\nFile size: 342918 bytes\r\nOptimized: noPDF\r\nversion: 1.4\r\n\r\nFolglich m\u00fcsste die Datei mit Acrobat 6.0 auch korrekt dargestellt werden,was aber nicht der Fall ist. Um es zu verifizieren, habe ich zus\u00e4tzlichden sehr zuverl\u00e4ssigen PDF-Viewer Foxit installiert. Die Installation vonAcrobat ben\u00f6tigt aufgrund der Gr\u00f6sse leider etwas viel Zeit (Aufwand: 1.5Std).<\/pre>\n
Dritte Annahme: Irgendwo m\u00fcssten bei der Verarbeitung Fehlermeldungen auftreten<\/h3>\n
Bei der aktuellen ArchivistaBox konnte ich keine Fehlermeldungen vorfinden(zu alte Ghostscript-Version). Darauf installierte ich Ghostscript 9.x inder Testumgebung. Aufgrund der verschiedenen Bibliotheken (Abh\u00e4ngigkeiten) istauch dies nicht ganz einfach, daher hatte ich hier 2.0 Std Aufwand. Am Endekonnte ich die folgenden Fehlermeldungen vorfinden (Auszug aus Log-Datei bei Verarbeitung mit Ghostscript 9.x):<\/pre>\n
Nun kommen wir der Problematik n\u00e4her. Die angelieferte Datei wird nicht korrekt dargestellt,die Positionen der Textelemente stimmen nicht. In PDF-Dateien werden oft relativePositionierungen angegeben; ein Textelement wird beispielsweise 1,4 cm links davonpositioniert (-1.40). Genau darin liegt die Problematik, findet sich doch die Fehlermeldung --1.40 mit zwei Minuszeichen (malformed number). Ghostscript ist hier deutlich wenigerfehlertolerant als Acrobat 9.x. Ich denke, dies ist auch richtig so, denn -1.40 ist nichtgleich --1.40). Wie auch immer, korrekt ist die Angabe nicht, eine Zahl mag eine negativeGr\u00f6sse haben, nicht aber zweimal Minus Minus (--). Aufwand f\u00fcr diese Erkenntnis (1,25 Std).<\/pre>\n
Vierte Annahme: Es m\u00fcsste doch machbar sein, die Datei selber zu korrigerien<\/h3>\n
Die angelieferte PDF-Datei wird komprimiert angeliefert (Platzersparnis). Das Entpacken einer PDF-Datei und anschliessende erneute Speichern traute ich zun\u00e4chst nur pdflib zu. Einmal kompiliert musste ich erkennen, dass ich f\u00fcr das Schreiben eines Programms im Minimum einige Stunden (wenn nicht Tage) Zeit ben\u00f6tigen w\u00fcrde. Folglich suchte ich weiterund wurde bei pdftk mit den enstprechenden Optionen f\u00fcndig:<\/pre>\n
Damit liegt eine PDF-Datei im ANSI-Format vor, d.h. die Minuswerte k\u00f6nnen in der Dateitemp.pdf korrigiert werden (anschliessendes Speichern unter fixed.pdf). Beim ersten Versucherfolgte dies von Hand, und siehe da, es funktionierte (siehe Beilage fixed.pdf). Aufwandhier: 1,5 Std.<\/pre>\n
F\u00fcnfte Annahme: Mit einem Programm geht es schneller<\/h3>\n
Anschliessend schrieb ich ein Skript, mit dem nun Massentests gefahren werden k\u00f6nnten(Aufwand: 0.5 Std):\r\n\r\n===========================================================\r\n#!\/usr\/bin\/perl\r\nuse strict;\r\nuse lib qw(\/home\/cvs\/archivista\/jobs);\r\nuse AVJobs;\r\nmy $file = shift;\r\nmy $ftmp = \"tmp.pdf\";\r\nmy $fok = \"fixed.pdf\";\r\nmy $cmd = \"pdftk $file output $ftmp flatten uncompress\";\r\nmy $res = system($cmd);\r\nif ($res==0) {\r\n my $content = \"\";\r\n readFile2($ftmp,$content);\r\n $content =~ s\/(--)([0-9]+)(.)([0-9]{2,2})(s)(TD)\/-$2$3$4$5$6\/g;\r\n $content =~s\/(--)([0-9]+)(.)([0-9]{2,2})(s)(.*?)(s)(TD)\/-$2$3$4$5$6$7$8\/g;\r\n writeFile($fok,$content,1);\r\n}\r\n===========================================================\r\n\r\nHinweis: Das obenstehende Programm entfernt einzig die \u00fcberfl\u00fcssigen doppeltenMinuszeichen, es korrigiert nicht die relativen Dateipositionen. Dies hat jedoch(auf den ersten Blick) keine Konsequenzen, sowohl in Acrobat wie auch XPDF oder Foxit.Schlussbemerkung: Im Prinzip sollte beim Verursacher das Problem der doppeltenMinuszeichen gel\u00f6st werden. Die PDF-Dateien werden eindeutig nicht korrekt angeliefert.Sollte dies nicht m\u00f6glich sein, m\u00fcssten wir einen Massentest sowie einen definitivenFix einbauen. Hier w\u00fcrde wohl ein Aufwand von ca. 10-16 Stunden entstehen.\r\n\r\nDerzeit liegt der Aufwand (inkl. Verfassen dieser Mail 0,75 Std) bei 8,75 Stunden f\u00fcr diesen Job. Gerne erwarte ich eine R\u00fcckantwort wie wir verfahren k\u00f6nnen.<\/pre>\n![\"\"](\"\/de\/media\/stresa_3.jpg\")
Soweit unsere Antwort, der im Prinzip nichts hinzugef\u00fcgt werden muss. Ein Punkt soll hier dennoch angef\u00fchrt werden. Die Diskussion, ob ein Problem ein Bug ist, greift hier und oft zu kurz. Probleme sind da, um sie zu l\u00f6sen.<\/strong> Kunden der ArchivistaBox erhalten daher auch dann Support, wo an sich klar ist, dass ein Problem nicht durch die ArchivistaBox verursacht wird. Genauso wie wir klar und offen kommunzieren, wo genau Probleme liegen bzw. wie und mit welchem Auftwand diese aus der Welt „geschafft“ werden k\u00f6nnen.<\/p>\nVerarbeitung heute um Faktor 1:200’000 schneller<\/h2>\n