Manche denken, ein DMS-System sei faktisch einzig ein relativ geordneter Haufen von Dateien bzw. dies k\u00f6nne auch \u00fcber das Betriebssystem erledigt werden. N\u00fcchtern betrachtet ist dies deutlich zu kurz gegriffen, ein DMS umfasst (unter anderem) automatisierte Abl\u00e4ufe und ein ebensolches Berechtigungskonzept.<\/p>\n Die ArchivistaBox bietet aber nicht nur ausgiebige M\u00f6glichkeiten beim Management der Daten an, sondern dar\u00fcber hinaus (und insbesondere) ausgiebige Sicherungskonzepte f\u00fcr die Daten. Nachfolgend wird das Konzept vorgestellt, um am Ende auf die Neuerungen der Version 2024\/VII einzugehen.<\/p>\n Damit die visuelle Lesbarkeit der Daten gew\u00e4hrleistet ist, werden von s\u00e4mtlichen Dokumenten, die in ArchivistaDMS aufgenommen werden, Bild-Daten erstellt. Die Daten werden dabei virtuell abfotografiert. Dieses „Abfotografieren“ erfolgt mit hoher Geschwindigkeit. Auf einen MediaVM-Server Everest<\/a><\/strong> k\u00f6nnen pro Tag mehrere Millionen Seiten verarbeitet werden, auf einer ArchivistaBox-Dolder<\/a><\/strong> k\u00f6nnten rein rechnerisch noch immer pro Sekunden einige Seiten verarbeitet werden. Ziel dieses ersten Schrittes ist es, die Lesbarkeit aller Daten (z.B. Office-Dateien oder Mails) ohne externe Plugins in ArchivistaDMS zu gew\u00e4hrleisten.<\/p>\n Wird ein Dokument in die ArchivistaBox aufgenommen, so erfolgt die Speicherung in der Datenbank. Dabei wird der Inhalt gleichzeitig in Log-Dateien zus\u00e4tzlich gesichert. Ein Dokument, das (sp\u00e4ter) gel\u00f6scht wird, befindet sich zu diesem Zeitpunkt zwar nicht mehr aktiv (zugreifbar) in der Datenbank. Solange die Log-Dateien der Datenbank nicht gel\u00f6scht werden, sind die Daten dort jedoch noch verf\u00fcgbar.<\/p>\n Ab Ausbaustufe Titlis werden bei der ArchivistaBox immer zwei Systeme aufgebaut. Ganz egal, ob es sich dabei um physikalische Boxen oder virtualisierte Instanzen handelt. Die erste Box ist daf\u00fcr zust\u00e4ndig, die Daten zu erfassen, auf dem zweiten Ger\u00e4t erfolgt eine Spiegelung der ersten Box. Bei einem Ausfall der Hardware sind tagesaktuelle \u00c4nderungen solange noch verf\u00fcgbar, wie nicht beide Systeme gleichzeitig ausfallen.<\/p>\n Mit der (periodischen) Datensicherung werden die Daten auf externe Datentr\u00e4ger (es kann auch ein externer Computer (selbst die Cloud) sein. Die so gesicherten Daten (Backup) lassen sich bei Bedarf wieder zur\u00fcckspielen. Angemerkt sei, dass dieser Prozess (Restore) einzig auf dem ArchivistaBox-Desktop \u00fcber den Menupunkt ‚ArchivistaSetup‘ m\u00f6glich ist. Dies hat den Vorteil, dass \u00fcber das Web-Interface niemals die aktuellen Daten \u00fcberschrieben werden k\u00f6nnen.<\/p>\n Mit der Sicherung auf externe Datentr\u00e4ger \/ Rechner begn\u00fcgen sich die allermeisten L\u00f6sungen, sei dies bei DMS-Systemen oder ganz generell in der Informatik. Dabei besteht die Problematik, dass so gesicherte Daten nicht vor Ver\u00e4nderungen gesichert sind. Selbst wenn Pr\u00fcfziffern zu den Daten erstellt werden, so kann bei einer Manipulation bzw. dem Verlust der Daten lediglich festgestellt werden, dass die korrekten Informationen fehlen.<\/p>\n Hier setzt die Langzeitsicherung der ArchivistaBox ein. Entweder von Hand oder in periodischen Zeitabst\u00e4nden wird ein Archivierungsprozess angeworfen. Dabei werden ISO-Dateien erstellt, auf denen s\u00e4mtliche Daten unabh\u00e4ngig in einer einfachen Ordner-Struktur von der aktuellen Version der ArchivistaBox gesichert werden. Darin enthalten sind die Bild- und die Struktur-Daten.<\/p>\n Nachfolgend geht es um die Struktur der Langzeitkopie bei der ArchivistaBox (Stufe 5). Zun\u00e4chst, auf dieser Ebene, und dies d\u00fcrfte einzigartig in der Landschaft der DMS-Systeme sein, gibt es 30 Jahre Garantie f\u00fcr die Datenintegrit\u00e4t. D.h. die Lesbarkeit der Daten wir f\u00fcr minimal drei Jahrzehnte auf jedem handels\u00fcblichen Computer gew\u00e4hrt, und zwar unabh\u00e4ngig von einer bestimmten Version der ArchivistaBox, ja gar ganz ohne die ArchivistaBox an sich. Dazu wird auf die ISO 9660-Norm zur\u00fcckgegriffen.<\/p>\n Kern dieser Norm ist, dass Dateinamen auf 8 Buchstaben (plus 3 f\u00fcr die Erweiterung) beschr\u00e4nkt sind. Ebenso gibt es keine Umlaute und die Anzahl der Ordnerebenen ist auch limitiert. Es mag 2024 anachronistisch erscheinen, derart kurze Dateinamen zu verwenden. Aber ganz ehrlich gesagt, was bringen gesicherte Daten, wenn bereits auf Stufe Dateiname sp\u00e4ter z.B. die Umlaute nicht korrekt dargestellt werden k\u00f6nnen?<\/p>\n Die nachfolgende Abbildung zeigt einen Teil eines Ordner-Abbildes (konkret Ordner 3).<\/p>\n Unschwer zu erkennen an der Dateierweiterung sind die Bild-Kopien im Format TIF, PNG oder JPG. Nur, welchen Kontext nehmen diese Dateien ein?<\/p>\n Die Zuordnung einer Datei zu einer Akte bzw. Seite erfolgt \u00fcber die Namensdefinition der ArchivistaBox (siehe ArchivistaBox-Handbuch<\/strong><\/a> bzw. dort Datenstrukturen).<\/strong> Ab Version 2024\/VII gibt es neu ein Hilfsprogramm, dass die Akte und Seite aus einer archivierten Datei berechnet. Das entsprechende Programm getdocpage.pl<\/strong> befindet sich im Ordner \/home\/cvs\/archivista\/jobs,<\/strong> nachfolgend wird der Code hier publiziert:<\/p>\n Um von einer archivierten Seite die entsprechende Akte bzw. Seite zu erhalten, kann das Programm unter Angabe der Datei aufgerufen werden:<\/p>\n Daraus resultiert die Anzeige:<\/p>\n Bislang wurde bei der ArchivistaBox der entsprechende SQL-Datenstrom (Structured Query Language) gesichert. Dies entspricht beim Ordner 3 der Datei arch0003.sql.<\/strong> Darin finden sich s\u00e4mtliche Informationen der Datentabelle archiv<\/strong> als SQL-Befehle. Auch wenn SQL an sich ein Standard ist, interpretieren Datenbank-Systeme SQL nicht immer gleich bzw. korrekt. Daher findet sich ab Version 2024\/VII zus\u00e4tzlich eine ANSI-Datei mit den Strukturinformationen.<\/strong> In unserem Beispiel tr\u00e4gt diese den Namen arch0003.txt.<\/strong><\/p>\n Darin finden sich die Informationen zu den einzelnen Akten sowie auf der letzten Spalte die Namen der Bild-Dateien. Mit dieser neu erstellten Strukturdatei d\u00fcrfte es noch einfacher sein, so archivierte Daten einfach einzusehen bzw. mit einem Skript automatisiert auszulesen bzw. zu verarbeiten.<\/p>\n Ebenfalls neu in Version 2024\/VII ist, dass der dazugeh\u00f6rende Text einer Seite (sofern vorhanden) mit der Dateiendung ‚txt‘ ebenfalls vorhanden ist. Damit kann direkt in den archivierten Ordnern nach dem Text der Dokumente gesucht werden.<\/p>\n Angemerkt an dieser Stelle sei noch (auch wenn dies kein neues Feature der Version 2024\/VII ist), dass mit der Endung ‚.pdf‘ allf\u00e4llig vorhandene PDF-Dateien vorliegen und bei den Dateien mit der Endung ‚ZIP‘ finden sich die origin\u00e4ren Dokumente (z.B. Office-Datei) in gezippter Form. Multimediale Dateien enthalten die jeweilige Dateiendung (MP3,MP4,OGG), wobei Dateien \u00fcber 4 GByte (betrifft Filme) in Datenbl\u00f6cken zu jeweils 512 MByte vorliegen. Letzterer Punkt ist der ISO-9660-Kompatiblit\u00e4t gefordert, da Dateien \u00fcber 4 GByte nicht zul\u00e4ssig sind.<\/p>\n Beim Archivprozess werden im ersten Schritt die entsprechend oben beschriebenen Ordner erstellt. In einem zweiten Schritt werden dazu passende ISO-Dateien erstellt, sofern gen\u00fcgend Daten f\u00fcr einen kompletten Archivdatentr\u00e4ger vorhanden sind.<\/p>\n Historisch gesehen wurden die archivierten Datentr\u00e4ger f\u00fcr lange Zeit auf CD-R-Scheiben<\/strong> (C<\/b>ompact D<\/b>isc R<\/b>ecordable) gebrannt. Das Dateivolumen von ca. 700 MByte erscheint f\u00fcr heutige Verh\u00e4ltnisse aus der Zeit „gefallen“. Immerhin, schon vor der Jahrtausendwende konnten damit ca. 10’000 Seiten pro Scheibe langfristig archiviert werden.<\/p>\n Sp\u00e4ter kam das DVD-Format<\/strong> (D<\/strong>igital V<\/strong>ideo D<\/strong>isc, 4.2 GByte) dazu. Bei Archivgr\u00f6ssen im TByte-Bereich sind sowohl CDR als DVDs kaum mehr praktikabel, da pro TByte ca. 1300 CDRs bzw. noch immer ca. 240 DVDs erstellt werden m\u00fcssten. Mit dem M-Disk-Format (100 GByte) sind es noch 10 bzw. 20 Datentr\u00e4ger (bei zwei Kopien). Damit k\u00f6nnen selbst grosse (auch multimediale) Archive sauber auf nicht wiederbeschreibbare Datentr\u00e4ger ausgelagert werden. Die dazu notwendigen Informationen finden sich im Archivista-Handbuch<\/a><\/strong> unter ‚Ordner brennen‘.<\/strong><\/p>\n Auf jeder ArchivistaBox befindet sich im Ordner \/home\/cvs\/archivista\/jobs<\/strong> das Programm extract-folder.pl,<\/strong> um allf\u00e4llig bereits gel\u00f6schte Archivordner neu zu erstellen. Der Aufruf (root-Benuzter) erfolgt wie folgt:<\/p>\n Bei dbname ist der Name der Datenbank anzugeben und 1 bzw. 10 entsprechenden den gew\u00fcnschtem Start- bzw. Endordner.<\/p>\n Hinweis:<\/strong> Das obige Hilfsprogramm ben\u00f6tigt f\u00fcr komplette Archive gen\u00fcgend Speicherplatz (minimal 50% der Festplatte muss frei sein) und kann unter Umst\u00e4nden viele Stunden bis Tage ben\u00f6tigen.<\/em><\/p>\n Soll der gesamte Inhalt einer Datei in einen einzelnen Ordner exportiert werden, besteht daf\u00fcr das Hilfsprogramm avimportexport2.pl<\/strong> (Ordner \/home\/cvs\/archivista\/jobs).<\/strong> Ohne Angabe von Parametern erfolgt die folgende Ausgabe:<\/p>\n An erster Stelle anzugeben ist, ob ein Export (exportdb2) oder Import (importdb2) erfolgen soll. Beim zweiten Parameter ist der Name des Archivs anzugeben. Beim dritten Wert ist der gew\u00fcnschte Pfad zu bestimmen. Danach (vierte Angabe) ist der Dokumentenbereich anzugeben (z.B. 20-40). Beim Export kann alternativ beim vierten Wert auch NULL angegeben werden und als f\u00fcnfter Parameter eine SQL-Bedingung (z.B. Seiten=1).<\/p>\n Hinweis:<\/strong> Das obige Hilfsprogramm ben\u00f6tigt je nach Anzahl der Dokumente \u00fcber gen\u00fcgend Speicherplatz (bis 50% der Festplatte muss frei sein) und kann unter Umst\u00e4nden viele Stunden bis Tage ben\u00f6tigen. Falls PDF-Dateien erstellt werden sollen, kann das Programm exportpdf.pl<\/strong> verwendet werden. Dabei entf\u00e4llt der erste Parameter. Mit den erweiterten bzw. den neuen M\u00f6glichkeiten bei Version 2024\/VII l\u00e4sst sich die langfristige Datensicherheit erheblich erweitern. Nat\u00fcrlich darf jede\/r einfach darauf vertrauen, dass Festplatten die Daten ‚fest‘ speichern. Nur muss sich niemand wundern, wenn auf den Festplatten die Daten dennoch ‚platt‘ sind, wenn es nicht so optimal l\u00e4uft.<\/p>\n Denn eines ist klar, auch wenn der bisherige Sommer seinem Namen nicht so wirklich gerecht wurde, der n\u00e4chste wirklich heisse Sommer kommt bestimmt. Abgesehen davon, N\u00e4sse \u00fcberstehen Festplatten ebenfalls nicht. In diesem Sinne, einen angenehme Ferienzeit… Bleibt anzuf\u00fcgen, in der Zeit zwischen 19. Juli 2024 und 9. August (Sommerpause)<\/strong> werden keine neuen ArchivistaBoxen<\/strong> ausgeliefert. Selbstverst\u00e4ndlich erhalten Kunden mit Wartungsvertrag Support.<\/p>\n <\/p>\n\n\n\n\t![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2024\/07\/etappe0101.jpg\")
<\/a><\/p>\nF\u00fcnf S\u00e4ulen der Datensicherheit<\/h2>\n
Stufe 1: Erstellen von Bild-Daten<\/h3>\n
Stufe 2: Log-Dateien der Datenbank<\/h3>\n
Stufe 3: Redundanz auf Stufe Hardware<\/h3>\n
Stufe 4: Sicherung auf externe Datentr\u00e4ger<\/h3>\n
Stufe 5: Langfristige Sicherung im ISO-9660-Format<\/h3>\n
Erweiterte Struktur bei Langzeitkopie (ab Version 2024\/VII)<\/h2>\n
<\/a><\/p>\n#!\/usr\/bin\/perl\r\n# Program to calculate Doc and Page from archived files (ArchivistaBox)\r\n# v0.1 (c) 2024-07-02 by Archivista GmbH, Urs Pfister\r\nuse strict;\r\nmy $name = shift; # (base) file name\r\nmy $short = shift; # 0=full message, 1=short message\r\n$name = uc($name);\r\nexitgo(\"filename to print out Doc and Page of a document\") if $name eq \"\";\r\n$name = substr($name,0,8) if length($name)==12;\r\nif (length($name)!=8) {\r\n exitgo(\"filename $name must have 12 chars [A000XXYY.TIF|JPG|PNG]ZIP]\");\r\n}\r\nmy $doc = calcNumber(substr($name,0,6));\r\nmy $page = calcNumber(substr($name,6,2));\r\nif ($short==0) {\r\n print \"$name => Doc: $doc \/ Page: $page\\n\";\r\n} else {\r\n print \"$doc-$page\\n\";\r\n}\r\n\r\nsub calcNumber {\r\n my ($part) = @_;\r\n my $lang = length($part);\r\n my $number=0;<\/strong>\r\n my $number1=0;\r\n my $c2=0;<\/strong>\r\n for (my $c=$lang;$c>=1;$c--) {\r\n my $c1=$c-1;\r\n my $charminus=65;<\/strong>\r\n my $part1 = ord(substr($part,$c1,1))-$charminus;\r\n if ($part1>=0) {<\/strong>\r\n $number1 = $part1*(26**$c2);<\/strong>\r\n $number = $number + $number1;\r\n }\r\n $number1=0;\r\n $c2++;\r\n }\r\n return $number;\r\n}\r\n\r\nsub exitgo {\r\n my ($msg) = @_;\r\n print \"$0 $msg\\n\";\r\n exit 1;\r\n}<\/strong><\/pre>\nperl getdocpage.pl A000BMBN.TIF<\/strong><\/pre>\n
A000BMBN => Doc: 38 \/ Page: 39<\/strong><\/pre>\n
<\/a><\/p>\nDarum sind Archivdatentr\u00e4ger (M-Disk) sinnvoll<\/h2>\n
Epilog 1: Nachtr\u00e4gliches Erstellen der Archiv-Ordner<\/h2>\n
cd \/home\/cvs\/archivista\/jobs;perl extract-folder dbname 1 10<\/strong><\/pre>\n
Epilog 2: Exportieren\/Importieren von Daten<\/h2>\n
avimpexport2.pl importdb2|exportdb2 dbname dir docx-docy|NULL sql<\/strong><\/pre>\n
\n<\/em><\/p>\nFazit: Niemand muss, aber jede\/r sollte<\/h2>\n