\n<\/em><\/p>\n
Bei der ArchivistaBox wird die L\u00f6sung aus einem Guss geliefert. Dies bedeutet, zusammen mit der Hardware wird die gesamte ben\u00f6tigte Software ausgeliefert, d.h. bei der die ArchivistaBox wird das Betriebssystem zusammen mit den Applikationen ausgeliefert.<\/p>\n Beim alten Release waren dies entweder Kernel 5.4 oder 5.10 auf der Basis von Devuan Beowulf (bzw. Debian Buster), beim neuen Unterbau wird Kernel 6.10 auf der Basis von Devuan Daedalus (bzw. Debian Bookworm) ausgeliefert. Ab Version 2024\/XII werden neue Versionen ausschliesslich auf der aktuellen Basis ver\u00f6ffentlicht; dies im Einklang zur Ver\u00f6ffentlichung im Jahre 2019.<\/a><\/strong> Der Supportzeitraum f\u00fcr das neue Master-Release dauert bis Ende 2029.<\/p>\n Diese technischen Informationen seien hier der Form halber angef\u00fchrt, das zentrale Thema sollen sie hier nicht sein. Bei der Realisierung des aktuellen Fundamentes stellte sich die Frage, was zentral ist. Nach R\u00fccksprache mit vielen Kunden reifte der Entschluss, es braucht keine bahnbrechenden Neuerungen, es braucht einfach Kontinuit\u00e4t.<\/p>\n So werden mit Version 2024\/XII die Scanner-Treiber neu implementiert, ebenso wurde eine einfache Remote-L\u00f6sung f\u00fcr alle Kunden realisiert. Einen recht hohen Aufwand bescherte der Wechsel von PHP 7.x auf 8.x, die Migration der Datenbank auf MariaDB 10.x und auch das Upgrade auf KVM\/Qemu 7.x war nicht ganz trivial. Es erschien uns von daher wichtiger, daf\u00fcr zu sorgen, dass alle Komponenten einfach so weiterlaufen wie sie bisher liefen.<\/p>\n Als Ende 2019 das letzte grosse Master-Release erschien, ging es darum, dass die ArchivistaBox multimediale Dateien verarbeiten kann. In den letzten f\u00fcnf Jahren wurden diese M\u00f6glichkeiten derart erweitert, dass r\u00fcckblickend angemerkt werden muss, etwas einzuf\u00fchren ist die eine Sache. Es so zum Leben zu erwecken, dass es dem harten Business-Alltag gen\u00fcgt, eine andere „Hausnummer“.<\/p>\n In den letzten Tagen wurden zum Test \u00fcber 6500 Stunden Video-Material ins Archiv „geworfen“. F\u00fcr das Verarbeiten der weit \u00fcber 4000 Dateien ben\u00f6tigte die ArchivistaBox um die 5 Stunden. Dabei wurden \u00fcber 760’000 Seiten neu in ArchivistaDMS angelegt. Die neu erfasste Datenmenge lag dabei bei ca. 2.2 TByte an Daten.<\/p>\n Bei der Verarbeitung ist kein einziger Fehler aufgetreten. Es sei hier angef\u00fchrt, 2019 w\u00e4re die damalige ArchivistaBox daf\u00fcr wohl noch nicht ganz bereit gewesen. Aktuell k\u00f6nnen selbst mit einer ArchivistaBox Matterhorn Archive mit mehreren Dutzend TByte bew\u00e4ltigt werden, von den Modellen K2 und Everest ganz zu schweigen. Mit den letzteren beiden ArchivistaBox-Modellen liessen sich Archive \u00fcber Hunderte von TByte bewerkstelligen.<\/p>\n Und dabei werden die ArchivistaBox-Systeme auf handels\u00fcblicher Hardware ausgeliefert, es braucht weder eine Server-Infrastruktur noch das entsprechende Know-How dazu. Damit dies m\u00f6glich ist, braucht es viel Liebe zum Handwerk. Gerade bei Video-Dateien liegt der „Teufel“ im Detail. Um zu erkl\u00e4ren, wie komplex die Materie ist, sei etwas weiter ausgeholt.<\/p>\n Als die Archivista-L\u00f6sung 1998 auf dem Markt erschien, ging es prim\u00e4r darum, gedruckte Belege \u00fcber Scanner zu digitalisieren bzw. digitale Bilder ins Archiv aufzunehmen. Bereits digital erfasste Daten wurden prim\u00e4r als Office-Dateien und als ASCII-Textdateien gespeichert. Office-Dateien mussten damals \u00fcber virtuelle PDF-Druckertreiber archiviert werden, bei den Text-Dateien besteht bis heute die Problematik, dass im Prinzip niemand weiss, mit welchem Zeichensatz die Daten gespeichert wurden.<\/p>\n Letztlich ging bzw. geht es noch immer darum, von Informationen Abbilder zu erhalten. ArchivistaDMS unterscheidet sich hier bis heute von Mittbewerbern, indem nicht einfach nur Quelldateien (z.B. eine Word-Datei) aufbewahrt werden, vielmehr werden die Daten virtuell „abfotografiert“. Damit ist eine visuelle Sichtung der Daten auch Jahrzehnte sp\u00e4ter problemlos m\u00f6glich, selbst wenn es z.B. nicht mehr m\u00f6glich sein sollte, die Quelldatei selber zu \u00f6ffnen.<\/p>\n Jedoch, ein Office-Dokument aus dem Jahre 2000 entspricht nicht in Ans\u00e4tzen dem Aufbau aus aktueller Zeit. Wurde fr\u00fcher der gesamte Inhalt in einer Datei gespeichert, so werden aktuell einzelne Happen gespeichert. Um dies zu verdeutlichen, sei zum „Hallo Word“-Beispiel gegriffen. Diese 12 Zeichen (Hallo World) ben\u00f6tigen in den Formaten (Doc-Word, Docx-Word, PDF und Tif-Format mit 300 Pixeln\/Zoll) den folgenden Speicherplatz:<\/p>\n Daraus l\u00e4sst sich herleiten, dass die Bild-Kopie (Tif-Datei) bis heute am effizienteste Form (rein vom Speicherplatz her gesehen) darstellt. Die PDF-Datei ben\u00f6tigt um den Faktor drei mehr Speicher, ohne dass das Problem der Lesbarkeit \u00fcber einen langen Zeithorizont gel\u00f6st w\u00e4re (z.B. Einbettung der Schriften).<\/p>\n Beim docx-Format ist anzuf\u00fcgen, dass es sich hier um XML-Daten in komprimierter Form handelt. Wird die entsprechende Word-Datei ausgepackt, so erscheinen die folgenden Dateien:<\/p>\n Und dies alles, f\u00fcr „satte“ 12 Zeichen. Ausgepackt werden daf\u00fcr auf der Festplatte um die 56’000 Zeichen (Bytes) ben\u00f6tigt. Soviel zur Effizienz heutiger Computerprogramme. Unabh\u00e4ngig davon ist es aber doch so, je mehr Daten bei einem Dateiformat anfallen, desto mehr Komplexit\u00e4t ergibt sich daraus, um diese Informationen langfristig und sicher am Leben zu erhalten.<\/p>\n Der kleine Ausflug in gescannte Daten und die Office-Formate dient hier als Einstieg zu den Video-Dateien. Im Prinzip k\u00f6nnte ja angenommen werden, es handle sich bei Video-Dateien um Abfolgen von Bildern, angereichert durch etwas Ton.<\/p>\n Leider ist die Sachlage bei den Video-Dateien aber weit komplexer. Nachfolgend soll es hier prim\u00e4r um das MP4-Format (im engeren Sinn um H264) gehen. Auch hier handelt es sich (analog zu den Office-Dateien) um eine Spezifikation, bei der mehrere Brocken zusammen abgelegt werden k\u00f6nnen. Rein von der Spezifikation her k\u00f6nnen darin auch mehrere Video-Daten miteinander gesichert werden. Allerdings kann bei so erstellten Video-Dateien von den meisten Playern nur die erste Spur abgespielt werden.<\/p>\n Dagegen k\u00f6nnen viele verschiedene Audio-Quellen vorhanden sein, in unterschiedlicher Qualit\u00e4t, wobei es meist darum geht, mehrere Sprachen in der Datei aufzunehmen. Dazu kommen Untertitel-Dateien, die entweder als Bitmap oder (aktuell) als Text-Dateien in den MP4-Dateien integriert sind.<\/p>\n In den letzten Jahren wurden viele Tausende von Dateien zu Testzwecken verarbeitet. Dabei musste festgestellt werden, dass es auch Video-Dateien gibt, bei welchen z.B. die Audiospur erst eine Sekunden ab Beginn der Video-Spur vorhanden ist. Gute Video-Abspieler kommen damit klar, bei Firefox z.B. aber funktionierte es nicht (die Ton- und Video-Spur stimmten dann nicht).<\/p>\n Bei den Untertiteln musste verschiedentlich festgestellt werden, dass nicht korrekte Daten vorhanden waren. So konnte z.B. beim Titanic-Film aus dem Jahre 1953 (l\u00e4sst sich m\u00fchelos im Netz finden) festgestellt werden, dass Untertitel der Version aus dem Jahre 1998 mitgeliefert wurden. Die 1998-er-Version dauert satte 3 Stunden und 14 Minuten. 1953 dauerte der „Kampf“ nur bis zur Halbzeit (1 Stunde 37 Minuten).<\/p>\n Der Hauptkandidat f\u00fcr das Verarbeiten von MP4-Dateien (ffmpeg) sieht darin kein Problem. Die Untertitel-Datei aus dem Jahre 1998 mit Zeitangaben \u00fcber 3 Stunden kann problemlos in der Video-Datei des Jahres 1953 abgelegt werden.<\/p>\n In der Praxis versinkt der Dampfer in der Version von 1953 dann „p\u00fcnktlich“ bei 1 Stunde und 37 Minuten, auch wenn einige Player zum Abspielen bis weit \u00fcber 3 Stunden einladen.<\/p>\n Entdeckt wurde dies zuf\u00e4lligerweise bei der Ablage des Films im Privatarchiv des Gesch\u00e4ftsf\u00fchrers. Dies deshalb, weil ArchivistaDMS bei den Video-Dateien Vorschaubilder erstellt. Nat\u00fcrlich k\u00f6nnen dabei nicht alle Bilder einzeln abgelegt werden, dies w\u00fcrde ja zu unhaltbar grossen Datenbest\u00e4nden f\u00fchren. Vielmehr ist es so, dass (ausser bei sehr kurzen Video-Dateien) etwa zwischen 150 bis 300 Vorschaubilder erstellt werden.<\/p>\n Bei der Titanic-Version aus dem Jahre 1953 sind aber nur 98 Bilder vorhanden. Beim manuellen \u00dcberpr\u00fcfen musste festgestellt werden, dass der Film die falschen Untertitel hatte (jene aus der \u00fcber dreist\u00fcndigen Version von 1998).<\/p>\n Um die Integrit\u00e4t von Video-Dateien zu \u00fcberpr\u00fcfen, kommt meist das Konsolenprogramm ‚ffmpeg‘ zum Einsatz. Bei superuser.com<\/a><\/strong> wird z.B. empfohlen, entsprechende Videos mit folgendem Befehl zu \u00fcberpr\u00fcfen:<\/p>\n Allerdings generiert der obige Test bei besagter Datei keine Fehler, d.h. die Datei wird f\u00fcr gut befunden. Letztlich ist es wohl so, nur wenn jedes einzelne Bild aus dem Video extrahiert w\u00fcrde, erst dann k\u00f6nnte festgestellt werden, ob Fehler vorliegen. Ein derartiger Test erforderte aber sehr viel Rechenzeit. F\u00fcr eine grosse Anzahl von Dateien w\u00e4re ein solcher Test kaum praktikabel. Das hier vorgestellte Helferlein mp4test ist darauf ausgelegt, einzelne Dateien oder ganze Ordner zu \u00fcberpr\u00fcfen:<\/p>\n Der Sourcecode kann hier bezogen werden;<\/strong><\/a> er befindet sich aber auch auf jeder AVMultimedia\/ArchivistaBox-Version ab 2024\/XII. Mit diesem Programm wird eine Schattenkopie erstellt, wobei (um den Vorgang entsprechend zu beschleunigen) jeweils nur 1 Bild pro Sekunde extrahiert wird.<\/p>\n Dadurch werden pro Stunde Material noch etwa 15 bis 20 Sekunden ben\u00f6tigt. Dadurch, dass das Programm mit mehreren Prozessen arbeitet, k\u00f6nnen pro Minute bei einem Prozessor mit 8 Kernen (CPUs) in etwa 10 Stunden recht zuverl\u00e4ssig auf Fehler \u00fcberpr\u00fcft werden. Anhand der Titanic-Datei von 1953 kann gezeigt werden, wie mp4test arbeitet. Auf der ArchivistaBox einfach im entsprechenden Ordner die gew\u00fcnschte Datei aufrufen:<\/p>\n Unschwer zu erkennen ist, dass f\u00fcr den Test gute 20 Sekunden notwendig waren. Bei einem Fehler wird eine entsprechende Fehlermeldung generiert. Bei der korrigierten Version ergibt sich die folgende Meldung:<\/p>\n Da nur jede Sekunde ein Bild getestet wird, stimmt am Ende die Zeit nicht zu 100%. Je nach der Anzahl der Bilder pro Sekunde bleiben minimale Differenzen \u00fcbrig. Fehler werden immer dann generiert, wenn die Inhaltsl\u00e4nge um mehr als 2 Sekunden von der neu erstellten Schattenkopie abweicht.<\/p>\n Mit Angabe eines Verzeichnisses kann eine beliebige Anzahl von Video-Dateien in einem Rutsch \u00fcberpr\u00fcft werden. Dabei k\u00f6nnen bei 8 Kernen wohl ca. 4’000 bis 6’000 Videos bzw. ca. 10’000 Stunden pro Tag \u00fcberpr\u00fcft werden.<\/p>\n Das kleine Hilfsprogramm mp4test zeigt gut auf, wo die T\u00fccken bei digitalen Dateien am Beispiel von Video-Dateien liegen und welcher Aufwand bei der ArchivistaBox betrieben wird, um Daten langfristig verf\u00fcgbar zu halten. In diesem Sinne, Enjoy!<\/p>\n Die „offiziellen“ Feiertag dauern dieses Jahr vom Montag, 23. Dezember 2025 bis und mit Freitag 3. Januar 2026.<\/strong> Im Unterschied zu anderen Jahren ist es aber so, dass bedingt durch die aufw\u00e4ndigen Arbeiten beim neuen Release 2024\/XII noch viele Arbeiten (z.B. Versand der Rechnungen) zu erledigen sind. Diese Arbeiten erfolgen dieses Jahr wohl zwischen Weihnachten und Neujahr.<\/p>\n Kunden mit Wartungsvertr\u00e4gen erhalten an den Werktagen (23.12, 27.12, 30.12 und 3.1) selbstverst\u00e4ndlich Support. Zum Abschluss m\u00f6chte ich mich an dieser Stelle bei unserer Kundschaft f\u00fcr die langj\u00e4hrige Treue bedanken. Mit grosser Freude stehe ich im Jahr 2025 f\u00fcr ihre Anliegen zur Verf\u00fcgung, ebenso wie die ArchivistaBox (gerade mit dem neuen Master-Release) selbstverst\u00e4ndlich weiterentwickelt wird. In diesem Sinne, besinnliche Weihnachtstage und einen guten Rutsch<\/p>\n P.S: Die Bilder in diesem Blog stammen aus Schweden, Finnland und Norwegen. Das obige Bild des Gesch\u00e4ftsf\u00fchrers stammt vom 8.8.24, nachdem er in 19 Tagen von Italien bis zum Nordkapp mehr als 4200 Kilometer mit dem Velo bew\u00e4ltigt hat (an besagtem Tag waren es knapp 300 Kilometer). Dazu gibt es einen Dokumentarfilm, mehr dazu unter Dall’Italia til Nordkapp.<\/a><\/strong> Alle Kunden erhalten f\u00fcr den Film auf Anfrage ein kostenfreies Online-Ticket.<\/em><\/p>\n\n\n\n\t![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2024\/12\/norwegen3.jpg\")
<\/a><\/p>\nWas heisst bzw. bedeutet ein neuer Unterbau ?<\/h2>\n
2024\/XII: Stabilit\u00e4t und Masse<\/h2>\n
<\/a><\/p>\nAm Anfang stand das gescannte Bild<\/h2>\n
<\/a><\/p>\nXML und Dokumenten-Container<\/h2>\n
halloworld.doc => 9216 Zeichen<\/strong>\r\nhalloworld.docx => 4206 Zeichen<\/strong>\r\nhalloworld.pdf => 7089 Zeichen<\/strong>\r\nhalloworld.tif => 2465 Zeichen<\/strong><\/pre>\n
.\/docProps<\/strong>\r\n.\/docProps\/core.xml<\/strong>\r\n.\/docProps\/app.xml<\/strong>\r\n.\/[Content_Types].xml<\/strong>\r\n.\/_rels<\/strong>\r\n.\/_rels\/.rels<\/strong>\r\n.\/word<\/strong>\r\n.\/word\/fontTable.xml<\/strong>\r\n.\/word\/document.xml<\/strong>\r\n.\/word\/_rels<\/strong>\r\n.\/word\/_rels\/document.xml.rels<\/strong>\r\n.\/word\/styles.xml<\/strong>\r\n.\/word\/settings.xml<\/strong><\/pre>\n
<\/a><\/p>\nVideo-Dateien als Komplexit\u00e4tswalze<\/h2>\n
<\/a><\/p>\nDer Titanic-Dampfer versinkt mitten in der Datei<\/h2>\n
<\/a><\/p>\nMP4Test: Damit die Titanic nicht mehr abschifft…<\/h2>\n
ffmpeg -v error -i titanic1953.mp4 -f null - 2>error.log<\/strong><\/code><\/p>\n\/usr\/bin\/mp4test file|pathorfilein -- Program to check mp4 files for errors <\/strong>\r\n(c) 20.12.2024 by Archivista GmbH, Urs Pfister, https:\/\/archivista.ch<\/strong>\r\nLicence: GPLv2, Deps: ffmpeg,ffprobe,grep,pgrep (tested under Linux)<\/strong>\r\nStatus messages go to console and log file (mp4test.log)<\/strong><\/pre>\n
mp4test titanic.mp4 <\/strong>\r\nWait for titanic.done (5)<\/strong>\r\nWait for titanic.done (10)<\/strong>\r\nWait for titanic.done (15)<\/strong>\r\nWait for titanic.done (20)<\/strong>\r\nERROR: titanic.mp4 - time shoud be: 03:12:57.21, but is 01:37:46.00<\/strong><\/pre>\n
Wait for titanic.done (5)<\/strong>\r\nWait for titanic.done (10)<\/strong>\r\nWait for titanic.done (15)<\/strong>\r\nWait for titanic.done (20)<\/strong>\r\nFile titanic.mp4 has 01:37:45.92, check has 01:37:46.00, is ok\r\n<\/strong><\/pre>\n
<\/a><\/p>\nBetriebsferien 23. Dezember 2024 bis 3. Januar 2025<\/h2>\n
<\/a>Urs Pfister, Archivista GmbH<\/em><\/p>\n