AVMultimedia und ArchivistaBox neu aufgelegt

Egg, 3. September 2019: Der Sommer war heiss und lang. Und damit in Zukunft unsere ArchivistaBoxen bei mehr Leistung weniger heiss laufen, gibt es einen neuen aktualisierten Unterbau. Im nachfolgenden Blog gibt es einen kurzen Einblick in den aktuellen Stand der Entwicklung.

Unterstützung für neuste Ryzen Prozessoren

Seit beinahe zwei Jahrzehnten gibt es bei den klassischen Computern weit mehr ein Monopol denn einen Markt zwischen Intel und AMD. Mit den neuen Ryzen Prozessoren der 2. Zen-Familie ist AMD ein echter Coup gelungen. Kosteten bislang die schnellsten Prozessoren von Intel mehrere Tausend Franken, so gibt es die neuen Ryzen 9 Prozssoren bei mehr Power und deutlich geringerer Leistungsaufnahme für unter 1000 Franken.

Bis zu 16 CPUs (32 Threads) bieten bei “normierten” 105 Watt eine bislang nie erreichte Leistung. AMD ist Intel technologisch betrachtet überlegen. Dies sowohl im Preis, beim Stromverbrauch und auch bei der Leistung. Grund dafür ist, dass die CPUs bei AMD mit einer Dichte von 7 Nano-Metern (nm) produziert werden, wohingegen Intel erst bei 10 Nano-Metern angeleangt ist. Eine kleinere Dichte der CPUs ist deshalb wichtig, weil damit bei weniger Stromverbrauch die CPUs schnell(er) arbeiten können.

Einen kleinen Haken hat die Sache freilich. Die neuen CPUs von AMD sind extrem begehrt und daher leider noch immer nur schwer erhältlich. Aber, und auch dies ist erfreulich, für deutlich weniger Geld gibt es von AMD CPUs mit integrierten Grafikkarten mit einer ansehnlichen Leistung. Gamer werden damit kaum glücklich werden, für Video-Editing reicht es dagegen allemal. Womit denn auch der Bogen zurück zu AVMultimedia bzw. zur ArchivistaBox gespannt ist.

Im letzten Blog wurde ausführlich darüber berichtet, dass AVMultimedia das neue Fundament der ArchivistaBox darstellen wird. Mittlerweile sind die Arbeiten soweit fortgeschritten, dass die Funktionalität der ArchivistaBox mit der Technologie von AVMultimedia realisiert ist. Eine Hürde stellten dabei nicht die Programme der ArchivistaBox dar, sondern vielmehr die aktuelle Version von AVMultimedia selber.

Video-Editing mit AVMultimedia

Das Bearbeiten, Verarbeiten und Archivieren von Film und Ton wird im nächsten Release der ArchivistaBox mit an Bord sein. Dabei enstehen hohe Datenmengen. Dazu ein Vergleich. Das Speichern von 1 Mio A4-Seiten in Schwarz/Weiss erfordert ca. 50 GByte Daten. Bereits 60 Minuten 4K-Filmmaterial (3840×2160 Pixel) benötigt satte 20 GByte. Mit anderen Worten, nach 2.5 Stunden 4K-Filmmaterial sind 1 Mio A4-Seiten bereits “geschafft”.

Die aktuellen ArchivistaBox-Systeme lassen sich in den Bereich von einigen hundert TByte (1 TByte = 1024 GByte) auf- und ausbauen. Von daher sind die ArchivistaBox-Systeme gar nicht mal so schlecht für diese Anwendungsgebiete aufgestellt. Aber, das Bearbeiten von bewegten Bildern in hoher Auflösung ist markant anspruchsvoller.

“Schnelle” CPUs und eine gute Grafikengine sind zwingend notwendig. Open Source und schnelle Grafikkarten waren bislang jedoch kein Dreamteam, zu stark wurde der Markt von den High-End-Boliden eines Herstellers dominiert, der wiederum nur Treiber für Windows bereitstellte. Quelloffene Treiber für Linux gab es faktisch nicht.

Mit neuen im Kernel integrierten Grafikkartentreibern (auch hier spielt AMD eine zentrale Rolle) gibt es  langsam aber sicher Treiber, mit denen das Verarbeiten von multimedialen Inhalten viel Spass bereitet; sofern darüber hinweggesehen wird, dass die Firmware noch immer nicht offen ist.

ArchivistaBox neu “gebootet”

Um 4K-Filmmaterial verwalten zu können, musste AVMultimedia folglich mächtig “aufgebohrt” werden. Neuste Linux-Kernel (Version 5.2.x) sowie die neusten Grafikbibliotheken (Stichwort Mesa) sind zwingend notwendig, um gute Ergebnisse zu erzielen. Nun bieten aktuelle Linux-Distributionen weder hochaktuelle Linux-Kernel noch die entsprechenden Grafikbibliotheken an.

Selbst die bisherige Version von AVMultimedia konnte da nicht mithalten. Sowohl Kernel wie Linux-Unterbau waren zu “alt”. Das Updaten des Kernels auf 5.2.x war nicht allzu schwierig, nur leider liess sich AVMultimedia danach nicht mehr stabil booten. Es begann ein mühsames zeitraubendes Debugging, um zu eruieren, warum sich das System beim Hochfahren verabschiedete. Nach einigen Hundert Boot-Vorgängen mit entsprechendem Auswerten der Log-Daten konnte das Problem gefunden werden.

Neu werden alle Systemdateien nur noch im Verzeichnis ‘/usr’ zur Verfügung gestellt. Damit ist ein selektives Einbinden eines Systems im Hauptspeicher (RAM) nicht mehr möglich, vielmehr müsste das gesamte Dateisystem bereits sehr früh gesamthaft eingebunden werden. Genau dies aber soll bei AVMultimedia bzw. der ArchivistaBox vermieden werden, weil der Boot-Prozess immer zugleich auch die gesamte Installation des Systems stemmen muss.

RAM-Modus mit Komprimierung

Aus diesem Grunde musste der gesamte Boot-Vorgang neu erstellt werden. Dabei wurden alle Abhängigkeiten zu bestimmten Linux-Distributionen bzw. Bibliotheken eliminiert. Neu liegen sämtliche Bilbiotheken, die für das Booten einer ArchivistaBox bzw. AVMultimedia benötigt werden, direkt in der Boot-Datei selber.

Waren bislang fast 300 Dateien notwendig, um den Boot-Prozess anzustossen, sind es aktuell noch 64 Dateien. Dies im übrigen bei einer erhöhten Funktionalität des Installers. Dazu folgendes: Seit fast 10 Jahren wird die ArchivistaBox im RAM aufgebaut. In dieser Zeit entwickelte sich Linux prächtig. Allerdings werden heute bei modernen Linux-Systemen weit über 100’000 Dateien aufgespielt. Bei einem System, das im Hauptspeicher läuft, bedeutet dies, selbst an sich stolze 4 GB RAM sind irgendwann voll.

Im aktuellen Release sind es mittlerweile über 6 GByte an Systemdateien, die benötigt werden. Damit trotzdem nicht mehr als 4 GByte RAM notwendig sind, wird der grössere Teil des Systems “komprimiert” im Hauptspeicher vorbehalten (Stichwort overlay). Wird eine komprimierte Datei benötigt, wird sie im Hintergrund automatisch entpackt. Weder das laufende Programm, das diese Datei anfordert, noch der/die Nutzer/in, wird diesen Vorgang bemerken — die gesamte Arbeit wird durch den Linux-Kernel erledigt.

4K-Optimierung bei AVMultimedia

Nachdem sämtliche Systemdateien für 4K zur Verfügung standen, galt es das System zu optimieren. Wer 4K-Bildmaterial mit AVMultimedia verwalten bzw. abspielen möchte, darf/muss folgende Dinge beachten. Erstens, der aktuelle Standardplayer VLC ist mit 4K schnell überfordert, nicht aber Kodi. Mit Kodi lassen sich 4K-Filme bei einer einigermassen schnellen CPU gut abspielen.

Wer höchste Ansprüche an die Qualittät beim Abspielen legt, fährt mit dem neu vorhandenen Konsolentool ‘mpv’ besser. Beispiel eines Aufrufs in einem Terminal lautet: “mpv –hwdec=vaapi –vo=vaapi –fs datei.mpv”.

Ferner konnte beim Bearbeiten von Videomaterial mit 4K beobachtet werden, dass viele Videoschnittprogramme aktuell mit 4K-Material “überfordert” sind. Wirklich gut zu Recht kam leider nur Kdenlive. Allerdings erfordert Kdenlive recht hohe Ressourcen. Die Laufzeit-Umgebung erfordert fast 900 MByte. Ohne Komprimierung im Hauptspeicher wäre der Einsatz von Kdenlive zusammen mit AVMultimedia undenkbar. In diesem Sinne: Happy editing!

Neuerungen beim Desktop

Auch wenn das Forum aktuell kaum benutzt wird, so wurden viele kleinere Feedbacks aufgenommen und implementiert. Mit der alten Version von AVMultimedia gab es ohne den Flag ‘acpi_osi=’ bei manchen Notebooks Probleme mit dem Trackpad (Maus). Zwischenzeitlich zeigte sich, dass (insbesondere die neuen Ryzen-Prozessoren) das System mit dieser Option gar nicht erst hochfährt. Aus diesem Grunde wurden Einträge mit und ohne die entsprechenden Flags ins Bootmenü aufgenommen.

Bei älteren Notebooks stellt die korrekte Systemzeit dann ein Problem dar, wenn die CMOS-Batterie nicht mehr arbeitet und damit die Zeit nicht mehr stimmt. Neu steht im Hauptmenü unter ‘System’ und ‘AVMultimedia’ das Tool ‘Datum und Uhrzeit’ zur Verfügung, um die entsprechenden Änderungen korrekt und einfach vorzunehmen. Wichtig ist, nach einer Änderung ist der Webbrowser neu zu starten, nur so laufen verschlüsselte Seiten, welche die korrekte Zeit überprüfen.

In der Vergangenheit gab es immer wieder Probleme mit dem Download bei sourceforge.net. Aus diesem Grunde kann AVMultimedia neu optional auch über osdn.net bezogen werden.

Kleinere Änderungen wurden am Desktop vorgenommen. Der Mauszeiger wurde moderat vergrössert und mit der Ctrl-Tasten kann die aktuelle Position der Maus visuell erfragt werden. Dies ist insbesondere dann praktisch, wenn mehrere Bildschirme im Einsatz stehen. Einfach Ctrl drücken, und die Maus meldet sich dezent aber doch klar mit einem “blauen” Echo.

Eine letzte Änderung sei an dieser Stelle noch erwähnt. Wurde bisher ein Programm minimiert, konnte es nur über Alt+Tab wieder aktiviert werden. Neu werden alle Programme in der Statuszeile aufgeführt. Minimierte Programme können so bequem wieder aktiviert werden.

AVMultimedia und ArchivistaBox neu auf Basis von Devuan Beowulf

Im Jahre 2016 erfolgte für die neue ArchivistaBox das Statement zu Debian Jessie bis zum Jahre 2020. Daran wird sich nichts ändern. Kunden der ArchivistaBox wissen es zu schätzen, dass wir Updates moderat aufspielen. Es gibt keinen direkten Zwang für ein Update. Wer mit einer alten Version zufrieden ist, kann durchaus damit solange arbeiten, wie er/sie möchte.

Trotzdem sind neue Releases notwendig. Ohne aktuelle Linux-Kernel und die entsprechenden Bibliotheken sind Film und Ton nicht machbar. Noch ist nicht ganz klar, wenn die ArchivistaBox mit dem neuen Unterbau ausgeliefert wird. Zuversicht herrscht aber, dass dies spätestens im Jahre 2020 (und damit im Plan) der Fall sein wird.

Der Supporthorizont für das aktuelle System wird für die Jahre 2020 bis 2024 angesetzt. Klar ist aktuell, dass ab 2021 die Abwärtskompatibilität zur alten Texterkennung nicht mehr verfügbar sein wird. Tesseract in der Version 4.x ist der alten Technologie überlegen und das Mitschleppen eines 32-Bit-Unterbaus ergibt nach mittlerweile fast 20 Jahren mit 64 Bit keinen Sinn mehr.

Im Jahre 2016 wurde angemerkt, dass Debian Jessie beim Booten proritär auf SystemD setzt, und dass diese Technologie für die ArchivistaBox bzw. unseren RAM-Modus wohl nur mit hohem Aufwand realisierbar wäre. Nun ist es nicht so, dass Debian ohne SystemD nicht laufen würde, nur lassen sich einige für die ArchivistaBox wesentliche Pakete nicht installieren. 

Dass letztlich Devuan das Rennen machen würde, hängt damit zusammen, dass es aktuell ganz einfach am besten zur ArchivistaBox bzw. AVMultimedia passt. An dieser Stelle sei aber auch gesagt, die Wahl von Devuan Beowulf ist kein Entscheid gegen Debian oder Alpine Linux, die ebenfalls getestet wurden.

Alle drei Distributionen sind tolle Systeme. Bei Debian gefällt insbesondere Siduction sehr, die dortigen Maintainer leisten ein hohes Mass an Support. Sofern das letzte Release verwendet wird, läuft 4K in allen Facetten. Alpine Linux wiederum punktet mit einem extrem schlanken und stringenten Unterbau. Einzig bei der Anzahl der Pakete gibt es noch Abstriche zu machen. Bei Devun beeindruckte MiyoLinux, weil es schlank ist und direkt ins RAM hochgefahren werden kann.

Zum Abschluss sei an dieser Stelle noch gesagt, dass die kommenden Blogs wieder mehr Features für die eigentlichen ArchivistaBox enthalten werden. Natürlich sind News zum Booten bzw. Linux-Unterbau für viele Kunden ziemlich bis völlig uninteressant. Wie wichtig ein stabiler Unterbau aber ist, zeigt ein Artikel bei heise.de zum aktuellen Windows-10-Update auf die Version 1903.

P.S: An sich hätten wir an dieser Stelle gerne Archivista-Champions verkündet. Leider hat bis Ende August 2019 niemand ein AVMultimedia-Video erstellt. Die First zur Einreichung wird um drei Monate bis zum 30.11.2019 verlängert. Sollten bis dann keine Beiträge eintreffen, verfallen die Preise ohne jede (weitere) Korrespondenz.