Videos automatisiert nach bearbeiten
Egg, 3. Juli 2021: Das private Filmarchiv des Geschäftführers hat mittlerweile eine stattliche Grösse angenommen. Bei 6 TByte stellte sich die Frage: Ausbau, Stopp bzw. Stillstand oder Optimierung. In diesem Blog wird aufgezeigt, warum die Variante Optimierung gewählt wurde. Am Ende des Beitrags gibt es eine Anleitung, um eine jede ArchivistaBox oder AVMultimedia in den Tiefschlaf zu befördern bzw. über das Netzwerk auch wieder aufzuwecken.
Einfach mehr Festplattenplatz führt nicht zur Lösung
Die ArchivistaBox ist aktuell im Standardumfang auf bis zu 200 TByte ausgelegt. Daher wäre es an sich einfach gewesen, das Archiv mit zusätzlichen Festplatten zu erweitern. Allerdings muss dabei beachtet werden, dass damit erst der primäre Platz für die Speicherung auf Festplatten geschaffen wird. Erst mit dem Auslagern der Materialien auf einmal beschreibbare Datenträger bestehen langfristige Datenträger.
Dabei stehen die Formate M-Disk und das proprietäre Sony-Pro zur Verfügung. M-Disk-Laufwerke sind preiswert (ca. 120 Franken/Euro), die Medien dagegen kosten aktuell ca. 25 Franken/Euro und fassen 100 GByte. Bei 6 TByte würden bei zwei Archivkopien bereits 120 Medien benötigt. Damit entstünden Kosten über 3120 Franken/Euro (120*25+120). Beim proprietären Sony-Format sind zwar die Kosten der Medien tiefer (ca. 250 Franken/Euro für 5.5 TByte), jedoch kostet das Laufwerk ca. 4000 bis 5000 Franken/Euro.
Bei einer Verdoppelung der Kapazität auf 12 TByte würden folglich für die saubere Archivierung der Daten auf nicht wieder beschreibbare Datenträger Kosten von 6120 Franken (240*25+120) entstehen. Offen gestanden, dies erscheint etwas viel für ein privates Medienarchiv. Zumal, der Aufwand für das Erstellen der Medien ist dabei noch nicht einmal enthalten. Ein Ausbau der Kapazität war deshalb keine Option.
Stillstand würde bedeuten, wer rastet, der rostet
Das Projekt des privaten Medienarchivs ist ja gerade deshalb entstanden, weil die Angebote der Streaming-Anbieter mittel- bis langfristig nicht nur höhere monatlichen Kosten zur Folge gehabt hätten, sondern weil das Streamen letztlich nicht mehr als einem sehr einseitiges Mietverhältnis entspricht.
Das private Archiv wurde auf ca. 8 TByte ausgelegt (entspricht plus/minus der ArchivistaDom). In den letzten acht Monaten zeigte sich, dass sowohl über MediathekView als auch über wilmaa.ch derart viele Angebote verfügbar sind, dass das Archiv viel schneller als kalkuliert anwuchs. Mit ein Grund war übrigens auch, dass beim Stöbern im eigenen Keller noch viele CDs und DVDs gefunden wurden, die ebenfalls erfasst wurden.
Gleichzeitig konnte festgestellt werden, dass aktuell viele DVD-Sammlungen zum “Spottpreis” erworben werden können, da ja offensichtlich niemand mehr DVDs kaufen und einlegen mag. Nach Schweizer Recht dürfen diese DVDs selbst dann als Privatkopie auf die Festplatte kopiert werden, wenn sie mit einem Kopierschutz ausgeliefert werden. Um DVDs zu ‘rippen’, dafür gibt es entsprechende Programme.
Aber: Auch wenn DVDs in der Schweiz legal “gerippt” werden können, gratis ist es nicht. Gemäss Suisseimage.ch werden Kopien über die Leermedienabgabe finanziert. Bei den M-Disks beträgt die Gebühr gemäss Suisa.ch etwas über 1 Franken. Paradox mutet dabei die FAQ von Suissimage.ch an, da einerseits auf den Leermedien Gebühren erhoben werden, auf der anderen Seite das Anbieten von Programme zum DVD-Kopieren nach Art. 39a Abs. 3 URG verboten ist. Immerhin, nach Art. 39a Abs. 4 ist das Umgehen des Kopierschutzes bei der Privatkopie legal. Die Länge dieses Absatzes zeigt, das Thema ist nicht einfach, eine Diskussion zum Thema findet sich im MakeMKV-Forum (in Englisch).
Mit neu erworbenen DVDs im zweistelligen Frankenbereich kamen nochmals ca. 150 Stunden Filmmaterial hinzu. Dabei wurde weniger Geld ausgegeben, als ein entsprechendes Abo über acht Monate beim marktführenden Streaming-Anbieter gekostet hätte. Nur eben, auch dadurch wuchs der Umfang des Archivs deutlich schneller als geplant an.
Da ein Ausbau der Festplatten nicht in Frage kam (siehe oben), wäre die zweite Option gewesen, das Medienarchiv quasi mit bestehendem Umfang “einzumotten”. Letztlich sollte es nicht dazu kommen zu rasten, denn dadurch hätte das Archiv sinnbildlich gesprochen angefangen digital zu rosten.
Lösung: Optimieren der Video-Dateien
Über die letzten Monate konnte festgestellt werden, dass je nach Quelle die Video-Dateien in sehr unterschiedlicher Grösse vorliegen. So musste beim Download über MediathekView festgestellt werden, dass die Inhalte zunehmend nicht mehr in HD-Qualität mit 25 Bildern, sondern mit FullHD und 50 Bildern zur Verfügung gestellt werden. Dies führt dazu, dass ein einstündiger Dokumentarfilm nicht mehr ca. 1 GByte, sondern irgendwo zwischen 4 und 5 GByte benötigt.
Letztlich hängt die Dateigrösse von MP4-Dateien primär damit zusammen, mit welcher Bandbreite gestreamt wird. Auch hier musste festgestellt werden, dass die Inhalte zunehmend “höherwertig” ausgeliefert werden. Das mag technisch mit den höheren Bandbreiten der Internet-Provider machbar sein. Bei einem privaten Medienarchiv dagegen ist dies auch kostentechnischen Gründen wenig hilfreich.
Nun bietet die ArchivistaBox ja den gesamten Multimedia-Stack an. Folglich könnten die Video-Dateien z.B. mit Shotcut einfach mit 25 Bildern und HD-Qualität neu gerendert werden. Doch letztlich würde dies bedeuten, dass viel Handarbeit notwendig wird. Die entsprechenden Prozesse lassen sich selbstverständlich mit dem Konsolenprogramm ‘ffmpeg’ automatisieren. Hier setzt die ArchivistaBox 2021/VII an, indem diese Prozesse automatisiert durchgeführt werden können.
Dazu besteht in WebConfig neu das Formular ‘Jobs verwalten’. Die ersten beiden Optionen ‘Externe Inhalte überprüfen’ sowie ‘Interne Prüfwerte bereinigen’ dienen dazu, bereits erfasste Audio- und Video-Dateien auf Korrektheit zu überprüfen. Der Punkt ‘Video-Dateien optimieren’ dagegen bringt die Möglichkeit, bereits bestehende MP4-Dateien zu optimeiren.
Erkenntnisse aus der Optimierung
Im letzten Monat wurden sämtliche externen Materialien (die eigenen erstellten Videos wurden nicht optimiert) auf HD-Qualität mit 25 Bildern die Sekunde neu gerastert. Dadurch konnte der Umfang des Archivs von ca. 6 auf ca. 2.4 TByte reduziert werden, womit plus/minus um den Faktor 2.5 weniger Daten vorliegen.
Das ist nicht nichts. Denn anstelle von 120 M-Disk-Datenträgern werden neu nicht einmal mehr 50 M-Disks (für jeweils 2 Kopien) benötigt, was einer “Ersparnis” von ca. 2000 Franken bei den Datenträgern entspricht. Natürlich sind Kosten von ca. 1000 Franken für die langfristige Archivierung noch immer nicht nichts.
Das M-Disk-Format verfügt jedoch über eine hohe physikalische Lebenserwartung über viele Jahrzehnte (versprochen werden gar 1000 Jahre). Sofern auch 10 bis 20 Jahre reichen, könnten normale Blue-Ray-Datenträger verwendet werden. Die Kosten würden sich dabei auf ca. 60 Prozent reduzieren.
Wer jetzt einwenden möchte, für diesen Betrag kann jedes Streaming-Angebot finanziert werden, dem sei gesagt, die ca. 600 Franken mit normalen Blue-Ray-Datenträgern sind beim Familien-Abo in weniger als drei Jahren dahingerafft. Dabei sind aktuell im Raum stehende Preiserhöhungen noch nicht einmal enthalten.
Blindtest und Geduld
Mit einem Blindtest in der Familie konnte im übrigen festgestellt werden, dass niemand einen sichtbaren Qualitätsverlust feststellen konnte. Entscheidend beim Abspielen ist eben nicht primär, ob jetzt 50 oder 25 Bilder mit HD die Sekunde in den Dateien verfügbar sind, sondern wie gut der Video-Player die vorhandenen Daten abspielen kann bzw. wie gut der Monitor an sich ist. Da diese Komponenten nicht geändert wurden, ergab sich visuell kein sichtbarer Qualitätsunterschied.
Das Optimieren von Video-Dateien erfordert erhebliche Ressourcen. Auf der ArchivistaDom wären für das Neurendern der ca. 3000 Stunden in etwa 60 Tage Zeit notwendig gewesen. Bei ArchivistaK2 wären wohl ca. 12 bis 15 Tage benötigt worden und bei ArchivistaEverest waren es letztlich weniger als 3 Tage. Oder anders herum gerechnet. Mit der ArchivistaDom können pro Tag ca. 80 bis 100 Stunden optimiert werden, bei ArchivistaK2 sind es ca. 250 Stunden und bei ArchivistaEverest sind es gute 1000 Stunden pro Tag.
Fazit: Optimierung lohnt sich immer
Das Optimieren von Video-Dateien ergibt gerade bei Privatarchiven extrem viel Sinn. Nicht nur können erhebliche monetäre Ressourcen eingespart werden, vielmehr führt ein kleinerer Datenbestand auch dazu, dass auch die Öko-Bilanz entsprechend besser ausfällt. Gemäss einem WDR-Beitrag aus dem Jahre 2019 ist das Streamen gar extrem klimaschädigend. Wie im Artikel korrekterweise angeführt wird, sind entsprechende Berechnungen zwar realtiv. Unbestritten ist aber, dass je grösser die Datenbestände sind, desto grösser die Umweltkosten sein werden, siehe dazu auch den Artikel bei Welt.de. In diesem Sinne ergeben die Optimierungen der Version 2021/VII nicht nur ökonomisch sondern auch ökologisch viel Sinn.
Derartige Optimierungen ergeben selbstverständlich auch im professionellen Umfeld einen hohen wirtschaftlichen Nutzen. Als Beispiel sei hier nur ein Schulmedienserver angeführt, bei dem die Inhalte für den Unterricht um den Faktor drei verkleinert werden können, ehe mit diesen gearbeitet wird. Dabei geht es nicht nur um den dreimal kleineren Speicherbedarf, sondern auch die um den Faktor drei verringerte Bandbreite, die für das Abspielen der Inhalte notwendig ist.
Tipp des Monats: Tiefschlaf und Aufwachen
Passend zum Thema Stromverbrauch sei an dieser Stelle noch beschrieben, wie eine ArchivistaBox bzw. AVMultimedia in den Tiefschlaf versetzt werden kann bzw. über das Netzwerk auch wieder angeworfen werden kann. Dazu müssen zunächst zwei Zeilen in der Datei /etc/network/interfaces erfasst werden. Dazu nachfolgend ein Beispiel:
auto lo iface lo inet loopback auto vmbr0 iface vmbr0 inet static address 192.168.2.222 netmask 255.255.255.0 gateway 192.168.2.1 post-up /sbin/ethtool -s eth0 wol g post-down /sbin/ethtool -s eth0 wol g bridge_ports eth0 bridge_stp off bridge_fd 0
Die beiden farbigen Zeilen sind hinzuzufügen. Danach muss die Netzwerkkarte neu initalisiert werden. Dazu kann der folgende Befehl verwendet werden:
/etc/init.d/networking restart
Bevor die ArchivistaBox oder AVMultimedia in den Tiefschlaf versetzt werden kann, muss die Mac-Adresse des Rechner bekannt sein, da nur mit dieser Adresse später das Aufwecken aus dem Tiefschlaf möglich ist. Dazu kann der Befehl ‘ifconfig eth0’ verwendet werden. Dabei erfolgt in etwa die nachfolgende Ausgabe:
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
ether 70:85:c2:db:70:b5 txqueuelen 1000 (Ethernet)
.... (weitere Zeilen)
Der farbig markierte Bereich hinter ‘ether’ wird benötigt, um die ArchivistaBox oder AVMultimedia aus dem Tiefschlaf zu erwecken.
Zunächst aber muss der Rechner in den Tiefschlaf versetzt werden. Dazu wird der folgende Befehl verwendet:
echo mem >/sys/power/state
Falls der Bildschirm nicht deaktivert wird, kann mit dem folgenden Befehl überprüft werden, ob der Schlafmodus überhaupt zur Verfügung steht:
cat /sys/power/state
Hinweis: Sofern bei der Ausgabe ‘mem’ fehlt, steht die Funktion von der verwendeten Hardware her nicht zur Verfügung.
Nun kann die ArchivistaBox oder AVMultimedia von einem anderen Rechner aus dem Tiefschlaf aufgeweckt werden. Dazu ist der folgende Befehl einzugeben:
wakeonlan 70:85:c2:db:70:b5
Hinweis: Die Mac-Adresse ist auf jedem Computer verschieden. Selbstverständlich muss daher jene Mac-Adresse verwendet werden, die auf der ArchivistaBox bzw. AVMultimedia verwendet wird. Im übrigen ist das Programm wakeonlan erst seit Version 2021/VII auf der ArchivistaBox bzw. AVMultimedia enthalten.
Natürlich funktioniert der Tiefschlaf bzw. das Aufwecken nur, sofern mindestens ein anderer Rechner im gleichen Netzwerk läuft. Zur Anwendung gelange kann hier entweder die Firewall oder ein kleiner Einplatinen-Rechner (Odroid, Raspberry etc). Als Resultat dieser Bemühungen winkt ein Stromverbrauch (Standby) unter 1 Watt. Aktuell gibt es für den Tiefschlaf kein GUI, weder bei AVMultimedia noch bei der ArchivistaBox. Entsprechende Wünsche nehmen wir aber gerne entgegen.
P.S: Die Bilder in diesem Blog entstammen dem Laugavegur-Wanderweg in Island. Wer mehr dazu erfahren möchte, findet unter https://azurgo.ch/aktuell/island-einmal-um-die-insel einen gut 70 Minuten langen Film. Die Rohmaterialen zu diesem Werk umfassen um die 800 GByte an Daten. Alleine daraus wird ersichtlich, wie wertvoll Medien-Archive sind.
