Evolution statt Revolution bei der ArchivistaBox

Egg, 14. November 2023: Die Welt verändert sich rapide. Und damit ist nicht einmal die weltpolitische Lage gemeint, sondern die Informatik-Landschaft. Eine Software, die über ein zwei Monate nicht komplett umgekrempelt wird, aktuell fast eher die Ausnahme denn Normalität. So geht es bei der ArchivistaBox um Evolution und nicht um Revolution. Und auch wenn dies keine weltpolitische Anschauung darstellt, bei der Modellpflege gilt bei der ArchivistaBox 5-Jahre “Planwirtschaft”. Das heisst nicht, dass während dieser Zeit keine Updates erfolgen, aber der Unterbau bleibt während dieser Zeit erhalten. Beim aktuellen Update 2023/Xi geht es folglich um Modellpflege. Die wichtigsten Neuerungen seien hier vorgestellt.

Arbeiten mit der Zwischenablage

Wer kennt nicht die Tastenkombinationen Ctrl+a (Auswählen), Ctrl+c (Kopieren) und Ctrl+v (Einfügen). Seit geraumer Zeit gibt es in der ArchivistaBox die Möglichkeit, in der Hauptansicht auf dem Reiter ‘Ansicht’ mit Ctrl+c aus der aktuellen Akte einen eindeutigen Link zu generieren, auf den verwiesen werden kann. Dazu ein Beispiel:

60933: Birds do it - Mr. Bird geht in die Luft
https://meineseite.ch/perl/avclient/index.pl?target=new&go=60933

Damit können sehr einfach Links weitergereicht werden, um auf Dokumente der ArchivistaBox zu verweisen. Leider funktionierte dies bislang nur, wenn nicht bestimmte Sonderzeichen in der Beschreibung vorkamen. In der neuen Version funktionieren neu auch Beschreibungen wie folgende:

60839: Der Millionenbauer 12 "Schöne Bescherung"
https://meineseite.ch//perl/avclient/index.pl?target=new&go=60839

Kopieren der Meta-Informationen bei Datensätzen

Wir im Reiter ‘Bearbeiten’ der Hauptansicht ein Dokument mit Shift+F7 “zwischengespeichert”, so können die Meta-Informationen mit ‘F8’ danach beliebig eingefügt werden. Auch hier funktionierten bestimmte Sonderzeichen nicht bzw. wurden im gewünschten neuen Dokument falsch eingefügt.

Neu: QR-Code-Erkennung in der Seitenansicht

Die bisherige QR-Code-Erkennung erfordert es, dass die gewünschten Werte geordnet in die dafür vorgesehenen Felder eingetragen werden. Neu kann im Reiter ‘Ansicht’ und der Seitenansicht mit Ctrl+c ein QR-Code direkt ausgelesen werden. Der Wert wird dabei auf dem Bildschirm angezeigt und gleichzeitig in die Zwischenablage kopiert. Damit lassen sich diese QR-Codes elegant z.B. dann verwenden, wenn die Daten des QR-Codes unkompliziert weitergereicht werden sollen.

Damit lassen sich z.B. Zahlungsinformationen direkt im E-Banking einfügen, ohne dass zuvor der Beleg hochgeladen werden muss oder dass die Zahlungsdaten über den Seitentext markiert und kopiert werden müssen.

Wichtig: Damit die QR-Erkennung funktioniert, ist das Barcode-Modul notwendig.

ArchivistaDOM neu mit RAID10 oder RAID1/Cluster

Bei der bisherigen ArchivistaMediaVM-Lösungen konnten bei der DOM-Variante Raid-Verbünde mit jeweils 2-Festplatten betellt werden. Neu werden im Grundumfang 4 SSD-Festplatten ausgeliefert. Damit lässt sich wahlweise eine RAID10 oder zweimal RAID1 (Cluster-Lösungen) realisieren. Damit wird die Ausfallsicherheit entsprechend erhöht.

Import Untertitel-Text bei Video-Dateien

Zahlreiche Videos verden mit Unteritel-Dateien ausgeliefert. Diese Texte werden neu für die Volltextsuche zur Verfügung gestellt. Dabei werden alle Sprachvarianten eingebunden.

Optimierung von Videos

Seit Ende 2019 gibt es die Möglichkeit, Videos mit der ArchivistaBox zu verwalten. Damit lassen sich umfangreiche Video-Datenbanken sehr effizient und komfortabel verwalten. Allerdings werden aktuell die Videos in immer höherer Auflösung und Qualität publiziert. Dies führt zuweilen dazu, dass die Videos in viel zu höher Auflösung archiviert werden bzw. entsprechend viel Platz benötigen. Wer z.B. ab einem Streaming-Dienst (z.B. teleboy.ch) einen Film herunterlädt, erhält ca. 7 bis 10 GByte (bei Spielfilmlänge). Und dies selbst bereits bei HD-Qualität (1280×720 Pixel). Bei FullHD (1920×1080) oder 4K (3840×2160) können Dateien von weit über 20 oder mehr GByte anfallen.

Einmal davon abgesehen, dass die aktuelle Limite für Dateien, welche mit der ArchivistaBox verwaltet werden können, 64 GByte beträgt, sind aber auch Dateien ab 1 oder 2 GByte für die Archivierung nicht ganz unproblematisch, und dies selbst dann, wenn die ArchivistaBoxen K2 und Everest zum Einsatz kommen, die auf bis zu 200 TByte erweitert werden können.

Werden z.B. direkt die Daten ab teleboy.ch verwendet, so umfasst ein Film ca. 7 GByte. Damit können bei 14 TB Festplattenkapazität (14*1000/7) insgesamt 2000 Videos verwaltet werden. Werden die Dateien optimiert, können gut und gerne um den Faktor 10 oder mehr der Filme verwaltet werden. Bisher mussten die Parameter in WebConfig entsprechend eingegeben werden. Die dazu notwendigen Parameter mussten exakt festgelegt werden. Neu gibt es Dienstprogramme, welche den Job automatisch übernehmen. Dazu ist auf dem Archivista-Desktop ein Terminal aufzurufen. Dort lässt sich die Optimierung wie folgt durchführen:

vidopt1 pfadin
vidopt2 pfadin
vidopt3 pfadin

Dabei entsprechen ‘vidopt1’, ‘vidopt2’ und ‘vidopt3’ den Dienstprogrammen und ‘pfadin’ steht für den Pfad, in welchem sich die Videos befinden. Im ersten Schritt (‘vidop1’) wird eine mutmasslich optimale Komprimierung errechnet. Dabei werden alle Videos auf HD-Qualität mit max. 30 Bildern/Sekunde komprimiert. Video-Dateien, die z.B. mit 50 Bildern/Sekunde angeliefert werden, stehen danach mit 25 Bildern/Sekunde zur Verfügung, da es damit die kleinstmöglichen Verluste bei der Komprimierung gibt und das Rendern (Neu-Berechnen) der Daten deutlich schneller erfolgt, als wenn z.B. von 50 auf 30 Bilder berechnet würde.

In etwa 2/3 der Videos stehen danach gut optimierte Videos zur Verfügung, die deutlich kleiner sind. Beim letzten Drittel entstehen leider Videos, die entweder zu stark oder zu schwach komprimiert wurden. Daher gibt es das Dienstprogramm ‘vidopt2’. Dieses Programm testet die erstellten Videos, ob sie zu wenig oder zu stark “geschrumpft” wurden. Ist dies der Fall, wird entsprechen nachjustiert.

Mit ‘vidopt3’ werden die ursprünglichen Videos in den Ordner ‘/home/archivista/data/vidbackup’ verschoben. Die komprimierten Videos stehen unter dem gleichen Namen in entsprechenden Ordner zur Verfügung und können archiviert werden. Wie gut dies funktionierte, darüber wird in der Archivista-Log-Datei (WebConfig) Auskunft gegeben.

Der zur Anwendung gelangende Algorithmus wurde bei Zehntausenden von Videos getestet. Bei weniger als einem Promille war das Resultat um einige wenige Prozent nicht optimal. Ein grosser Teil der verarbeiteten Videos wurde zuvor mit der alten Variante (WebConfig) bereits optimiert. Dabei konnten die Daten nochmalig um ca. 2 TB (18 zu 16) “geschrumpft” werden, ohne dass die bereits optimierten Videos merkantile Qualitätsverluste erlitten bzw. weil anstelle der manuellen Schätzung (was viel Erfahrung bedingt) das Programm automatisch die optimale Komprimierung errechnete.

Neben den Dienstprogrammen ‘vidopt1’, ‘vidopt2’ und ‘vidopt3’ stehen neu weitere Helferlein zur Verfügung. Mit ‘videoonly in.mp4 out.mp4’ wird die erste Videospur extrahiert. Mit ‘audioonly in.mp4 out.mp4’ erfolgt die Extraktion der ersten Audiospur. Mit ‘videocombine vidtrack.mp4 audiotrack.mp4 output.mp4’ können separate Video- und Audiodateien zusammengefügt werden. Und mit ‘subtitle video.mp4 subtitle.vtt output.mp4’ wird einem Film eine Untertitel-Datei hinzugefügt. All diese Dienstprogramme arbeiten mit Dienstprogramm ‘ffmpeg’. Jedoch sind die entsprechenden Parameter mitunter nicht ganz einfach zu verstehen. Die obigen Helferlein dürften die Arbeit erleichtern.

Bleibt die Frage, wofür diese Helferlein notwendig bzw. nützlich sind? Wer Videos herunterlädt, findet ab und wann separate Video- und Audiospuren. Ohne zusammengelegte Dateien lassen sich diese Videos mit den üblichen Tools (z.B. auch mit dem Standard-HTML-Player der Web-Browser nicht abspielen). Das gleiche gilt für Untertitel-Dateien. Diese werden meistens in separater Datei abgelegt. Auch hier gilt, nur wenn die Subtitel-Datei ins Video eingebettet wird, lässt sie sich direkt mit einem gängigen Video-Player abspielen.

FreeTube anstelle YouTube

Jüngst hat der Branchen-Primus die Regeln für das Abspielen der dortigen Videos verschärft. Hintergrund der Aktion ist, dass der Monovist (der Primus besitzt bei der Wiedergabe von Videos faktisch ein Monopol im Web) entweder mehr Werbung abspielen möchte oder jene ganz ordentlich schröpft, die ohne Werbeunterbrechungen YouTube-Videos ansehen möchten.

Eine kleine Nebenbemerkung sei hier angebracht: Aktuell kostet das Familien-Abo für die Schweiz 23.90. Das erscheint doch etwas gar “brutal”, da ja geschätzt 99.x% der Videos von Privaten hochgeladen werden. Die Hosting-Kosten können nicht in Ansätzen derart hoch sein.

Auch wenn bislang beim mitgelieferten Ad-Blocker des Archivista-Desktops nicht festgestellt werden musste, dass sich die Videos nur noch mit Werbung abspielen lassen, so wurden Alternativen evaluiert. Mit FreeTube steht eine Alternative zur Verfügung, welche (abgesehen davon, dass es als Desktop-Anwendung zu starten ist) sehr viele Vorteile besitzt. Erstens bedingt FreeTube weder ein Anmelden noch ein Akzeptieren von AGBs, noch werden überhaupt persönliche Daten direkt an den Suchgiganten weitergereicht. Die entsprechenden Informationen werden allesamt lokal gespeichert.

Ein weiterer Vorteil von FreeTube besteht darin, dass auch ohne Anmeldung Kanäle zugeschaltet werden können und dass sich die entsprechenden Videos ohne Probleme herunterladen lassen. Warum dem so ist, darüber finden sich unter https://freetubeapp.io/about.php entsprechende Informationen.

Helferlein für Teleboy.ch

Das aktuelle Abo bei Teleboy.ch kostet 11.90 (fünf Geräte gleichzeitig, folglich für die gesamte Familie). Damit kostet das Abo weniger als die Hälfte des Preises eines Youtube-Premium-Abos. Dafür gibt es uneingeschränkten Zugriff auf ca. 300 Fernsehkanäle mit Zurückspulen der letzten 7 Tage und Downloadmöglichkeit.

Damit keine Missverständnisse aufkommen, die Erwähnung hier wurde in keiner Weise hier gesponsert und das Angebot ist auf die Schweiz limitiert. In anderen Ländern gibt es andere z.T. noch günstigere Angebote, wobei dabei jedoch oft die Schweiz typischen Sender fehlen. Und überhaupt lassen sich die entsprechenden landesspezifischen Angebote nur nutzen, indem mittels VPN (z.B. ProtonVPN, auch hier kein Sponsoring) umgangen wird. Natürlich liessen sich die Connect-Informationen (m3u-Dateien) der entsprechenden Sender irgendwo auftreiben, aber Zeitaufwand und Preis (11.90 pro Monat) passen irgendwann nicht wirklich zueinander.

Natürlich darf hier die Frage gestellt werden, was lineares Fernsehen aktuell noch bringt? Ohne Replay und Download natürlich wenig bis nichts. Mit beiden Punkten dagegen lassen sich damit mühelos viele auch aktuelle Spielfilme ansehen, die ansonsten nur im Streaming-Angebot erhältlich sind.

Bei teleboy.ch gibt es dazu die Rubriken ‘Tipps aus der Redaktion’. Dort finden sich zwar nicht nur Spielfilme, jedoch ist die Kuratierung (Auswahl) recht gut. Weiter gibt es ‘Beliebteste Filme’. Dort finden sich jene “Brocken”, welche die User “anschauen”. Beiden Rubriken gemeinsam ist, dass die Listen oft übermässig lang sind, weil der gleiche Film zwei- oder mehrmalig ausgestrahlt wird. Ebenso gibt es Filme, die einem auch beim 10 Mal nicht zu begeistern vermögen, gefühlt aber dennoch so alle zwei oder drei Wochen gespielt werden.

Aus diesem Grund gibt es das Helferlein ‘teleboy filme.html’. Damit das Skript arbeitet, müssen die zuvor durchgescrollten Rubriken von Teleboy auf dem ArchivistaBox-Desktop heruntergeladen werden. Ctrl+s und Angabe des Namens ‘filme.html’ geht am schnellsten. Danach das Skript starten ‘teleboy filme.html’. Das Skript arbeitet mit oder ohne einer Archivista-Datenbank. Wird eine alternative Datenbank gewünscht, kann das Skript mit ‘teleboy filme.html dbname’ gestartet werden.

Das Skript wertet sämtliche Filme im Programm aus und überprüft anhand der bisherigen Entscheidungen, ob eine nähere Betrachtung angesagt ist oder nicht:

Dickste Freunde -- 2011 -- (310/342)
ORF1/28652392/dickste-freunde
Komödie • USA

Dickste Freunde - The Dilemma -- 2011-01-13 -- 1578275
US -- Drama; Kom�die; Hollywood-Film; Witzig; Romantisch; Eigenwillig

Neue Liebe, neues Glück -- 2005 -- (311/342)
SRF2/28706307/neue-liebe-neues-glueck
Romantik • USA
Add it? (j/n)

Dabei gilt folgendes. Wenn bereits ein Film mit gleichem Namen und Jahr verneint wurde, erscheint er nicht mehr zur aktiven Abfrage. Ebenso ist dies der Fall, wenn sich der Film bereits in der eigenen Sammlung befindet. Wurde nichts gefunden, wird gefragt, ob der Film aufgenommen werden soll. Mit ‘j’ oder ‘y’ wird der aktuelle Treffer im Browser geöffnet und es kann manuell entschieden werden, ob eine Aufnahme angezeigt ist oder nicht.

Werbung entfernen mit LosslessCut

Die bisherige Version von LosslessCut konnte Filme nur bei exakten Hauptbildern bei MP4-Dateien trennen. Da sich diese Hauptbilder nur ca. alle zwei bis drei Sekunden finden, kann dies beim Entfernen (z.B. von Werbung) dazu führen, dass ein kurzer “Schnipsel” zu viel oder zu wenig im “geschnittenen” Werk eingebunden wird.

Die aktuelle Version von LosslessCut bietet einen experimentellen Modus, um den Schnitt genau an der exakten Position vorzunehmen. Dabei werden jene Teile bei den Hauptbildern direkt übernommen, beim Schnitt (ca. 3 Sekunden pro Trennung) wird der Film neu mit ‘ffmpeg’ gerendert. Damit lassen sich die Filme genau so neu erstellen, dass das Endprodukt auf das exakte Bild stimmt.

Die aktuellen Programme, welche Werbung herausschneiden, beruhen auf dem Format, das bei Sat-Receivern zur Anwendung kommt. Bei Anbietern, welche Internet-Fernsehen mit dem Download von MP4-Dateien anbieten, fehlen Meta-Informationen, um die Werbung anhand der Kodierungen zu entfernen. Daher bleibt bei Internet-Fernsehen nur der manuelle Weg, um Werbung zu entfernen. Dank LosslessCut geht dies trotzdem relativ zügig, weil kleine Vorschaubilder eingeblendet werden, anhand derer sehr einfach zu erkennen ist, wann ein Werbeblock beginnt bzw. endet.

Aktualisierte Versionen von JDownloader2 + MediathekView

Beide Programme dienen zum Download von Video-Dateien fast beliebiger Art. Beide Versionen bedingen allerdings ab und wann Updates, weil ansonsten der Download ab vielen Seiten nicht mehr funktioniert. Und darum finden sich die entsprechenden aktualisierten Programme im Release 2023/XI.

Was ist bei AVMultimedia neu?

Wie immer gilt, die Programme, die auf dem ArchivistaBox-Desktop zur Verfügung stehen, finden sich auch in AVMultimedia. Eine Ausnahme dabei bilden die ‘vidopt1’, ‘vidopt2’, ‘vidopt3’ und ‘teleboy’, welche auf die Sourcen der ArchivistaBox zurückgreifen und daher auf dem AVMultimedia-Desktop nicht lauffähig sind.

Nachtrag: Aktuell kann die aktuelle AVMultimedia-Version nur über https://sourceforge.net/projects/archivista bezogen werden, osdn.net scheint derzeit Probleme zu haben, Version 2023/XI konnte heute z.B. nicht hochgeladen werden. Sollte sich bei osdn.net etwas ändern, erfolgt hier eine kleine Notiz. Das gleiche Vorgehen betrifft auch die ArchivistaBox, wenn es um die optionalen Programme (LossLessCut, FreeTube, MediathekView sowie JDownloader) geht, die benötigte opt.os (abzulegen unter /home/data) kann aktuell nur über https://sourceforge.net/projects/archivista bezogen werden.