![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2021\/05\/zeurich.jpg\")
<\/a><\/h1>\nOpen Source Spracherkennungen Vosk<\/a><\/strong> und Kaldi<\/a><\/strong><\/h2>\nBisher konnten erfasste Ton- und Video-Dateien nur rudiment\u00e4r automatisiert beschlagwortet werden. Dank der Integration der Spracherkennung Vosk ist es neu m\u00f6glich, gesprochene Passagen aus den multimedialen Dateien in Text umzuwandeln und diesen f\u00fcr die Folltextrecherche der ArchivistaBox aufzubereiten. Dabei werden aktuell die Sprachen Englisch, Deutsch, Franz\u00f6sisch, Italienisch, Spanisch, Portugiesisch und Holl\u00e4ndisch unterst\u00fctzt.<\/p>\n
Dank der Technologien der Open Source Spracherkennungen Vosk<\/a><\/strong> und Kaldi<\/a><\/strong> k\u00f6nnen jederzeit weitere Sprachen hinzugef\u00fcgt werden. Ebenfalls w\u00e4re es m\u00f6glich, eigene (neue) Sprachdateien zu erstellen und in die ArchivistaBox zu integrieren. In den meisten F\u00e4llen wird dies nicht notwendig sein, stehen im Grundumfang bereits ca. 10 GByte (entpackt) f\u00fcr die obigen Sprachen an Vokabular zur Verf\u00fcgung.<\/p>\nAn dieser Stelle darf angef\u00fcgt werden, dass die Integration der Spracherkennung \u00fcber Python und das entsprechende Vosk-Modul erfolgt. Vosk<\/a><\/strong> wiederum basiert auf Kaldi.<\/a><\/strong> Dabei gilt es anzumerken, dass Kaldi die eigentliche Grundlage bildet, Vosk hingegen den Job deutlich vereinfacht. Ohne Vosk m\u00fcsste Kaldi erst mit Sprachsequenzen trainiert werden. Dank Vosk wird Kaldi letztlich so aufgerufen, dass aus den Video- und Audio-Dateien der Text automatisiert extrahiert werden kann.<\/p>\n![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2021\/05\/zuerich0.jpg\")
<\/a><\/h1>\nZwei Beispiele mit erkanntem Text<\/h2>\n
Um die Qualit\u00e4t der Spracherkennung zu veranschaulichen, sei an dieser Stelle eine Auszug aus der Tagesschau von SRF vom 23. Mail 2021<\/a><\/strong> publiziert (es geht um den Vulkanausbruch im Kongo vom gleichen Tag): „Noch in der nacht verlassen tausende das gebiet um die gro\u00dfstadt goma in richtung grenze nach ruanda das nachbarland hat die grenzen f\u00fcr die vulkan fl\u00fcchtlinge ge\u00f6ffnet und stellt notunterk\u00fcnfte zur verf\u00fcgung.“<\/strong><\/em><\/p>\nDie Qualit\u00e4t der Erkennung darf sich (es wurde absolut kein Trainingsaufwand betrieben) sehen lassen. Normale W\u00f6rter werden fast immer fehlerfrei erkannt, Gross- und Kleinschreibung dagegen nicht und bei Ortsbezeichnungen kann es zu Fehlern kommen (Gleiche Sendung, Seilbahn-Ungl\u00fcck in Italien): „Zuerst nach italien im norden des landes ist eine seilbahn kabine abgest\u00fcrzt dabei sind dreizehn menschen ums leben gekommen das ungl\u00fcck ereignete sich nahe der schweizer grenze auf der fahrt vom ferienort strehla am ufer des lago maggiore auf den monte matrone…“ <\/em><\/strong>Anstelle von ‚Strehla‘ m\u00fcsste ‚Stresa‘ stehen und der Monte Mattarone wurde in Matrone umbenannt. Dagegen konnte der Lago Maggiore korrekt erkannt werden.<\/p>\n![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2021\/05\/zeurich2.jpg\")
<\/a><\/h1>\nInstallation von Vosk und Kaldi<\/h2>\n
Eine gute Spracherkennung ben\u00f6tigt relativ viel Platz f\u00fcr die Sprachdateien. Daher befindet sich Vosk bzw. Kaldi nicht direkt auf der ISO-Datei der ArchivistaBox. Der entsprechende Download-Link der Datei ‚vosk.os‘ wird Kunden aber gerne kommuniziert. Diese Datei ist nach ‚\/home\/data‘ zu kopieren. Danach ist die ArchivistaBox 2021\/V neu zu starten. Damit wird die Spracherkennung aktiviert.<\/p>\n
Beim Hinzuf\u00fcgen von Inhalten wird die Spracherkennung direkt nach der Texterkennung durchgef\u00fchrt. Die gew\u00fcnschte Sprache ist dabei \u00fcber die Scan-Definition festzulegen. Grunds\u00e4tzlich arbeitet die Spracherkennung auf s\u00e4mtlichen ArchivistaBox-Systemen. Allerdings gilt es zu bedenken, dass die Modelle Dolder, Rigi und S\u00e4ntis etwas langsamer arbeiten werden als die \u00fcbrigen Modelle.<\/p>\n
Die Spracherkennung erfolgt im Rahmen der Texterkennung (OCR). Wird diese parallel abgearbeitet, erfolgt auch die Spracherkennung mit mehreren Instanzen. Die Erkennungsgeschwindigkeit (pro Prozessor) betr\u00e4gt ca. 5 bis 10 Minuten f\u00fcr eine Stunde Ton. Mit der ArchivistaBox MediaVM Everest k\u00f6nnen dabei pro Tag bis zu 2400 Stunden bzw. 100 Tage \u00e0 24 Stunden Ton verarbeitet werden. Der gesammte Prozess der Spracherkennung erfolgt dabei direkt auf der lokalen Instanz, womit Vertraulichkeit \u00fcber die Daten zu 100 Prozent gew\u00e4hrleistet ist.<\/p>\n
![\"\"](\"https:\/\/archivista.ch\/cms\/wp-content\/uploads\/2021\/05\/klosterfahr.jpg\")
<\/a><\/h1>\nSpracherkennung steht allen Kunden zur Verf\u00fcgung<\/h2>\n
Die neue Technologie ist zwar bei der Auslieferung nicht aktiviert, sie steht aber f\u00fcr alle ArchivistaBox-Systeme im Grundumfang zur Verf\u00fcgung. Voraussetzung ist einzig, dass minimal die aktuelle Version 2021\/V verwendet wird bzw. dass die Datei ‚vosk.os‘ im Ordner ‚\/home\/data‘ vorhanden ist.<\/p>\n
Vosk und Kaldi k\u00f6nnen auf Wunsch auch bei Kunden installiert und an kundenspezifische Bed\u00fcrfnisse angepasst werden. Dabei gilt wie immer im ArchivistaBox-Kosmos. Erweiterungen, die im Rahmen eines Auftrages entstehen, stehen (sofern nicht explizit das Gegenteil vereinbart wird) sp\u00e4ter allen Kunden zur Verf\u00fcgung. In diesem Sinne viel Spass mit der neuen Spracherkennung auf der ArchivistaBox.<\/p>\n\n\n\n\t
Bisher konnten erfasste Ton- und Video-Dateien nur rudiment\u00e4r automatisiert beschlagwortet werden. Dank der Integration der Spracherkennung Vosk ist es neu m\u00f6glich, gesprochene Passagen aus den multimedialen Dateien in Text umzuwandeln und diesen f\u00fcr die Folltextrecherche der ArchivistaBox aufzubereiten. Dabei werden aktuell die Sprachen Englisch, Deutsch, Franz\u00f6sisch, Italienisch, Spanisch, Portugiesisch und Holl\u00e4ndisch unterst\u00fctzt.<\/p>\n
Dank der Technologien der Open Source Spracherkennungen Vosk<\/a><\/strong> und Kaldi<\/a><\/strong> k\u00f6nnen jederzeit weitere Sprachen hinzugef\u00fcgt werden. Ebenfalls w\u00e4re es m\u00f6glich, eigene (neue) Sprachdateien zu erstellen und in die ArchivistaBox zu integrieren. In den meisten F\u00e4llen wird dies nicht notwendig sein, stehen im Grundumfang bereits ca. 10 GByte (entpackt) f\u00fcr die obigen Sprachen an Vokabular zur Verf\u00fcgung.<\/p>\n An dieser Stelle darf angef\u00fcgt werden, dass die Integration der Spracherkennung \u00fcber Python und das entsprechende Vosk-Modul erfolgt. Vosk<\/a><\/strong> wiederum basiert auf Kaldi.<\/a><\/strong> Dabei gilt es anzumerken, dass Kaldi die eigentliche Grundlage bildet, Vosk hingegen den Job deutlich vereinfacht. Ohne Vosk m\u00fcsste Kaldi erst mit Sprachsequenzen trainiert werden. Dank Vosk wird Kaldi letztlich so aufgerufen, dass aus den Video- und Audio-Dateien der Text automatisiert extrahiert werden kann.<\/p>\n Um die Qualit\u00e4t der Spracherkennung zu veranschaulichen, sei an dieser Stelle eine Auszug aus der Tagesschau von SRF vom 23. Mail 2021<\/a><\/strong> publiziert (es geht um den Vulkanausbruch im Kongo vom gleichen Tag): „Noch in der nacht verlassen tausende das gebiet um die gro\u00dfstadt goma in richtung grenze nach ruanda das nachbarland hat die grenzen f\u00fcr die vulkan fl\u00fcchtlinge ge\u00f6ffnet und stellt notunterk\u00fcnfte zur verf\u00fcgung.“<\/strong><\/em><\/p>\n Die Qualit\u00e4t der Erkennung darf sich (es wurde absolut kein Trainingsaufwand betrieben) sehen lassen. Normale W\u00f6rter werden fast immer fehlerfrei erkannt, Gross- und Kleinschreibung dagegen nicht und bei Ortsbezeichnungen kann es zu Fehlern kommen (Gleiche Sendung, Seilbahn-Ungl\u00fcck in Italien): „Zuerst nach italien im norden des landes ist eine seilbahn kabine abgest\u00fcrzt dabei sind dreizehn menschen ums leben gekommen das ungl\u00fcck ereignete sich nahe der schweizer grenze auf der fahrt vom ferienort strehla am ufer des lago maggiore auf den monte matrone…“ <\/em><\/strong>Anstelle von ‚Strehla‘ m\u00fcsste ‚Stresa‘ stehen und der Monte Mattarone wurde in Matrone umbenannt. Dagegen konnte der Lago Maggiore korrekt erkannt werden.<\/p>\n Eine gute Spracherkennung ben\u00f6tigt relativ viel Platz f\u00fcr die Sprachdateien. Daher befindet sich Vosk bzw. Kaldi nicht direkt auf der ISO-Datei der ArchivistaBox. Der entsprechende Download-Link der Datei ‚vosk.os‘ wird Kunden aber gerne kommuniziert. Diese Datei ist nach ‚\/home\/data‘ zu kopieren. Danach ist die ArchivistaBox 2021\/V neu zu starten. Damit wird die Spracherkennung aktiviert.<\/p>\n Beim Hinzuf\u00fcgen von Inhalten wird die Spracherkennung direkt nach der Texterkennung durchgef\u00fchrt. Die gew\u00fcnschte Sprache ist dabei \u00fcber die Scan-Definition festzulegen. Grunds\u00e4tzlich arbeitet die Spracherkennung auf s\u00e4mtlichen ArchivistaBox-Systemen. Allerdings gilt es zu bedenken, dass die Modelle Dolder, Rigi und S\u00e4ntis etwas langsamer arbeiten werden als die \u00fcbrigen Modelle.<\/p>\n Die Spracherkennung erfolgt im Rahmen der Texterkennung (OCR). Wird diese parallel abgearbeitet, erfolgt auch die Spracherkennung mit mehreren Instanzen. Die Erkennungsgeschwindigkeit (pro Prozessor) betr\u00e4gt ca. 5 bis 10 Minuten f\u00fcr eine Stunde Ton. Mit der ArchivistaBox MediaVM Everest k\u00f6nnen dabei pro Tag bis zu 2400 Stunden bzw. 100 Tage \u00e0 24 Stunden Ton verarbeitet werden. Der gesammte Prozess der Spracherkennung erfolgt dabei direkt auf der lokalen Instanz, womit Vertraulichkeit \u00fcber die Daten zu 100 Prozent gew\u00e4hrleistet ist.<\/p>\n Die neue Technologie ist zwar bei der Auslieferung nicht aktiviert, sie steht aber f\u00fcr alle ArchivistaBox-Systeme im Grundumfang zur Verf\u00fcgung. Voraussetzung ist einzig, dass minimal die aktuelle Version 2021\/V verwendet wird bzw. dass die Datei ‚vosk.os‘ im Ordner ‚\/home\/data‘ vorhanden ist.<\/p>\n Vosk und Kaldi k\u00f6nnen auf Wunsch auch bei Kunden installiert und an kundenspezifische Bed\u00fcrfnisse angepasst werden. Dabei gilt wie immer im ArchivistaBox-Kosmos. Erweiterungen, die im Rahmen eines Auftrages entstehen, stehen (sofern nicht explizit das Gegenteil vereinbart wird) sp\u00e4ter allen Kunden zur Verf\u00fcgung. In diesem Sinne viel Spass mit der neuen Spracherkennung auf der ArchivistaBox.<\/p>\n\n\n\n\t<\/a><\/h1>\nZwei Beispiele mit erkanntem Text<\/h2>\n
<\/a><\/h1>\nInstallation von Vosk und Kaldi<\/h2>\n
<\/a><\/h1>\nSpracherkennung steht allen Kunden zur Verf\u00fcgung<\/h2>\n