Archivista K2 und Everest

Server-Boliden zum Workstation-Preis

Egg, 4. März 2020: Seit einiger Zeit sind die neuen Ryzen-CPUs, die eine bisher nie erreichte Leistung auf den Desktop bringen, verfügbar. Da diese Prozessoren die bisherigen Leistungsgrenzen regelrecht sprengen, sind zwei neue Produkte entstanden. Archivista K2 und Archivista Everest. Im nachfolgenden Blog stellen wir die beiden Flagschiffe ausführlich vor.

https://commons.wikimedia.org/wiki/File:Mount_Everest_as_seen_from_Drukair2.jpg

Grenze zwischen Server und Desktop ist obsolet

Die neuen Ryzen-CPUs bieten eine Leistung, die es bislang nur im Server-Bereich gab. Bereits bei Archivista K2 (mit Ryzen 3950X), wo 16 CPUs bzw. 32 Threads zur Verfügung stehen, steht Rechenkapazität zur Verfügung, die es aktuell bei Intel nicht gibt.

Gemäss CPUbenchmark.net, der Referenz für CPUs-Benchmarks (allerdings mit Windows gemessen, dazu später mehr), zeigt sich, selbst die “preiswerte” AMD Ryzen 3950X CPU schlägt die derzeit schnellste Intel CPU, obwohl der Vertreter von AMD ca. 10mal günstiger ist. Oder anders herum gesagt, mit Archivista K2 gibt es eine Leistung für den gesamten Rechner (inkl. 128 GB RAM, 2TB NVME, 2×14 TB Festplatten), bei der es bei Intel noch nicht einmal die CPU im Einkaufspreis gäbe.

Ebenfalls eindrücklich zeigt die Chart auf, dass aktuell die ersten sieben Plätze allesamt von AMD belegt sind. Bei den Top15, ist Intel aktuell gerade noch mit vier CPUs vertreten (auf den Plätzen 8, 9, 11 und 13), dies allesamt mit Preisen, die bei AMD um Faktoren tiefer liegen. Nun werden die Ryzen-CPUs als Desktop-Prozessoren angepriesen, obwohl diese CPUs über deutlich mehr Leistung verfügen, als die Intel-Vertreter im Server-Bereich. Und darum lassen sich aktuell Server- und Desktop-CPUs nicht mehr voneinander trennen.

Wobei, dies sei hier angefügt, die Hitliste CPUbenchmark.net hat einen “Schönheitsfehler”, das Benchmarkprogramm arbeitet mit Windows. Wer aktuelle Zahlen für Linux sucht, findet diese bei Phoronix.com. Diese Homepage kommt zum Schluss, dass z.B. die Ryzen 3990X Prozessoren eine unglaubliche Linux-Performanz bieten.

Alles in allem erreicht der AMD Ryzen 3990X (verbaut in Archivista Everest) ca. 20 Prozent mehr Leistung als ein DualSocket-System mit 2 x Xeon Platinum 8280, dies bei einem Fünftel des Preises der deutlich schwächeren CPUs von Intel.

Bleibt die Frage zu klären, warum bei CPUbenchmark.net die Ryzen 3990X nur ca. 50 Prozent mehr Leistung als die deutlich günstigere Ryzen 3950X erreicht? Aktuell ist Windows (und leider auch einige Linux-Programme, dazu später mehr) gar nicht in der Lage, die verfügbare Leistung der Ryzen 3990X CPUs abzubilden. Dies, weil Windows aktuell auf 64 Threads pro Anwendung beschränkt ist, bei der Ryzen 3990X aber 128 Threads zur Verfügung stehen. Windows kann zwar durchaus 128 Threads (auch deutlich mehr) abbilden, diese aber nicht einer einzelnen Anwendung zur Verfügung stellen.

Unter Linux besteht diese Einschränkung nicht, hier kann jede Anwendung über jene Anzahl Threads verfügen, mit denen der entsprechende Linux-Kernel übersetzt wurde. Beim Archivista-Linux-Kernel sind dies aktuell 512 CPUs/Threads, womit die 128 Threads der Ryzen 3990X mühelos einer Anwendung zugewiesen werden können. Und daher ist die gemessene Leistung von Phoronix.com, die ca. 300 Prozent mehr Leistung beim Ryzen 3990X ausweist, (gerade bei Linux) korrekt.

Archivista K2: Mehr Power für wenig(er) Moneten

Zunächst, bei Archivista K2 fehlt die “Box” im Namen, weil Archivista K2 nicht primär eine Server-Umgebung für Dokumenten Management und Virtualisierung darstellt, sondern Archivista K2 bietet vielmehr eine ausgewachsene Workstation. Selbstverständlich kann Archivista K2 ebenfalls als Server verwendet werden, nur bietet Archivista K2 als Workstation nicht weniger, sondern deutlich mehr Leistung als die bisherigen ArchivistaBoxen. Und daher fehlt der Zusatz Box, denn sowohl die “kleinere” Archivista K2 als auch Archivista Everest bieten im Archivista-Kosmos eine bisher nie dagewesene Leistung an.

So wird bereits Archivista K2 mit der extrem performanten Ryzen 3950 CPU ausgeliefert (16 CPU-Kerne, 32 Threads). Archivista K2 enthält überdies eine performante Grafikkarte (Radeon X580 mit 8 GB RAM bzw. 2304 GPU-Kerne). Fairerweise muss an dieser Stelle angeführt werden, dass die 2304 GPU-Kerne (Mini-Prozessoren der Grafikkarte) der CPU das Wasser bei weitem nicht  reichen können.

Nun konnte z.B. die Texterkennung Tesseract 3.05 erfolgreich mit OpenCL (Nutzung der GPU-Kerne) übersetzt werden, der Zeitgewinn allerdings war äusserst marginal (< 1 Prozent). Damit sei nicht gesagt, dass mit geeigneter Software (z.B. Blender 2.8x) die Leistung nicht gesteigert werden könnte, doch gemäss Blog.render.st ergeben selbst zwei je ca. 1000 USD teure NVidia K80 Boards “nur” einen Zuwachs um ca. 80 Prozent beim Rendern. Dies im übrigen bei zwei Xeon E5-2670 v2 mit je 40 Threads. Die 2 CPUs sind insgesamt langsamer als eine Ryzen 3950X (Passmark-Wert von 2×15026 gegenüber 35634),

Damit dürfte der Leistungsgewinn nochmals markant kleiner ausfallen, abgesehen davon kosten die entsprechenden Grafikkarten um Faktoren mehr als der in Archivista K2 verbaute Prozessor. Ferner laden 2×300 Watt (Tesla-Karten) gegenüber 1×105 Watt (Ryzen 3950X) Stromaufnahme einfach nicht weiter zum Rendern mit GPUs ein. Trotzdem ist eine gute Grafikkarte (z.B. beim Editieren von 4K-Filmen) sinnvoll, da das Preview nahezu in Echtzeit erfolgen kann.

Zurück zu Archivista K2 bzw. zum Messen der OCR-Erkennung mit Tesseract. Als Referenz dient das Archivista-Handbuch gemäss Testumgebung Linux-Vortrag aus dem Jahre 2015. Die aktuelle Messung ergab (getestet mit jeweils 820 Seiten) eine durschnittliche Leistung von 14.6 Seiten pro Sekunde. Dies ergibt eine Tagesleistung von ca. 1.25 Mio Seiten pro Tag. Zum Vergleich, mit dem damaligen 48-Kerne ARM-Cluster konnten ca. 0.25 Mio Seiten pro Tag abgearbeitet werden.

Darüber hinaus bietet Archivista K2 4K-Rendering (Schneiden von Filmen) unter Echtzeit an. Unter Echtzeit bedeut: 1 Minute 4K-Material wird in ca. 50 Sekunden gerendert. Damit dies klappt, müssen in Kdenlive alle 32 Threads aktiviert werden. Archivista K2 eignet sich aber auch bestens für die Virtualisierung.

Dank 16 CPUs und 32 Threads sowie 128 GByte RAM kann mit Leichtigkeit eine zweistellige Anzahl von Rechnern virtualisiert werden (seblstverständlich betriebssystemunabhängig Windows wie Linux). Die entsprechende ArchivitsaVM Lizenz Budget Light ist im Grundpreis enthalten. Abgerundet wird das Angebot durch ArchivistaDMS PilatusV (bis 200’000 Dokumente, Lizenz für 1 Jahr).

Für all jene, welche sich mehr für die Innereien von Archivista K2 interessieren, hier die Eckdaten der ArchivistaK2 auf einen Blick: Ryzen 3950X mit 128 GB RAM, Radeon X580 8GB mit 2xHDMI, 2xDisplayPort, 1xDVI, 1×2 TB NVME-Disk (ca. 4 GB Durchsatz pro Sekunde), 2×14 TB Festplatten (mit oder ohne Raid1), Kühlung CPU mit Speziallüfter, Gewicht: ca. 8 Kg. Fertig montiert, abholbereit in Egg für sFr. 7990.– (inkl. MwSt).

Im Preis enthalten sind ArchivistaVM Budget Light ArchivistaVM (sFr. 177.75) sowie ArchivistaDMS PilatusV (sFr. 3877.20). Optional erhältlich ist ein Wartungsvertrag für sFr. 1590.– pro Jahr. Dieser umfasst alle Updates, Support innert 8 Std. Businesszeit (erste 3 Std. kostenfrei), eine Austauschgarantie (Bring-In) über sämtliche Komponenten ebenfalls in 8 Std. Businesszeit). Lieferzeit: 2-3 Werktage, sofern Komponenten verfügbar.

Archivista Everest: Leistung (fast) ohne Limiten

Kurz nach der Fertigstellung von Archivista K2 veröffentlichte AMD anfangs Februar mit der Ryzen 3990X eine CPU mit 64 Kernen (128 Threads). Abgesehen davon, dass die Ryzen 3990X die derzeit schnellste CPU der Welt ist, darf die Frage gestellt werden, wer benötigt dieses Mass an Leistung auf bzw. unter dem Desktop?

Wie eingangs bereits erwähnt, Desktop und Server verschmelzen immer mehr. So werden z.B. multimediale Inhalte lokal bearbeitet, benötigen gleichzeitig aber auch hohe Ressourcen (die bisher im Server-Umfeld angesiedelt waren) bei der Verarbeitung. Archivista Everest bietet sich für alle jene an, denen die Leistung von Archivista K2 nicht reicht.

Die Ryzen 3990X bietet 64 CPU-Kerne mit 128 Threads. Dies ist viermal mehr, als bei Archivista K2. Bedingt durch die leicht tiefere Taktfrequenz bietet Archivista Everest nicht exakt viermal mehr Leistung, doch beträgt der Zuwachs bei Archivista Everest im Vergleich zu Archivista K2 immerhin ca. 300 Prozent. Dies unter der Voraussetzung, dass die entsprechenden Applikationen 128 Threads zu nutzen wissen.

Prominente “Fehlanzeige” bildet hier leider aktuell Kdenlive, Rendern mit 128 Threads arbeitet nur ca. 20 Prozent schneller als bei Archivista K2 mit 32 Threads. Ein Blick auf die Prozessorauslastung (Konsolenprogramm top) zeigt, dass mehr als 3200 CPU-Prozente nur äusserst selten abgerufen werden. Bekanntlich rendert Kdenlive mit dem MLT-Framework. Immerhin, in den letzten 2 Monaten konnte ein Leistungszuwachs von ca. 50 Prozent verbucht werden.

Es besteht also Hoffnung, dass die 128 Threads in naher Zukunft effizient zum Rendern mit Kdenlive verwendet werden können. Angeführt werden muss hier auch, die Ryzen 3990X ist noch nicht einmal seit 30 Tagen auf dem Markt, etwas (mehr) Zeit für Anpassungen ist dann und wann unumgänglich, um das Maximum aus der Hardware herauszuholen.

Immerhin, dank unseren Arbeiten um den OCR-Cluster im Jahre 2015, lässt sich die Leistung in ArchivistaDMS bereits jetzt schon über alle 128 Threads abrufen. Im Vergleich zu Archivista K2 konnten die 820 Seiten der Handbuchvorlage gemäss Linux-Vortrag 2015 in unter 20 Sekunden abgearbeitet werden. Dies ergibt eine Leistung von 41 farbigen Textseiten pro Sekunde (!). Hochgerechnet pro Tag kann Archivista Everest weit über 3.5 Mio Seiten verarbeiten.

Dies ist immerhin vierzehn mal mehr als der OCR-Cluster aus dem Jahre 2015. Und ja, selbstverständlich ist der Archivista OCR-Cluster bzw. Archivista Everest nicht an einen Rechner gebunden, sondern lässt sich fast beliebig erweitern.

Die gleiche Situation ergibt sich auch bei ArchivistaVM. Dank den internen NVME-Disks (PCIv4) steht pro Disk ein Durchsatz über ca. 4 GByte pro Sekunde zur Verfügung. Bereits auf der Hauptplatine sind zwei Anschlüsse für diese Disks vorhanden. Zudem stehen zwei weitere Kartensteckplätze zur Verfügung, die nochmals je vier Disks aufnehmen könnten. Alternativ und/oder additiv können auch 40 oder 100 GBit-Netzwerkkarten eingebaut werden.

Eckdaten Archivista Everest: Ryzen 3990X mit 64 CPUs bzw. 128 Threads. 256 GByte RAM, Radeon X580 8GB mit 2xHDMI, 2xDisplayPort, 1xDVI, 1×2 TB NVME (4 GByte Durchsatz Sekunde, erweiterbar bis auf zehn NVME-Disks). 2×14 TB konventionelle Platten (alternativ auch 6 x bis zu 4 TB SSD), integrale Wasserkühlung. Gewicht: ca. 15 Kg. Fertig montiert, abholbereit in Egg für sFr. 14990.– (inkl. MwSt).

Im Preis enthalten sind ArchivistaVM Budget Light ArchivistaVM (sFr. 177.75) sowie ArchivistaDMS PilatusV (sFr. 3877.20). Optional erhältlich ist ein Wartungsvertrag für sFr. 2990.– pro Jahr. Dieser umfasst alle Updates, Support innert 8 Std. Businesszeit (erste 6 Std. kostenfrei), eine Austauschgarantie (Bring-In) über sämtliche Komponenten ebenfalls in 8 Std. Businesszeit). Lieferzeit: 2-3 Werktage, sofern Komponenten verfügbar.

Sowohl Archivista K2 als auch Archivista Everest können ab sofort bei uns bestellt werden. Wer die entsprechenden Systeme Live in Aktion sehen möchte, meldet sich am besten für einen OpenFriday an. Geplant ist zudem, die beiden Rechner (und vielleicht auch noch einige andere ArchivistaBoxen) in einem kurzen Video zu präsentieren.

Mehr Power auch für AVMultimedia und ArchivistaBox

Grundlage all unserer Systeme bildet die Open Source Linux-Distribution AVMultimedia, die bei osdn.net bzw. sourceforge.net jederzeit frei bezogen werden kann. Selbstverständlich lassen sich dabei auch eigene Systeme auf der Basis der Ryzen 3950X und 3990X aufbauen.

Erwähnt an dieser Stelle sei, dass für Archivista K2 und Archivista Everest das Booten über NVME implementiert werden musste, weil NVME eine eingene Datenträgerkategorie unter Linux bildet, die bisher weder von den ArchivistaBoxen noch von AVMultimedia unterstützt wurde.

Mit dem gestern veröffentlichen Release steht diese Funktionalität uneingeschränkt bei AVMultimedia zur Verfügung. Optional kann NVME auch auf unseren ArchivistaBox-Systemen eingesetzt werden. Das aktuelle Release von all unseren Lösungen beruht auf dem Kernel 5.4.22.

« Frei mit “Android”Klein, aber oho »