Künstliche Intelligenz (KI) ist seit langem ein heißes Thema, aber ihre Auswirkungen auf unsere Gesellschaft und in Unternehmen werden gerade erst erkannt. KI und andere Formen von maschinellem Lernen und Deep Learning werden das Geschäft revolutionieren, sich wiederholende Aufgaben automatisieren und Ergebnisse beschleunigen – alles auf der Grundlage riesiger Datensätze.
Die Entwicklung von Deep-Learning-Anwendungen folgt im Allgemeinen einem dreistufigen Prozess:
Datenaufbereitung, bei der riesige Mengen an”Rohstoffen”in nutzbare Daten umgewandelt werdenModelltraining, bei dem Softwareprogramme darauf trainiert werden, aus den Daten eine neue Fähigkeit zu lernen Inferenz, wobei (wie impliziert) das Programm dieses neue Lernen auf neue Daten anwendet
All dies summiert sich zu einem massiven Datenwachstum. Branchenanalysten gehen davon aus, dass sich die Kapazität unstrukturierter Daten – Dateien und Objekte – in den nächsten Jahren verdoppeln oder sogar verdreifachen wird. Einer der großen Treiber für dieses Wachstum sind Anwendungsfälle für KI, maschinelles Lernen und Deep Learning.
Diese”next Ära”von Daten stellt IT-Infrastrukturleiter vor einige besondere Herausforderungen. Erstens haben die Datensätze einen Umfang und ein Volumen, das exponentiell größer ist als alles zuvor. Einige unserer Kunden, die Fahrerassistenztechnologie entwickeln – im Wesentlichen eine Form des maschinellen Lernens, insbesondere des maschinellen Sehens – haben in nur wenigen Jahren über ein Exabyte an Daten generiert. Die Skala ist also riesig.
Darüber hinaus stellen Deep-Learning-Anwendungen enorme Anforderungen an die Leistung der Speicherinfrastruktur. Die Verarbeitung dieser riesigen unstrukturierten Datensätze erfordert extrem niedrige Latenzen, und entscheidend ist, dass die Leistung in großem Umfang konsistent sein muss. Diskbasierte Speichersysteme, die auf seriellen Festplatten basieren, können diese Anforderungen einfach nicht erfüllen. Dies hat zu einem Wachstum bei All-Flash-Datei-und Objektspeichern geführt, und dieses Wachstum wird sich in den nächsten fünf Jahren beschleunigen, da der Preis für Flash sinkt und neue Architekturen Speichertechnologien wie Non-Volatile Memory Express (NVMe) verwenden Remote Direct Memory Access (RDMA), die verteilte Speicherarchitekturen mit extrem niedriger Latenz ermöglichen. Die Leistung von Speichersystemen muss also um Größenordnungen verbessert werden.
Zu guter Letzt – die Daten befinden sich nicht an einem Ort. Es wird außerhalb des Rechenzentrums generiert und zur Verarbeitung an einen anderen Ort verschoben. Dies kann in der Public Cloud oder in einem Rechenzentrum sein, oder es ist wahrscheinlicher, dass Teile der Datenpipeline an beiden Orten stattfinden. Daher sind die Bewegung und Verwaltung dieser Daten über ihren gesamten Lebenszyklus hinweg eine Hauptüberlegung. Und zunehmend werden diese Datensätze jahrzehntelang aufbewahrt – nicht fünf oder sieben Jahre. Insbesondere die großen Datensätze, die für die Datenaufbereitung verwendet werden, sowie die Modelle selbst können Jahrzehnte oder länger gespeichert werden, falls Modelle neu trainiert werden müssen.
All diese Faktoren haben Legacy-Speicherarchitekturen bereits unter Druck gesetzt. Die meisten unstrukturierten Daten der Welt werden auf Systemen gespeichert, die vor über 20 Jahren entwickelt wurden. Diese Systeme wurden zu einer Zeit entwickelt, als die meisten der erstellten Dateien von Menschen und nicht von Geräten erstellt wurden und die Vorstellung von Billionen von Dateien und Objekten und Exabytes von Daten, die jahrzehntelang gespeichert werden sollten, noch nicht in Sicht war.
Für Entscheidungsträger der IT-Infrastruktur: Wenn Ihr Unternehmen digitale Transformationsinitiativen oder neue Geschäftsinitiativen auf der Grundlage von künstlicher Intelligenz, maschinellem Lernen oder Deep Learning hat, könnte Ihre Datenspeicherinfrastruktur Ihr Unternehmen behindern. Dies kann die Produktivität der Datenwissenschaftler, Ersteller von Inhalten und Analysten beeinträchtigen, die sich jeden Tag auf diese Daten verlassen, um Ergebnisse zu erzielen. Und es führt definitiv dazu, dass Sie unfaire Kompromisse eingehen, um zu versuchen, es zum Laufen zu bringen. Unternehmen Sie jetzt die nächsten Schritte, um zu beurteilen, wie eine Architektur der nächsten Generation aussehen sollte, um die nächste Generation von KI-und Deep-Learning-Anwendungen voranzutreiben.
Bildnachweis: Photon photo/Shutterstock
Eric Bassier ist Senior Director of Products bei Quantum.