Seit seiner Einführung im Jahr 1958 ist der integrierte Schaltkreis oder Computerchip eine der größten Errungenschaften der Menschheit. Maschinelles Lernen und KI sind die aktuellen Buzzwords du Jour im Silicon Valley, aber in der praktischen Anwendung geht es nur langsam voran.
Der größte Computerchip der Welt ist eine Lösung für ein Problem, von dem Cerebras aus dem Silicon Valley hofft, dass es sich ideal für die anstehende Aufgabe eignet. Die Wafer-Scale-Engine ist eine technische Meisterleistung, eine einzige große Siliziumplatte.
Sein beabsichtigter Zweck ist es, eine dedizierte Verarbeitungseinheit zu sein, die für das KI-Training gedacht ist. Aktuelle Modelle und herkömmliche Methoden mit CPUs und GPUs können Wochen dauern, aber die WSE verspricht, nur wenige Minuten zu dauern.
Cerebras Systems
Cerebras Systems ist ein amerikanisches Unternehmen für künstliche Intelligenz.
Das Unternehmen hat seinen Sitz in Sunnyvale, Kalifornien. Seit seiner Gründung im Jahr 2015 hat Cerebras erfolgreiche Startfinanzierungsrunden durchlaufen, wobei die Serie-E-Runde 2019 abgeschlossen wurde. Ihre aktuelle Bewertung beträgt 2,4 Milliarden US-Dollar, und Satellitenanlagen in Japan und Indien haben sie zu einem weltweiten Unternehmen gemacht.
Cerebras findet sich als Vorreiter für KI wieder und entwickelt speziell angefertigte Maschinen für maschinelles Lernen und das Training von KI-Modellen. Das Unternehmen ist derzeit bereit, große Durchbrüche beim Trainieren von KI-Modellen zu erzielen, da sein Supercomputer Andromeda sechzehn seiner riesigen Computerchips für extreme Geschwindigkeiten kombiniert.
Die Wafer-Scale-Engine
Der größte Computerchip der Welt entstand aufgrund von Ineffizienzen bei der Verwendung von CPUs und GPUs zum Trainieren von KI-Modellen. Die Theorie besagt, dass diese Hardware für einen bestimmten Anwendungsfall gebaut wird. Daher ist es ineffizient, sie für maschinelles Lernen umzufunktionieren.
Die Wafer-Scale Engine ähnelt in ihrer Funktion einer Tensor-Verarbeitungseinheit oder einer KI-zentrischen integrierten Schaltung. Es befindet sich in seiner zweiten Iteration, wobei das WSE-2 850.000 Kerne und 2,6 Billionen Transistoren auf einer 8,5-Zoll-Siliziumplatte bedient.
Datenparallelisierung ist das primäre Mittel zur Berechnung. Es verwendet mehrere parallele Streams über seine Hunderttausende von Kernen, um Anweisungen gleichzeitig auszuführen. Der Speicherdurchsatz ist enorm schnell, wobei die 40 GB des integrierten SRAM mit 20 Petabyte pro Sekunde übertragen.
Ein WSE-2 kann bis zu 20 Milliarden Parameter trainieren, eine erstaunliche Menge, und das in wenigen Minuten. Tatsächlich ist es in der Lage, KI-Modelle zu trainieren und zu bauen, die dichter und komplexer sind, als es die Anwendungsfälle zulassen. Andromeda, der Supercomputer von Cerebras, verschmilzt 16 der WSE-2-Chips zu einer einzigen Einheit, um die Parallelisierung exponentiell zu steigern.
Das WSE-2 treibt Cerebras CS-2 an, einen speziell entwickelten KI-Computer. Der CS-2 bietet die Leistung eines KI-Clusters in einem Paket, das viel kleiner ist als seine Mitbewerber und gleichzeitig eine größere Leistung bietet.
Wofür wird es verwendet?
Die Wafer-Scale-Engine ist für KI-Modelle gedacht. Dies sind nicht die einfachen Einstiegsbenutzer, die auf einer handelsüblichen GPU oder CPU ausgeführt werden können. Stattdessen zeichnet sich die WSE durch ihre Fähigkeit aus, massive KI-Modelle auszuführen.
Aktuelle KI-Modelle gehen im Durchschnitt in die Hunderte von Millionen an Parametern. Einige Ausreißer, wie die Implementierung eines Billionen-Parameter-Modells durch Google, erfordern enorme Ressourcen zum Trainieren.
Der Anwendungsfall der WSE beschleunigt diesen Prozess. Es gibt zwar spezialisierte Verarbeitungseinheiten für KI-Modelle, aber sie haben nicht den gleichen Durchsatz wie die WSE. TPUs können eine Aufgabe in Tagen erledigen, für deren Lösung die WSE möglicherweise Minuten benötigt. Es hängt von der Komplexität des Modells ab.
Eine kurze Geschichte des Computerchips
Ein Computerchip ist eine kleine elektronische Schaltung.
Computerchips oder integrierte Schaltungen wurden erstmals 1958 von Jack Kilby, einem Ingenieur von Texas Instruments, entwickelt. Kilby hatte ein Jahr zuvor das Konzept einer monolithischen Struktur vorgeschlagen, die einen Halbleiter enthielt, der in einer Reihe von Siliziumwafern eingeschlossen war.
Integrierte Schaltungen wurden zuvor von Werner Jacobi konzipiert. International bestand wenig Interesse daran, seine Idee zur Serienreife zu entwickeln. Die Air Force setzte den integrierten Schaltkreis nach seiner Einführung schnell ein.
Die vom Militär eingesetzte Zukunftstechnologie nahm die neue Innovation schnell an. Nur knapp 11 Jahre später würden Computerchips auch in der Apollo-Weltraummission landen. Fairchild Semiconductor war maßgeblich an der Entwicklung von Kilbys Idee zu etwas sofort Umsetzbarem beteiligt.
Es wurden die Germaniumwafer des Originaldesigns genommen und auf die effizienteren Siliziumwafer umgestellt, die heute verwendet werden. Integrierte Schaltkreise haben die Elektronik revolutioniert und es ermöglicht, immer kleinere Transistoren und Halbleiter auf Wafer zu laden.
Schneller Vorlauf bis heute, und dieses wunderbare Stück Technologie ist in allen Facetten des Lebens zu finden. Computerchips sind überall, von Ihrem Smartphone bis zu Ihrem Auto. Sie prägten die Form des Computing für die kommenden Jahre nachhaltig. Die Dinge gingen von primitiven Rechenmaschinen, die massive Installationen waren, zu modernen Laptops, die heute die Größe eines Notebooks haben.
Computerchips und KI-Modellierung
Das Trainieren von KI-Modellen ist eine schwierige Aufgabe für moderne Hardware. Ein effektives KI-Training hängt von einigen verschiedenen Faktoren ab. Daher ist ein hoher Durchsatz auf einem Computerchip eine der wichtigsten Komponenten. Hochdurchsatz ist, wie schnell ein Chip Daten verarbeiten und übertragen kann.
Dies beschleunigt die Aufgabe, ein Modell mit den Datensätzen und unzähligen Parametern zu trainieren, die für die Erstellung eines effektiven Modells erforderlich sind. GPUs übernehmen diese Aufgabe im Verbraucher-und Bastlerbereich. Diese sind für die Aufgabe nicht so geeignet, wie man hoffen würde.
Am geschäftlichen Ende des Spektrums können Tensor-Verarbeitungseinheiten in der Cloud verwendet werden. Dadurch wird der Bedarf an spezialisierter Hardware auf einem Geschäftscampus auf ein Minimum reduziert, aber sie benötigen immer noch Zeit, um die zahlreichen Aufgaben und Datensätze zum Trainieren eines Modells zu verarbeiten.
Cerebras und die WSE arbeiten auf die gleiche Weise, aber da das gesamte System in einen einzigen Chipsatz integriert ist, ist es in der Lage, die Zahlen und Prozesse effizienter zu verarbeiten. Idealerweise befinden sich mehrere schnelle Kerne auf dem Computerchip, die eine parallele Verarbeitung und die Nutzung mehrerer Datenströme ermöglichen.
Server-CPUs der Enterprise-Klasse, die mit GPUs zusammenarbeiten, können diese Aufgabe erfüllen, aber System-on-a-Chip oder SoCs können dies zu einem viel schnelleren Prozess machen. Dies ist zum Teil der kürzeren Reisezeit zu verdanken, selbst bei etwas so Riesigem wie der Wafer-Silicon Engine.
Was kommt als nächstes für Cerebras?
Cerebras wächst immer noch, nachdem es mehrere erhalten hat Finanzierungsrunden. Der Hersteller ermöglicht den Einsatz von Andromeda in einer Vielzahl von Branchen. Andromeda wird im Gesundheits-, Energie-, Regierungs-, Finanzdienstleistungs-und Social-Media-Sektor eingesetzt. Ihre Vermietung von Cloud-bereitgestellter Andromeda-Zeit ist ein großer Segen für diejenigen, die ihre KI-Entwicklung vorantreiben möchten.
Cerebras hat kürzlich begonnen, mit Green AI Cloud zusammenzuarbeiten, einer der führenden Supercomputing-Plattformen in Europa. Die WSE2 bietet eine Alternative zu Mainstream-GPUs wie der Nvidia A100, die es Green AI Cloud ermöglicht, einen negativen CO2-Fußabdruck beizubehalten, während Benutzer ihre Leistung nutzen können.
Entdecken Sie die häufig gestellten Fragen (FAQs) zum größten Computerchip der Welt
Wie groß ist die Wafer-Silicon-Engine?
Die WSE ist einen halben Quadratfuß groß und in dieser gewaltigen Größe füllt es fast eine Million einzelne Kerne und 40 GB RAM. Es ist ein spezialisiertes Stück Hardware im Vergleich zu typischen CPUs, sogar zu denen der Enterprise-Klasse, die Sie in einem Server-Rack finden würden.
Es packt eine Menge Funktionen in die massive Siliziumplatte. Es verfügt über eine exponentiell größere Anzahl von Kernen als selbst die AMD Threadripper, die für den geschäftlichen Einsatz gedacht sind.
Warum trainieren Unternehmen KI-Modelle?
Da gibt es eine ganze Reihe aus verschiedenen Gründen, aus denen ein Unternehmen ein KI-Modell handeln möchte. Ein geschäftsgeneriertes KI-Modell kann die Effizienz steigern, Kundeneinblicke liefern und einen automatisierten Kundenservice ermöglichen, bevor ein Live-Agent entsendet wird.
Mit ihren eigenen Datensätzen können Unternehmen einem Modell ihre eigenen Vorurteile geben, z. was für bestimmte Branchen von Vorteil sein kann. Einige Unternehmen verwenden auch KI-Modelle mit Anbieterdaten, um Vorschläge und Vorhersagen für Materialpreise zu liefern.
Wie viel kostet eine WSE?
Wafer-Silizium von Cerebras Der Motor ist nicht für den privaten Kauf verfügbar. Wenn Sie ein Unternehmen sind, das seine Cluster-Rechenmodelle oder Cloud-Modelle in Ihre KI-Forschung integrieren möchte, stehen auf der offiziellen Website von Cerebras Optionen zur Verfügung.
Das WSE und die Computer, die es antreibt, sind nicht ideal für den Hobbygebrauch So wie es aussieht, da nur sehr wenige Heimlabore Datensätze in der Größe und im Umfang der meisten Anwendungsfälle des Computerchips verwenden werden.
Warum ist die Wafer-Silicon Engine so groß? ?
Die Größe des WSE hängt davon ab, wie viel sich auf dem Wafer selbst befindet. Es gibt 850.000 einzelne Kerne auf dem Chip, die ziemlich viel Platz brauchen.
Wer stellt die WSE-Chips her?
Cerebras verwendet den 7-nm-Prozess der Taiwan Semiconductor Manufacturing Company für die WSE selbst. Die Verbesserung des Herstellungsprozesses hat dazu geführt, dass Cerebras in der Lage ist, fast die doppelte Anzahl von Kernen auf dem Chip selbst zu packen, während er immer noch die gleichen Abmessungen beibehält.