© DANIEL CONSTANTE/Shutterstock.com
NVIDIA hat in den letzten Jahren einiges getan, um zahlreiche Technologien voranzutreiben. Der GPU-Hersteller hat sich zu einer Art Avantgarde für künstliche Intelligenz und maschinelles Lernen entwickelt. Dies ist zum Teil der Entwicklung ihrer Tensor-und CUDA-Kerne zu verdanken. Aber was ist der Unterschied zwischen den beiden dieser Technologien? Beide können dazu beitragen, die für KI-und ML-Prozesse erforderliche Verarbeitung zu beschleunigen, aber sind sie wirklich so unterschiedlich?
Werfen wir einen Blick auf die Technologie und Details hinter diesen beiden Verarbeitungshilfen.
Tensor Core vs. CUDA Core: Direkter Vergleich
Tensor-Core vs. CUDA-Core: Was ist der Unterschied?
Tensor-und CUDA-Cores zeichnen sich beide dadurch aus, dass sie proprietäre Technologie sind, die von NVIDIA entwickelt wurde. Ihre allgemeinen Anwendungsfälle könnten jedoch unterschiedlicher nicht sein. Werfen wir einen Blick auf einige der Hauptunterschiede zwischen den Technologien.
Anwendungsfälle
CUDA-Kerne sind seit der Einführung der Maxwell-Reihe im Jahr 2014 ein Grundsatz der NVIDIA-GPU-Reihe. Sie stellen eine Software-Überwachungsschicht für den Zugriff bereit und eignen sich gut zur Beschleunigung der grafischen Verarbeitung. Sie können CUDA-Kerne in Aktion mit jedem PC sehen, auf dem eine moderne NVIDIA-GPU läuft, von der GTX 900-Serie bis zur modernen RTX 4000-Kartenserie. Es wurde nicht ausschließlich für maschinelles Lernen oder die Verarbeitung künstlicher Intelligenz entwickelt, kann aber im Vergleich zur reinen CPU-gebundenen Verarbeitung mit einer gewissen Leichtigkeit damit umgehen.
CUDA-Kerne Power-PCs mit NVIDIA-Grafikprozessoren wie der GTX 980MX.
©Hairem/Shutterstock.com
Tensorkerne hingegen werden gebaut zum Verarbeiten und Zerkleinern großer Berechnungen. Sie wurden von NVIDIA entwickelt, um im Vergleich zu CUDA-Kernen eine robustere mathematische Verarbeitung bereitzustellen, und das zeigt sich darin, wie sie einzelne mathematische Operationen angeht. Während ein CUDA-Kern eine einzelne Berechnung in einem Taktzyklus bewältigen kann, kann der Tensor-Kern eine Vielzahl davon bewältigen. Dies ist dem Tensorkern zu verdanken, der Berechnungen über Matrizen handhabt und mehrere aufeinanderfolgende oder parallele Berechnungen in einem einzigen Taktzyklus durchführt. Wie Sie sich vorstellen können, eignen sich Tensorkerne daher hervorragend für die KI-und ML-Entwicklung.
Es gibt sicherlich unternehmenstaugliche GPUs, die von NVIDIA für größere Grafik-und Verarbeitungsaufgaben bereitgestellt werden, aber wenn Sie im KI-Geschäft tätig sind, werden Sie die Dinge über Tensor-Kerne erledigen wollen.
Maschinelles Lernen und KI
Maschinelles Lernen und künstliche Intelligenz haben in den letzten Jahren einige große Furore gemacht. Es gab ständig Nachrichten über die jüngsten Entwicklungen und Implementierungen dessen, was einst wieder eine Randtechnologie war. KI ist in einer ganzen Reihe von Branchen groß, sie dient dem Kundenservice für den Einzelhandel und die Börse und treibt die autonomen Fahrsysteme an, die moderne Autos antreiben. Wenn ein KI-Entwickler die Verarbeitung nicht an einen Cloud-basierten Managed Service Provider auslagert, stehen die Chancen gut, dass er NVIDIA-basierte Prozessoren verwendet.
Vor der Entwicklung und Bereitstellung von Tensorkernen wurde dies von CUDA-Kerne. Obwohl CUDA-Kerne diese Prozesse aufgrund ihrer Funktion viel schneller verarbeiten als jede native CPU, ist dies keine ideale Lösung. Der Tensorkern wurde ausschließlich von NVIDIA entwickelt, um Hochgeschwindigkeitsverarbeitung und-berechnungen für KI-und ML-orientierte Entwicklung bereitzustellen. Sie handhaben keine grafische Beschleunigung, aber für ihre beabsichtigte Funktion ist es kaum ein Gedanke.
Die KI-Entwicklung verarbeitet große Datenmengen und massive Berechnungen und war daher ein zeitaufwändiger Prozess. Tensorkerne verarbeiten diese Datensätze und Zahlen mit Souveränität. CUDA-Kerne können damit sicherlich umgehen, aber sie sind keine ideale Lösung dafür. Beide Kerne können intensive numerische Berechnungen mit Geschwindigkeiten bewältigen, die weit über Ihrer durchschnittlichen CPU liegen. Wenn Sie jedoch Ihr eigenes benutzerdefiniertes KI-Modellierungs-Rig bauen möchten, sind Tensor-Kerne der richtige Weg für eine optimale Leistung.
Für KI-Modellierung und maschinelles Lernen bieten Tensorkerne die beste Leistung.
©sdecoret/Shutterstock.com
Präzision
Präzision beim Rechnen bezieht sich auf das Maß an Genauigkeit, das durch Berechnungen numerisch dargestellt wird. Bei Objekten wie Ihrem normalen Taschenrechner ist die Genauigkeit nicht hoch, da es im Vergleich zu einem modernen PC ein ziemlich anämisches Gerät ist. CUDA Cores sind überwältigend präzise oder hochgenau in ihrer Darstellung numerischer Berechnungen. Dies steht in krassem Gegensatz dazu, wie Tensorkerne mit Präzision umgehen. Mixed Precision ist der Name des Spiels für Tensorkerne, und dies hat Vorteile für den beabsichtigten Anwendungsfall.
Tensor-Kerne führen automatisch gemischte Präzisionsmodelle durch und beschleunigen Berechnungen mit hoher Geschwindigkeit. Dies bezieht sich auf einen Begriff namens Rechengeschwindigkeit, eine Metrik, die daran gemessen wird, wie schnell ein Prozessor Berechnungen durchführen kann. Tensorkerne verwenden Matrizen gemischter Präzisionsmodelle, um die Rechengeschwindigkeit schnell zu beschleunigen. Umgekehrt können CUDA-Kerne nur eine einzige Berechnung pro Taktzyklus durchführen.
Wenn die Genauigkeit der Zahlen für Ihre Arbeit wirklich wichtig ist, dann sind CUDA-Kerne die bessere Wahl. Für diejenigen, die riesige Mengen an Berechnungen erledigen möchten, sind Tensorkerne die einzig logische Wahl.
Tensor Core vs. CUDA Core: Must-know Facts
Tensor Core
NVIDIAs Reaktion auf die Verwendung ihrer GPUs in der KI-EntwicklungDer schnellste Weg, große Datenmengen ohne Benutzereingaben zu verarbeiten HardwareDie vierte Generation von Hardware unterstützt sechs gleichzeitige Präzisionsmodelle. Tensor-Kerne unterstützen Raytracing auf NVIDIA-Hardware.
CUDA-Kerne
Eine der treibenden Kräfte hinter modernen NVIDIA-GPUs für die Grafikverarbeitung. Trotz langsamerer Berechnungszeit funktioniert es mit Tausenden von parallelen KernenCUDA-Kerne gut geeignet für kryptografische Hashes, physikalische Berechnungen und grafisches Rendern von Spielen
Tensor Core vs. CUDA Core: Welchen sollten Sie verwenden?
Bei einem so berauschenden Thema im Hinterkopf, was passt Deine Bedürfnisse? Wenn Sie nur etwas suchen, um Ihre Spiele großartig aussehen zu lassen, dann werden Sie gleichzeitig ein gewisses Maß an Tensor-Core und CUDA-Core nutzen. Dies gilt doppelt, wenn Ihr Gaming-Rig eine moderne RTX-Grafikkarte ausführt und Raytracing durchführt. Im Zusammenhang mit der grafischen Beschleunigung arbeiten sie eng zusammen, erfüllen jedoch sehr unterschiedliche Aufgaben.
Wenn Sie nach Hardware suchen, um Ihre KI-Rigs zu beschleunigen, dann sind Tensorkerne eine gute Wahl. NVIDIA hat dies erkannt und stellt jetzt Spezialkarten her, auf denen Tensorkerne ausgeführt werden, wie die NVIDIA A100. Mit atemberaubenden 80 GB VRAM kann diese Hot-Rod-Karte der Enterprise-Klasse bis zu 2 TB Daten pro Sekunde verarbeiten, um immer komplexere KI-und ML-Modelle auszuführen.
CUDA-Kerne haben immer noch ihren Platz in der KI und sind sehr schnell, wenn Sie nicht mit der Entwicklung massiver KI-Modelle beschäftigt sind. Für diejenigen, die unabhängig recherchieren möchten oder einen kleineren KI-Shop betreiben, eignen sich High-End-Consumer-Karten möglicherweise genauso gut für die Abwicklung von Aufgaben. Sie brauchen vielleicht mehr Zeit, aber sie können ihr Gewicht gekonnt ziehen.
Tensor Core vs. CUDA Core: Was ist der Unterschied? FAQs (Frequently Asked Questions)
Werden Tensor-Kerne und CUDA-Kerne für andere Zwecke verwendet?
Tensor-Kerne und CUDA-Kerne könnten sehr leicht mathematisch genutzt werden schwere Konzepte wie kryptografisches Hashing. Hashing erfordert intensive Mittel, um mit den riesigen Zahlen umzugehen, die zum Seeding des Hashs selbst verwendet werden. Daher ist ein schneller und präziser externer Prozessor nur ein Vorteil für das Hashing.
Abgesehen davon werden Sie sehen, dass CUDA-Kerne und Tensor-Kerne gleichermaßen für die grafische Beschleunigung und das Hinzufügen aller Glocken verwendet werden und Pfeifen, die Sie von modernen PC-Spielen erwarten.
Wofür kann KI verwendet werden?
Abgesehen von schwereren Hebevorgängen wie Automatisierung und autonomem Fahren sieht KI Verwendungsmöglichkeiten in vielen anderen Bereichen. Die häufigste Verwendung, die Sie möglicherweise sehen, ist, wenn Sie professionell in den Medien arbeiten. Wenn Sie jemals einen Rauschunterdrückungsalgorithmus genutzt haben, haben Sie bei Ihrer Arbeit eine Art KI verwendet.
Spam-Filter und die automatische Aufgabenbehandlung für E-Mails arbeiten ebenfalls mit KI. Benutzer können das Modell sogar selbst trainieren, indem sie zusätzliche Nachrichten angeben, die Spam oder schädlich sind, damit das Modell nützliche Nachrichten besser erkennen kann.
Können Heimbenutzer in KI arbeiten?
Die Arbeit an KI und ML wurde sicherlich von Hobbyforschern durchgeführt. Sie haben vielleicht nicht die Mittel eines durchschnittlichen großen Technologiekonglomerats, um sie für die Hardware auszugeben, aber viele haben mit durchschnittlicher Hardware der Verbraucherklasse gut zurechtgekommen.
Die Verarbeitung wird zweifellos viel mehr Zeit in Anspruch nehmen, aber wenn Sie es getan haben die Geduld, die man bei dieser Art von Arbeit aufbringen kann, während man Schweiß trägt.
Bietet AMD etwas Ähnliches wie Tensor-Kerne?
Tensor-und CUDA-Kerne sind beides proprietäre Technologien, die von NVIDIA entwickelt wurden, und als solche gibt es auf dem Markt nicht wirklich viel Vergleichbares. Es gibt sicherlich Hardwareeinheiten der Enterprise-Klasse, die ausschließlich für die Verarbeitung von KI-Modellen hergestellt wurden, aber sie sind extrem teuer.
Im Heimbereich nutzen AMD-GPUs nicht dieselben Technologien für Raytracing oder dynamisches Schärfen der Auflösung. AMD hat möglicherweise andere Optionen, um das Bild zu schärfen und eine größere Wiedergabetreue zu bieten, aber nichts, was direkt mit dem vergleichbar ist, was NVIDIA derzeit auf dem Markt hat.
Haben Tensorkerne andere Verwendungsmöglichkeiten?
Obwohl sie hauptsächlich für die KI-Modellierung entwickelt wurden, befanden sich Tensorkerne auf den neuesten NVIDIA-GPUs. In einer grafischen Beschleunigungseinstellung sind sie nicht ideal für Dinge wie Polygone oder Anti-Aliasing. Stattdessen konzentrieren sie sich darauf, Dinge wie Raytracing bereitzustellen. Das dynamische Wechseln der Auflösung ist ein weiterer Bereich, in dem sie sich auszeichnen können, da sie ausreichend Overhead bieten, um konsistente Frameraten zu handhaben und aufrechtzuerhalten.