AWS SageMaker ist ein vollständig verwalteter Dienst, der es Entwicklern und Datenwissenschaftlern ermöglicht, Modelle für maschinelles Lernen zu erstellen, zu trainieren und bereitzustellen. Die Behauptungen über die Plattform sind beeindruckend: eine zehnfache Steigerung der Teamproduktivität, 54 % niedrigere Gesamtbetriebskosten, eine 40 %ige Reduzierung der Kosten für die Datenkennzeichnung und die Möglichkeit, Modelle durch eine effizientere Nutzung von GPUs bis zu 50 % schneller zu trainieren. ganz zu schweigen von der Fähigkeit, über 1 Billion Vorhersagen pro Monat zu treffen.
Hält AWS SageMaker diese Versprechen wirklich? Wir haben uns entschlossen, etwas zu recherchieren und zu sehen, ob der Hype gerechtfertigt war.
Obwohl es schwierig ist, die oben genannten genauen Zahlen zu überprüfen, scheint es, als hätte SageMaker das Potenzial, ein Game-Changer für Machine-Learning-Teams zu sein. Der vollständig verwaltete Dienst übernimmt einen Großteil der mühsamen Arbeit, die Data Scientists verlangsamen kann, wie z. B. Infrastrukturverwaltung und Skalierung, sodass Sie sich auf wichtigere Aufgaben konzentrieren können. Lohnt es sich also, SageMaker auszuprobieren? Finden wir es heraus!
6 Wissenswerte Fakten über AWS SageMaker
AWS SageMaker ist ein Software-as-a-Service, eine wichtige Machine-Learning-Komponente des Amazon Web Services-Ökosystems. Amazon hat SageMaker im Jahr 2017 eingeführt und mehrere bedeutende veröffentlicht seitdem aktualisiert. SageMaker unterstützt mehrere Programmiersprachen, darunter JavaScript, Java, Python, Go und Ruby. Sie können SageMaker in andere AWS-Apps integrieren, darunter S3, EC2 und Redshift. Es wird von zahlreichen Unternehmen zum Trainieren neuronaler Netze und verwendet Nutzung von Modellen für maschinelles Lernen in ihren Geschäftsabläufen. Sie können SageMaker sogar für ETL verwenden, indem Sie es mit Ihrem AWS Glue-Entwicklungsendpunkt verbinden.
Was ist AWS SageMaker: Erklärung
SageMaker wurde von Amazon als Teil von Amazon Web Services entwickelt und ist ein vollständig verwalteter Service, der es Entwicklern und Datenwissenschaftlern ermöglicht, Modelle für maschinelles Lernen zu erstellen, zu trainieren und bereitzustellen. Es bietet eine benutzerfreundliche Oberfläche und lässt sich in andere AWS-Services integrieren, was es zu einer beliebten Wahl für Aufgaben des maschinellen Lernens macht.
Zu einigen alltäglichen Anwendungsfällen für AWS SageMaker gehören Dinge wie Vorhersagemodellierung. Mit anderen Worten, SageMaker kann Ihnen helfen, historische Daten zu verwenden, um Vorhersagen über zukünftige Ereignisse zu treffen.
Auf diese Weise können Sie spannende Modelle erstellen, um Benutzerempfehlungen basierend auf vergangenen Interaktionen zu personalisieren. Beispielsweise könnte ein Streaming-Dienst AWS SageMaker verwenden, um ein Empfehlungssystem aufzubauen, das Benutzern neue Filme oder Fernsehsendungen basierend auf ihrem Anzeigeverlauf vorschlägt.
NLP beschäftigt sich damit, Computern die Fähigkeit zu geben, Text und gesprochene Worte zu verstehen.
Aufgrund der Integration von SageMaker mit anderen AWS-Services können Sie auch NLP oder Natural Language Processing verwenden, um Textdaten zu analysieren und zu verarbeiten. Sie können komplexe Klassifizierungsmodelle zur Verwendung in Web-Apps erstellen. Dies kann beim Erstellen von Modellen hilfreich sein, die Eingaben von Kunden oder Benutzern klassifizieren.
Als vollständig verwalteter Dienst für maschinelles Lernen macht es SageMaker für Data Scientists und Entwickler zum Kinderspiel, Modelle zu erstellen und zu optimieren und sie dann mühelos in einer produktionsbereiten Umgebung bereitzustellen. Außerdem können Sie mit einem integrierten Jupyter-Notebook für einfachen Zugriff auf Datenquellen und Analysen problemlos in Ihre Projekte eintauchen.
SageMaker verfügt außerdem über optimierte Standardalgorithmen für maschinelles Lernen, die große Datenmengen verarbeiten und in einer verteilten Umgebung reibungslos ausgeführt werden können. Sie können Ihr Modell problemlos über das SageMaker Studio oder die Konsole in einem sicheren, skalierbaren Bereich bereitstellen. Lassen Sie uns einige der Hauptkomponenten von SageMaker durchgehen und herausfinden, warum Sie vielleicht Zeit für jede einzelne verwenden möchten.
SageMaker Studio
SageMaker Studio ist eine integrierte Umgebung für maschinelles Lernen, die Ihnen dies ermöglicht Erstellen, trainieren, implementieren und analysieren Sie Ihre Modelle in derselben Anwendung. Es bietet eine einzige webbasierte Benutzeroberfläche für die Arbeit mit Ihren SageMaker-Ressourcen, einschließlich Notebooks, Modellen und Datensätzen.
SageMaker Studio ermöglicht Ihnen das Schreiben und Ausführen von Code mithilfe von Jupyter-Notebooks. Dies sind interaktive Dokumente, die Code, Text und andere Medien mischen. SageMaker-Experimente und SageMaker-Debugger bieten zusätzliche Tools zum Visualisieren und Analysieren von Daten. Die Überwachung Ihrer Modelle in Echtzeit mit Debugger ist besonders wertvoll, um Probleme zu erkennen, bevor sie problematisch werden.
Sie finden auch viele Algorithmen und Frameworks für maschinelles Lernen wie TensorFlow, PyTorch und sci-kit-lernen. SageMaker unterstützt alle gängigen Frameworks von Haus aus. Auf diese Weise können Sie schnell mit Ihrem Projekt beginnen, ohne die grundlegenden Bausteine Ihrer Anwendung neu erfinden zu müssen.
SageMaker Autopilot
AWS SageMaker Autopilot ist ein automatisierter Dienst für maschinelles Lernen, mit dem Benutzer erstellen und Implementieren von Modellen für maschinelles Lernen. Und das alles ohne Programmier-oder Data-Science-Expertise. Es verwendet eine einfache Drag-and-Drop-Oberfläche namens SageMaker Studio Canvas, um Benutzern das Erstellen von Modellen und Vorhersagen zu erleichtern.
Sie können SageMaker Autopilot mit Daten verwenden, die in Amazon S3 oder Redshift gespeichert sind. Es bereitet Ihre Daten vor, indem es sie automatisch bereinigt, verarbeitet und in Trainings-und Testsätze aufteilt.
SageMaker Autopilot trainiert und optimiert eine Reihe von Modellen für maschinelles Lernen anhand Ihrer Daten und wählt das leistungsfähigste Modell basierend darauf aus auf Ihre Bewertungsmetrik. Sobald Sie über ein trainiertes und abgestimmtes Modell verfügen, können Sie es in einer Produktionsumgebung bereitstellen und damit Vorhersagen treffen.
SageMaker Autopilot ist eine gute Option für Benutzer, die Modelle für maschinelles Lernen erstellen möchten, dies aber nicht tun über Codierungs-oder Data-Science-Expertise verfügen. Als „Low-Code“-Lösung benötigen Sie noch ein wenig technisches Know-how, um alles zusammenzusetzen. Die benutzerfreundlichere Oberfläche ist jedoch für Neulinge einladender.
SageMaker Data Wrangler
AWS SageMaker Data Wrangler ist eine weitere ähnliche Funktion, mit der Sie importieren, analysieren, vorbereiten und „featurisieren“ können. Daten für maschinelles Lernen. Es bietet eine einfache visuelle Benutzeroberfläche, mit der Sie alltägliche Datenvorbereitungsaufgaben durchführen können, ohne Code schreiben zu müssen, und die es Ihnen auch ermöglicht, benutzerdefinierte Python-Skripte und Transformationen zu integrieren, um Ihren Datenvorbereitungs-Workflow anzupassen.
SageMaker Data Wrangler ermöglicht Ihnen den Import Daten aus Amazon S3, Redshift und Datenbanken. Sobald Sie Ihre Daten importiert haben, können Sie sie mit interaktiven Visualisierungen wie Histogrammen und Streudiagrammen untersuchen und analysieren.
Zu guter Letzt können Sie mit Data Wrangler Ihre Daten für maschinelles Lernen vorbereiten, indem Sie sie bereinigen und transformieren. Darüber hinaus behandelt es fehlende Werte und Ausreißer und erstellt einen praktischen Qualitätsbericht, der Ihnen die Ergebnisse zeigt.
Verwendung von AWS SageMaker
Sie denken vielleicht: SageMaker klingt unglaublich! Wie benutzt man es? Lassen Sie uns die Grundlagen aufschlüsseln.
Um AWS SageMaker verwenden zu können, müssen Sie ein AWS-Konto erstellen. Dies ist der einfache Teil. Sie können ein Konto erstellen, indem Sie die AWS-Website besuchen und den Anweisungen folgen. Sobald Sie ein AWS-Konto haben, können Sie eine SageMaker-Umgebung einrichten. Dieser Prozess umfasst das Erstellen einer IAM-Rolle und einer SageMaker-Notebook-Instance.
Erkunden Sie die SageMaker-Benutzeroberfläche, nachdem Sie Ihre SageMaker-Umgebung eingerichtet haben. Sie können SageMaker-Ressourcen über SageMaker Studio verwalten und Code mit einer Notebook-Instanz mit Jupyter ausführen.
Das Vorbereiten Ihrer Daten ist der erste Schritt, bevor Sie ein Modell trainieren. Dieser Prozess umfasst das Sammeln und Bereinigen Ihrer Daten und das Speichern in einem SageMaker-kompatiblen Format.
Sobald Ihre Daten vorbereitet sind, können Sie ein Modell mit SageMaker trainieren. Dazu gehört die Auswahl eines Algorithmus oder Frameworks, die Konfiguration Ihrer Trainingsparameter und das Starten des Trainingsjobs.
Nachdem Sie Ihr Modell trainiert haben, sollten Sie seine Leistung bewerten, um sicherzustellen, dass es genau und effektiv ist. SageMaker bietet eine Reihe von Tools und Metriken zur Bewertung von Modellen.
Wenn Sie mit der Leistung Ihres Modells zufrieden sind, können Sie es in einer Produktionsumgebung bereitstellen, wo es verwendet werden kann, um Vorhersagen zu treffen oder andere Maßnahmen zu ergreifen. Nach der Bereitstellung sollten Sie die Leistung Ihres Modells überwachen.
Nehmen Sie bei Bedarf Aktualisierungen vor, um sicherzustellen, dass es weiterhin gut funktioniert. Wie bereits erwähnt, bietet SageMaker zahlreiche Tools zum Überwachen bereitgestellter Modelle und zum Aktualisieren von Dingen.
Erlernen von AWS SageMaker
Die Verwendung von SageMaker ist wahrscheinlich nicht für jeden selbstverständlich, aber es wird ein Kinderspiel sein, wenn Sie einen technischen Hintergrund haben. Da SageMaker Funktionen enthält, die eine Vielzahl von Technologien nutzen, müssten Sie viel Zeit mit dem Studium verbringen, um alles zu erkunden. Aber es ist einfach, einzusteigen und mit dem Basteln zu beginnen, wenn Sie nur Ihre Zehen ins Wasser tauchen möchten.
Es gibt viele Ressourcen, die Ihnen helfen, SageMaker zu lernen und damit zu arbeiten, also wird es nicht so sein schwer zu findende informative Tutorials und Anleitungen. Amazon hat es seiner Benutzerbasis recht gemacht und eine riesige Bibliothek mit technischer Dokumentation aufgebaut, um den Benutzern zu helfen, das Beste aus ihrer Software herauszuholen.
Die AWS SageMaker-Dokumentation ist eine umfassende Ressource, die alle Aspekte der Verwendung von SageMaker abdeckt. Es enthält detaillierte Anweisungen, Tutorials und Codebeispiele. Sie werden Hunderte von Seiten finden, auf denen Sie nach saftigen Informationen suchen können. Allerdings ist es oft nicht der beste Weg, etwas Neues zu lernen, sich mit der Dokumentation auseinanderzusetzen.
Stack Overflow bietet Fragen und Antworten zu einer Vielzahl von Themen der Computerprogrammierung.
Stattdessen sollten Sie sich darauf konzentrieren, Ihr Projekt zu erstellen und die Dokumentation zu konsultieren, wenn Sie Hilfe benötigen. Folgen Sie einem video-oder textbasierten Tutorial, das Ihnen hilft, mit dem richtigen Fuß aufzusteigen. Sobald Sie ein solides Framework eingerichtet haben, können Sie in der Dokumentation oder auf Websites wie Stack Overflow nach bestimmten Fehlern oder Problemen suchen.
Der YouTube-Kanal von Amazon Web Services bietet auch viele hilfreiche Videos zu verschiedenen Themen, darunter SageMaker. Außerdem finden Sie zahlreiche Videos, die ausführlich die Verwendung spezifischer Funktionen und Best Practices für Modelltraining und-bereitstellung erläutern.
AWS SageMaker: Wann ist es nicht die beste Wahl?
Während SageMaker es verdient ein Ehrenzeichen dafür, dass es seinen Benutzern die vollständige Kontrolle über ihre maschinellen Lernmodelle gibt, ist es möglicherweise nicht in jeder Situation die beste Wahl. Der Elefant im Raum ist Flexibilität. SageMaker fällt in puncto Flexibilität flach, da Sie auf das AWS-Ökosystem beschränkt sind. Mit anderen Worten, Sie können SageMaker nicht getrennt von anderen Plattformen verwenden.
Ein weiterer limitierender Faktor sind die Kosten. Obwohl SageMaker zusammen mit der kostenlosen AWS-Stufe von Amazon kostenlos ist, gibt es einige eklatante Einschränkungen. Wenn Sie mehr als Ihre zugewiesenen Rechenressourcen verwenden, werden Ihnen entsprechende Kosten in Rechnung gestellt. Im Vergleich zu konkurrierenden Plattformen wie Neptune.ai, MLflow und Kubeflow ist AWS relativ teuer.
Wenn Ihr Team oder Ihre Organisation bereits AWS verwendet, ist SageMaker eine offensichtliche Wahl. Aufgrund der Kosten und der eingeschränkten Umgebung lohnt es sich jedoch möglicherweise nicht, ein AWS ausschließlich für die Funktionen von SageMaker einzurichten.
Für diejenigen, die nach alternativen Diensten suchen, finden Sie sehr unterschiedliche Optionen. Es ist schwer, SageMaker zu schlagen, da es eine einzigartige Mischung aus Funktionen und Integrationsunterstützung bietet, aber Sie können immer noch wettbewerbsfähige Alternativen finden. Sehen wir uns zwei der beliebtesten Alternativen zu SageMaker an, um Ihnen eine Vorstellung zu geben.
Kubeflow
Kubeflow ist so konzipiert, dass es portabel ist und auf jeder Infrastruktur ausgeführt werden kann, einschließlich lokaler Clouds und Hybridumgebungen. Dies kann nützlich sein, wenn Sie dieselbe Pipeline für maschinelles Lernen in verschiedenen Umgebungen verwenden oder eine Herstellerabhängigkeit vermeiden möchten.
Wie bei SageMaker können Sie mit Kubeflow Ihren Workflow für maschinelles Lernen anpassen Open-Source-Tools und-Frameworks wie TensorFlow, PyTorch und andere. Der wichtigste Vorteil ist, dass Kubeflow ein Open-Source-Projekt ist. Das bedeutet, dass Sie auf den Quellcode zugreifen und zur Entwicklung der Plattform beitragen können.
MLflow
Wie Kubeflow ist MLflow vollständig Open Source und portabel. Sie können es zusammen mit vielen gängigen Tools und Frameworks ausführen. Beliebte Programmiersprachen wie Python, R, Java und andere können neben Ihrer Machine-Learning-Bibliothek Ihrer Wahl ausgeführt werden. Daher ist MLflow eine ausgezeichnete Wahl, wenn Sie einen vielseitigen Service suchen, der Sie nicht fesselt.
Obwohl es Open Source ist, kann MLflow dennoch skaliert werden, um große Organisationen zu unterstützen. Mit Unternehmen wie Microsoft, DataBricks, R Studio und der University of Washington, die zum Projekt beitragen, verfügt es über eine solide Grundlage und ein solides Support-Netzwerk.
AWS SageMaker: Versionsgeschichte
Amazon SageMaker wurde 2017 auf der AWS-Konferenz re:Invent vorgestellt. Amazon versprach ein Tool, das Entwicklern und Datenwissenschaftlern helfen könnte, die Erstellung und Bereitstellung von Modellen für maschinelles Lernen effizienter zu verwalten. Das Ziel war es, einen vollständig verwalteten End-to-End-Service bereitzustellen, der einen Teil der Schwerlast und Komplexität beseitigt, die mit dem Erstellen und Bereitstellen von Modellen für maschinelles Lernen in großem Maßstab verbunden sind.
Laut Randall Hunt, der geschrieben hat In einem Blogbeitrag, in dem der neue Service angekündigt wurde, wurde Amazon SageMaker entwickelt, um „einen Rahmen bereitzustellen, um den Prozess der Integration von maschinellem Lernen in neue Anwendungen zu beschleunigen“. AWS-CEO Andy Jassy beschrieb es als „einen einfachen Weg, Modelle für maschinelles Lernen für alltägliche Entwickler zu trainieren und bereitzustellen.“
Die Einführung von Amazon SageMaker wurde als Reaktion auf die wachsende Nachfrage nach maschinellem Lernen unter Entwicklern und Entwicklern gesehen Datenwissenschaftler. Seit seiner Erstveröffentlichung hat SageMaker mehrere bedeutende Aktualisierungen erfahren, darunter die Unterstützung für TensorFlow, Reinforcement Learning und den AWS Marketplace.
AWS SageMaker: Amazon Cloud Machine Learning Platform FAQs (Häufig gestellte Fragen)
Wann ist Sagemaker herausgekommen?
Sagemaker wurde am 29. November 2017 eingeführt.
Ist Sagemaker Teil von AWS?
Ja, Sagemaker ist Teil der öffentlichen Cloud von Amazon Web Services.
Kann Sagemaker eine Verbindung zu Athena herstellen?
Ja. Sie können Amazon Athena mit Sagemaker verbinden, da beide Teile des AWS-Ökosystems sind.
Kann Sagemaker von S3 lesen?
Ja. AWS SageMaker kann Daten von S3 oder „Amazon Simple Storage Service“ lesen. Um S3 mit SageMaker zu verwenden, können Sie einen S3-Bucket erstellen und Ihre Daten darin speichern.
Sie können dann das SageMaker Python SDK oder die SageMaker-Konsole verwenden, um auf die Daten in Ihrem S3-Bucket zuzugreifen und sie zu verwenden Schulungs-, Validierungs-oder Testzwecke.
Ist Sagemaker wie Databricks?
Sagemaker ist ähnlich. Während die Hauptfunktion von Databrick jedoch die Big-Data-Analyse ist, zeichnet sich Sagemaker durch die Bereitstellung von Modellen für maschinelles Lernen und die Verfolgung von Experimenten aus.