Der STM32N6 ist unser neuester und leistungsstärkster STM32 und der erste, der mit unserem Neural-ART-Accelerator ausgestattet ist. Dabei handelt es sich um eine benutzerdefinierte neuronale Verarbeitungseinheit (NPU) mit einer Leistung von 600 GOPS, so dass Anwendungen des maschinellen Lernens, die einen schnellen Mikroprozessor erfordern, nun auf einer MCU laufen können. Es ist außerdem unsere erste Cortex-M55-MCU und eine der wenigen in der Branche, die mit 800 MHz läuft. Außerdem verfügt der STM32N6 mit 4,2 MB über den größten eingebetteten Arbeitsspeicher in einem STM32. Es ist auch unser erstes Gerät, das neben einem H.264-Hardware-Encoder auch unsere NeoChrom-GPU enthält. In Anbetracht all seiner Fähigkeiten wird ST auch eine Allzweckversion des STM32N6 ohne NPU anbieten, um ihn noch besser zugänglich zu machen.*
Inhaltsverzeichnis
Wie ist der Stand des maschinellen Lernens an der Edge?
KI auf MCUs demokratisieren
Die Idee, eine Anwendung für maschinelles Lernen an der Edge auszuführen, ist nicht neu. ST hat mit der Markteinführung von STM32Cube.AI im Jahr 2019 dazu beigetragen, sie zu verbreiten. Die Softwarelösung wandelt ein neuronales Netzwerk in optimierten C-Code für STM32-Mikrocontroller um und sorgt so für eine hohe Leistung trotz Verarbeitungs- und Speicherbeschränkungen. Sie hat die Entwicklung von Anwendungen wie die Fehlererkennung bei 3D-Druckern und andere Anomalieerkennung und -klassifizierung ermöglicht , die ST dank Tools wie NanoEdge-AI-Studio leichter zugänglich gemacht hat. Dennoch sind viele Algorithmen für neuronale Netze zu anspruchsvoll für einen klassischen Mikrocontroller, was bisher den Wechsel zu einem Mikroprozessor mit einer NPU bedeutete.
Die Unvermeidbarkeit von KI auf MCUs
Die Herausforderung besteht darin, dass, egal wie gut ein Mikroprozessor auch sein mag, einige Integratoren immer einen Mikrocontroller benötigen werden. Die Gründe dafür sind vielfältig und reichen von der einfacheren Stückliste bis zur Verwendung eines Echtzeitbetriebssystems oder dem geringeren Stromverbrauch. Unabhängig davon wird KI an der Edge erst dann allgegenwärtig werden, wenn sie auf allen Embedded-Systemen besser zugänglich ist. Daher hat sich die Industrie zusammengetan, um die KI auf Mikrocontrollern zu fördern, und immer mehr MCUs verfügen über eine NPU. Allerdings sind diese neuronalen Verarbeitungseinheiten meist sehr ähnlich, wenn nicht sogar identisch. ST hat jedoch einen anderen Weg gewählt. Wir haben nämlich den einzigartigen Ansatz gewählt, eine NPU selbst zu entwickeln.
STM32N6: Warum eine eigene NPU?
Die Vorgeschichte des Neural-ART-Accelerator
Heute können wir verraten, dass unsere Teams seit 2016 an dem ST-Neural-ART-Accelerator arbeiten. Die Softwarelösung STM32Cube.AI, die wir 2019 auf den Markt gebracht haben, wurde direkt von der Forschung und Entwicklung beeinflusst, die damals mit dem ST-Neural-ART-Accelerator durchgeführt wurde. Als dann die Branche dann STM32Cube.AI einsetzte und wir sahen, wie Ingenieure unsere Lösungen nutzten, um innovative KI-Produkte zu entwickeln, haben wir unseren Neural-ART-Accelerator optimiert, um etwas Einzigartiges herauszubringen. Kein anderer Hersteller von Allzweck-MCUs verfügt über ein Hardware- und Software-Ökosystem für KI an der Edge, das so umfassend angepasst und optimiert ist.
Die Einzigartigkeit des Neural-ART-Accelerators
Konkret verfügt der Neural-ART-Beschleuniger im heutigen STM32N6 über fast 300 konfigurierbare Multiplikations-Akkumulationseinheiten und zwei 64-Bit-AXI-Speicherbusse für einen Durchsatz von 600 GOPS. Das ist das 600-fache dessen, was auf unserem schnellsten STM32H7 möglich ist, der über keine NPU verfügt. Diese bahnbrechende Architektur ermöglicht nicht nur mehr Operationen pro Taktzyklus und einen optimierten Datenfluss zur Vermeidung von Engpässen, sondern ist auch für den Stromverbrauch optimiert und liefert beeindruckende 3 TOPS/W.
ST hat auch dafür gesorgt, dass sein Neural-ART-Accelerator bei der Markteinführung mehr KI-Operatoren unterstützt, als in der Branche üblich. Der neue STM32N6 ist bereits mit der größten Anzahl von KI-Operatoren von TensorFlow Lite, Keras und ONNX kompatibel, und wir haben uns verpflichtet, die Anzahl der unterstützten Operatoren in Zukunft kontinuierlich zu erhöhen. Darüber hinaus bedeutet die Fähigkeit, das ONNX-Format zu verwenden, dass Datenwissenschaftler den STM32N6 für eine breite Palette von KI-Anwendungen nutzen können. Vereinfacht gesagt, wollten wir nicht nur besser optimierte Hardware als bei Lösungen des Mitbewerbs liefern, sondern auch eine leichter zugängliche Plattform, die es den Entwicklern ermöglicht, ihre aktuellen Arbeitsabläufe zu nutzen und ihre Markteinführungszeit zu verkürzen.
STM32N6: Was macht ihn zu einer Flaggschiff-MCU?
Ein leistungsstarker Cortex-M55
Der STM32N6 ist in erster Linie ein STM32. Er ist sogar der leistungsstärkste STM32 von ST, was vor allem daran liegt, dass er unser erster Mikrocontroller ist, der einen 16 nm FinFET-Prozessknoten verwendet. Durch den Einsatz dieser lithografischen Technologie können wir den Cortex-M55 mit 800 MHz betreiben. Außerdem ließ sich so die größte Menge an RAM in einen STM32 einbetten und gleichzeitig zahlreiche IPs integrieren. Der STM32N6 verfügt außerdem über ein Gigabit-Ethernet-Modul mit Unterstützung für zeitkritische Netzwerke, sechs SPI- und zwei I3C-Schnittstellen, zwei 12-Bit-ADCs, vier fortschrittliche 32-Bit-Timer und mehr.
Eine einzigartige Kamera-Pipeline
Da wir davon ausgehen, dass Kunden den STM32N6 dank seiner NPU und seiner Gesamtleistung mit Kameras in Bildverarbeitungsanwendungen einsetzen werden, haben wir unseren neuesten Bildsignalprozessor (ISP) integriert, der auch im STM32MP2 zu finden und mit der STM32-ISP-IQTune-Software kompatibel ist. Die Software sorgt dafür, dass Entwickler keine teuren Drittanbieter beauftragen müssen, um den ISP auf den CMOS-Sensor, das Objektiv, die Lichtverhältnisse und mehr abzustimmen. Der STM32N6 unterstützt auch MIPI CSI-2, so dass der STM32N6 die beliebteste Kamera-Schnittstelle für mobile Anwendungen unterstützt, ohne dass ein externer ISP erforderlich ist, der mit dieser speziellen seriellen Kamera-Schnittstelle kompatibel ist. Daher kann der STM32N6 Bilder von mehreren Bildsensoren leichter verarbeiten und ein System zukunftssicher machen.
Eine 2,5D-GPU, viel eingebetteter RAM und ein H.264-Encoder
Außerdem bietet der STM32N6 eine einzigartige Speicherkonfiguration für GUI-Entwickler. Die 4,2 MB RAM des STM32N6 können einen doppelten Framebuffer für ein 1280 x 800 Display speichern. Der STM32N6 verfügt außerdem über Octo- und Hexa-SPI-Flash-Schnittstellen zum Abrufen von Assets im externen Flash mit Asset-Caching im externen RAM, ohne einen Engpass zu riskieren.
Der STM32N6 enthält außerdem unsere NeoChrom-GPU, einen H.264-Encoder sowie einen JPEG-Encoder und -Decoder. In Kombination mit dem großen eingebetteten RAM und den schnellen Flash-Schnittstellen ermöglicht die neue Flaggschiff-MCU neue Anwendungen wie Sicherheits-Panels mit reichhaltigen Benutzeroberflächen und Video-Streaming von Kamerasensoren. Das bedeutet auch, dass Entwickler nun ein neuronales Netzwerk in Verbindung mit einer grafischen Benutzeroberfläche betreiben können, ohne mehrere MCUs verwenden zu müssen, da die NPU, die GPU und die Multimedia-Encoder und -Decoder den Prozessor entlasten können und so viel mehr Fähigkeiten auf einem einzigen Gerät ermöglichen.
Ein umfassendes Ökosystem von Tools und Partnern
Die Tatsache, dass wir den Neural-ART-Accelerator angepasst haben und so nah am STM32N6 sind, bedeutet, dass ST ein umfassendes Ökosystem von Software-Tools anbieten kann, die die Erstellung neuer KI-fähiger Anwendungen mit dem STM32N6 erheblich erleichtern und optimieren. Den Anfang macht die ST-Edge-AI-Suite, eine Sammlung kostenloser Software-Tools, Anwendungsfälle und Dokumentationen, die Entwicklern dabei helfen, KI für die Intelligent Edge zu entwickeln, unabhängig von derem Erfahrungsstand. Die ST-Edge-AI-Suite umfasst auch Tools wie die Edge-AI-Developer-Cloud, die dedizierte neuronale Netzwerke in unserer STM32-Modellsammlung, eine Boardfarm für reale Benchmarks und mehr bietet.
ST sorgt dafür, dass Ingenieure mit bestehenden Frameworks arbeiten können. Deshalb haben wir eine Kerntechnologie (ST-Edge-AI-Core) zur Optimierung und Konvertierung neuronaler Netzwerke aus gängigen KI-Frameworks entwickelt, um die Vorteile des Neural-ART-Beschleunigers voll auszuschöpfen. Darüber hinaus zielt unser Ökosystem auch darauf ab, die Zusammenarbeit mit zahlreichen Hardware- und Softwarepartnern zu fördern, und wir arbeiten kontinuierlich an der Integration in weitere Ökosysteme. So können Entwickler STM32Cube.AI in Verbindung mit dem NVIDIA-TAO-Toolkit und dem AWS-STM32-ML-at-the-Edge-Accelerator nutzen oder unseren Modellsammlung auf Hugging-Face erleben, wo immer mehr STM32-KI-Inhalte zu finden sind.
Wie fangen Sie an?
Der STM32N6 ist ein neuer Meilenstein, denn wie die NPU, die GPU, der eingebettete RAM, der Cortex-M55, die Peripheriegeräte und andere Spezifikationen zeigen, transformiert er hochleistungsfähige Edge-AI-Anwendungen auf MCUs, indem er neue Anwendungsfälle wie Computer-Vision, Audioverarbeitung und mehr ermöglicht. Auch ohne seine NPU ist der STM32N6 das STM32-Flaggschiff, da er fortschrittliche Video- und Multimedia-Anwendungen ermöglicht, die eine verbesserte Benutzerfreundlichkeit und komplexe Benutzeroberflächen bieten, für die bisher spezielle und teurere MCUs erforderlich waren. Kurz gesagt, der STM32N6 läutet eine neue Ära des Computings ein, indem er High-End- und Edge-KI-Anwendungen zugänglicher und zugänglicher macht.
Der beste Weg, an dieser Revolution teilzuhaben, ist, sich eines der bereits erhältlichen STM32N6-Entwicklungsboards zuzulegen. Wir bieten derzeit ein Nucleo-Board und ein Discovery-Kit an und haben gerade das spezielle Softwarepaket STM32CubeN6 mit Middleware und Beispielcode veröffentlicht. Wir haben auch unsere ST-Edge-AI-Suite aktualisiert, um den neuen Controller zu unterstützen, und TouchGFX-Designer wird mit einem Board-Support-Package für das Kit geliefert, um sicherzustellen, dass Entwickler den neuen Baustein schnell nutzen und beeindruckende UIs erstellen können. Wir freuen uns außerdem, ankündigen zu können, dass Entwicklungsboards von Drittanbietern, die den STM32N6 unterstützen, zu einem späteren Zeitpunkt erhältlich sein werden.
