Update vom 22. September 2026
ST zeigt auf der Embedded World North America vier Demos, um einige der konkreten Vorteile unserer Zusammenarbeit rund um Physical AI zu demonstrieren.
Die erste Präsentation umfasst zwei Roboter: eine stabile Roboterhand und einen virtuellen Gehsimulator für humanoide Roboter. Da diese Anwendungen ST-Sensoren in den offenen Simulations- und Lern-Frameworks NVIDIA Isaac Sim und Isaac Lab nutzen, können Entwickler präzisere Richtlinien erstellen und die Sim-to-Real-Lücke verringern. In der Demo der stabilen Hand sind beispielsweise unsere Sensoren LSM6DSV16X und ASM330LHHX Teil eines Sim2Real-IMU-Modells, mit dem Entwickler reale Verhaltensweisen wie Rauschen, Bias und Offset-Drift simulieren können. Das bedeutet: Die in Isaac Lab entworfenen Richtlinien ermöglichen eine wesentlich stabilere Roboterhand und verkürzen gleichzeitig die Entwicklungszeit.
Ebenso sendet der ASM330LHHX in der NVIDIA Holoscan Sensor Bridge, die am Torso des Roboters montiert ist, Daten über Hochgeschwindigkeits-Ethernet an die Rechenplattform NVIDIA Jetson Thor, sodass Isaac Sim Gang und Gleichgewicht des humanoiden Roboters trotz äußerer Störungen deutlich verbessern kann. Kurz gesagt: Dieses System überträgt reale Sensordaten in kürzester Zeit an das Steuerungssystem des Roboters und ermöglicht so schnellere und komplexere Bewegungen.
ST wird außerdem Computer-Vision-Anwendungen zeigen, etwa eine intelligente Rückfahrkamera, die Machine-Learning-Algorithmen direkt am Edge ausführen kann. In derselben Richtung wird es auch eine Holoscan Sensor Bridge mit einem Kameramodul von Leopard Imaging geben, dem LI-ASTRO-VB1940-VCL-DTOF, das den 3D-LiDAR-dToF-Sensor VL53L9 von ST, zwei RGB/IR-Bildsensoren VB1940 und die IMU LSM6DSV16X enthält. Dank seiner 10-GbE-Schnittstelle kann es die erfassten Bilddaten an ein NVIDIA-Jetson-System senden und so Computer-Vision-Systeme mit sehr geringer Latenz ermöglichen.
Ursprüngliche Veröffentlichung vom 17. März 2026
Während die Technologie darauf abzielt, Physical AI zu ermöglichen, berichtet ST heute, wie unsere Sensoren durch Zusammenarbeit in ein Holoscan-Sensor-Bridge-Modul von Leopard Imaging gelangt sind. Damit können Entwickler multimodale Sensordaten in Echtzeit und mit geringer Latenz an die Plattform NVIDIA Jetson Thor oder NVIDIA Jetson Orin liefern, um die Roboter von morgen zu entwickeln. Das Ziel ist einfach: die Sim-to-Real-Lücke zu schließen, damit Unternehmen Maschinen auf den Markt bringen können, die unser Leben und unsere Gesellschaften auf positive und sinnvolle Weise verändern. Dafür müssen Unternehmen jedoch zusammenkommen, um die technischen Herausforderungen zu lösen, die dieses Feld derzeit belasten. Das hier ist das Ergebnis dieser Initiative.
Warum ist Physical AI so schwierig?
Die Realität ist seltsamer als die Fiktion
Ginge es nach der Science-Fiction, wäre die Welt längst voller humanoider Roboter. Wir verfügen über Sensoren, die leistungsfähiger und präziser sind, als viele es sich vor wenigen Jahren hätten träumen lassen. Wir haben sogar Sensoren, die seit sechs Jahren Machine-Learning-Inferenzen ausführen können. Kameras sind so genau, dass Smartphones einen Raum scannen und ein 3D-Modell der Umgebung liefern können. Mikrocontroller führen heute Anwendungen aus, für die vor zehn Jahren noch Supercomputer nötig gewesen wären, und ermöglichen so den Bau komplexer Maschinen auf stromsparenden Embedded-Systemen. Die Fortschritte sind sogar so verblüffend, dass Unternehmen KI in Anstecknadeln und andere Wearables bringen wollen, was unsere Realität noch fantastischer macht als die Science-Fiction.
Ebenso hat sich die KI so sprunghaft weiterentwickelt, dass große Sprachmodelle Entwicklern heute dabei helfen können, ganze Anwendungen in wenigen Minuten per Vibe Coding zu erstellen, und die brillantesten Medizinforscher nutzen KI, um Simulationen durchzuführen und Datenmengen zu verarbeiten, die eine einzelne Person überfordern würden. Möglich wurde dies durch die Innovationen von NVIDIA bei GPU-Technologie, beschleunigtem Rechnen, Schnittstellen, Interconnects und weiteren Optimierungen.
Physical AI ist schwieriger als herkömmliche KI
Doch humanoide Roboter, die den Haushalt übernehmen, gibt es noch nicht, und auch wenn autonome Fahrzeuge enorme Fortschritte gemacht haben, sind sie noch weit davon entfernt, allgegenwärtig zu sein. Um diese technischen Herausforderungen besser anzugehen, hat die Branche die Theorie der „Physical AI“ entwickelt. In einem 2025 im Journal of Intelligent System of Systems Lifecycle Management1 veröffentlichten Beitrag definiert Professor Vahid Salehi sie als „Systeme künstlicher Intelligenz, die nicht nur Informationen im digitalen Raum verarbeiten und Entscheidungen treffen, sondern auch direkt mit der physischen Welt interagieren und Sensoren nutzen, um ihre Umgebung wahrzunehmen, dynamische Zustände der realen Welt zu modellieren, autonom über ihr Handeln zu entscheiden und diese Entscheidungen mithilfe von Aktoren (z. B. Roboterarmen, Fahrbewegungen, Greifvorrichtungen) umzusetzen.“
Vereinfacht gesagt besteht die technische Herausforderung darin, die Fähigkeiten von Sensoren und Aktoren mit den Möglichkeiten der KI zu verbinden, um Echtzeit-Motorsteuerungsanwendungen zu schaffen, die sich an die verrauschte Realität anpassen können, in der sich Menschen im Laufe der Evolution zurechtzufinden gelernt haben. Es geht darum, die Sim-to-Real-Lücke zu schließen, damit autonome digitale Prozesse systematisch richtige Entscheidungen treffen und präzise, zuverlässige Aktionen ausführen können, selbst angesichts der Unvorhersehbarkeit des Lebens. Physical AI trägt der Tatsache Rechnung, dass die nächste Robotergeneration KI am Edge nutzen muss, um Echtzeitleistung sicherzustellen und zugleich die Sicherheit aller Menschen in ihrer Umgebung zu gewährleisten. Deshalb ist die heutige Ankündigung etwas Besonderes: Sie packt die Herausforderungen hinter Physical AI direkt an.
Wie kann die Branche Physical AI lösen?
ST-Sensoren
Um Physical AI anzugehen, hat ST einige seiner fortschrittlichsten Sensoren ausgewählt. So unterstützen wir beispielsweise die Entwicklung einer Kopfkameraeinheit, die zwei VB1940 Bildsensoren mit 5,1 Megapixeln in Automotive-Qualität verwendet. Sie sind insofern einzigartig, als sie wahlweise als Global Shutter oder als Rolling Shutter arbeiten können, was eine artefaktfreie Bildaufnahme und eine bessere Bildqualität bietet. Die Kameraeinheit enthält außerdem unsere sechsachsige inertiale Messeinheit LSM6DSV16X mit Machine-Learning-Funktionen und unser neues direktes Time-of-Flight-LiDAR-Modul VL53L9CX zur räumlichen Erkennung. Wir haben zudem bei der Entwicklung einer Motorsteuerungsanwendung mitgewirkt, die auf zwei STSPIN32G4, unserem ersten Motorcontroller mit integrierter MCU, sowie auf dem Beschleunigungssensor und Gyroskop ASM330LHH basiert, um Bewegungen zu erkennen und für Stabilisierung zu sorgen.
Leopard-Imaging-Modul
Die besten Sensoren bereitzustellen ist ein Teil des Physical-AI-Puzzles, sie alle zusammen zu bündeln ein anderer. Deshalb haben wir uns mit Leopard Imaging zusammengetan. Das Unternehmen hat ein All-in-one-Modul für fortschrittliche Robotersysteme entwickelt und damit die Integrationsherausforderungen gelöst, sodass andere es nicht mehr tun müssen. Wie oben erläutert, ist die Wahrnehmung einer der entscheidenden Aspekte der Physical-AI-Theorie. Dank des Leopard-Imaging-Moduls müssen Entwickler weder den DSP feinabstimmen noch sich um EMI kümmern oder eine eigene Leiterplatte entwerfen. Leopard Imaging hat die Gewohnheit, Wahrnehmungsmodule allgegenwärtig zu machen, und mit dieser Ankündigung trägt der ST Authorized Partner dazu bei, Physical AI und humanoide Robotik deutlich zugänglicher zu machen.
Physical AI: vom Modul zum humanoiden Roboter, NVIDIA
NVIDIA Holoscan Sensor Bridge
Ein weiteres Glied in der Physical-AI-Kette ist die Kommunikation zwischen Modulen, wie der Kopfsensoreinheit von Leopard Imaging, und der Rechenplattform. Deshalb haben ST und Leopard Imaging mit NVIDIA zusammengearbeitet, um sicherzustellen, dass das Modul mit dessen Holoscan Sensor Bridge (HSB) funktioniert. HSB ist eine Sensor-over-Ethernet-Streaming-Plattform, die es Modulen ermöglicht, Daten in Echtzeit an Systeme zu senden, die für die Entscheidungsfindung oder die Aktorsteuerung zuständig sind. HSB nutzt hardwarebeschleunigtes Networking auf unterstützten Hosts wie NVIDIA Thor, IGX und ConnectX-basierten Plattformen wie DGX Spark und bietet damit eine Lösung mit geringer Latenz, geringem Jitter, CPU-Entlastung und hoher Skalierbarkeit für die Herausforderungen bei der Anbindung von Sensoren und Aktoren.
Darüber hinaus hat ST gemeinsam mit NVIDIA einen Proof of Concept umgesetzt, bei dem die Embedded-Software-IP der Holoscan Sensor Bridge direkt auf der STM32H7-Serie fortschrittlicher ethernetfähiger Mikrocontroller läuft. Sie ermöglicht eine hardwarebeschleunigte Verbindung zwischen NVIDIA-Plattformen und MCU-basierten Sensor- und Motorsteuerungssystemen und unterstützt so anspruchsvolle Workloads der künstlichen Intelligenz (KI) bei gleichzeitig reduziertem Jitter, geringerer Latenz und geringerer CPU-Last.
NVIDIA Jetson und Isaac Sim
Die Integration der Holoscan Sensor Bridge in ein Modul mit ST-Sensoren bedeutet, dass Entwickler effizienteren Zugang zum NVIDIA-Jetson-Ökosystem erhalten und damit der Physical AI näher kommen. Sobald die richtigen Sensoren in einem Modul gebündelt sind, das ein Hochgeschwindigkeits-Kommunikationsprotokoll unterstützt, können Ingenieure sie tatsächlich auf einer Plattform einsetzen, die dafür konzipiert ist, die Sim-to-Real-Lücke zu schließen. Dies ist nicht unsere erste Zusammenarbeit mit NVIDIA. Treue Leser des ST-Blogs werden sich an eine frühere Initiative erinnern, die es Entwicklern ermöglichte, mit STM32Cube.AI und dem TAO Toolkit ein System zu entwickeln, das beim Erkennen von Personen einen nachgeschalteten Jetson Orin aufweckt.
In einem 2025 veröffentlichten Artikel beschrieb NVIDIA seine „Drei-Computer-Lösung für die Robotik“. Der erste Computer ist ein NVIDIA DGX AI-Supercomputer für das KI-Training, der zweite Computer ein NVIDIA RTX PRO Server für Simulationen mit NVIDIA Omniverse und Cosmos und der dritte Computer ein NVIDIA-Jetson-System für KI am Edge. Im Einklang mit der Simulation-first-Philosophie von NVIDIA setzen wir uns dafür ein, die Entwicklung von Physical AI zu beschleunigen. ST ist der erste IMU-Anbieter, der ein Gerätemodell in Isaac Sim™ bereitstellt, der Omniverse-basierten Referenzanwendung von NVIDIA zur Simulation und zum Test KI-gesteuerter Roboter.
Damit können Entwickler die Leistung unseres Sensors in einer virtuellen Umgebung validieren, bevor sie einen physischen Prototyp bauen. Sobald Entwickler festgelegt haben, wie sich der Roboter verhalten soll, können sie ihre Richtlinien auf einem NVIDIA Jetson Thor™ oder NVIDIA Jetson Orin™ bereitstellen und schnell und effizient von der Holoscan Sensor Bridge profitieren, indem sie Informationen an die Recheneinheit streamen. So kann das HSB-Modul beispielsweise das Leopard-Imaging-Modul mit der NVIDIA-Jetson-Plattform verbinden. Es ist sogar möglich, es über die Ethernetverbindung der HSB an den NVIDIA-Server anzubinden, auf dem Isaac Sim läuft, und so ein Hardwaremodul in die Simulation einzubeziehen, falls Entwickler Aspekte der Robotikanwendung anpassen müssen.
Wie es begann und wie es weitergeht
Die ursprüngliche Ankündigung im März 2026 war einzigartig, weil sie jeden Schritt der Physical-AI-Kette abdeckte, von der Sensorerfassung bis zu den in realen Umgebungen ausgeführten Aktionen. Entscheidender noch: Sie zeigte, wie Zusammenarbeit Robotikanwendungen zugänglich machen kann, indem sie die Einstiegshürde senkt. Wenn die Branche Sensoren in Module und Module auf Entwicklungsplattformen bringt, können Entwickler damit beginnen, Physical AI zu meistern, statt sich mit der Beschaffung von Komponenten, Kommunikationsengpässen und anderen Herausforderungen zu befassen, die das Innovationstempo bei humanoiden Robotern und verwandten Bereichen bremsen würden.
Update vom 17. Juni 2026
Seitdem hat diese Zusammenarbeit neue Früchte getragen. Im vergangenen Juni haben wir unsere Teilnahme an NVIDIA Halos für die Robotik angekündigt, dem ersten durchgängigen System für funktionale Sicherheit in Robotik und Physical AI. Es baut auf drei Komponenten auf: NVIDIA IGX Thor und NVIDIA Holoscan Sensor Bridge, NVIDIA Halos OS sowie NVIDIA Halos AI Systems Inspection Lab. Da ST Sensoren und Mikrocontroller für die NVIDIA Holoscan Sensor Bridge liefert, wollten wir sicherstellen, dass Entwickler Zugang zu denselben Bausteinen für Sensorik, Verarbeitung und Aktorik haben, die die Entwicklung vereinfachen. Es war auch eine naheliegende Zusammenarbeit, da ST sich seit Jahren für funktionale Sicherheit einsetzt.
• Mehr über NVIDIA Halos erfahren
• Lesen Sie, wie ST gemeinsam mit NVIDIA die Entwicklung von Physical AI beschleunigt
• Mehr über den ASM330LHH erfahren
• Einsatzmöglichkeiten des VL53L9CX entdecken
• Den Bildsensor VB1940 ansehen
• Die Eagle Series Holoscan-Kameras von Leopard Imaging ansehen
• NVIDIA Holoscan Sensor Bridge kennenlernen
• Mehr über NVIDIA Jetson Orin erfahren
• NVIDIA Jetson Thor entdecken
• Die Isaac-Sim-Dokumentation lesen
• NVIDIA Isaac Sim Extension für STMicroelectronics-Sensoren
1. Salehi, V. (2025). Fundamentals of Physical AI. Journal of Intelligent System of Systems Lifecycle Management, 2. <https://doi.org/10.71015/z6mc6967> ↩︎