Introducing Gemini Robotics ER 2

Roboter halten von Quartal zu Quartal in immer mehr reale Arbeitsumgebungen Einzug, doch die meisten tun sich nach wie vor schwer mit den kleinen Entscheidungen, die ein Mensch ganz selbstverständlich trifft: zu erkennen, wann eine Aufgabe erledigt ist, sich anzupassen, wenn etwas schiefgeht, oder sich mit einer anderen Maschine im selben Raum abzustimmen. Google DeepMind hat gerade „Gemini Robotics ER 2“ veröffentlicht, ein neues Modell für „verkörpertes Schlussfolgern“, das über den motorischen Systemen eines Roboters angesiedelt ist und als dessen übergeordnetes „Gehirn“ fungiert. Es plant mehrstufige Aufgaben, überwacht den eigenen Videofeed, um den Fortschritt zu überprüfen, und kann Aufgaben an einen zweiten Roboter weitergeben, wenn eine Maschine eine Aufgabe nicht alleine bewältigen kann. Für Entwickler, die physische KI-Agenten erstellen, erweitert dies die realistischen Möglichkeiten einer einzelnen Implementierung. Dieser Beitrag erläutert, was Robotics ER 2 eigentlich ist, welche Verbesserungen es gegenüber ER 1.6 bietet und wie man noch heute damit beginnen kann, es zu nutzen.

Dieser Artikel behandelt:

1. Was Gemini Robotics ER 2 innerhalb eines Roboter-Stacks leistet
2. Wie es mehrstufige Aufgaben ohne „Stop-and-Think“-Pausen koordiniert
3. Videoverstånd: Fortschrittsverfolgung und Erkennung von Schlüsselmomenten
4. Zusammenarbeit mehrerer Roboter über unterschiedliche Hardware hinweg
5. Sicherheitsvorteile und der neue VLA-Orchestrator-Benchmark
6. Wie Sie noch heute mit der Entwicklung auf Basis von Gemini Robotics ER 2 beginnen können

Was Gemini Robotics ER 2 innerhalb eines Roboter-Stacks leistet

Gemini Robotics ER 2 ist ein hochrangiges Schlussfolgerungsmodell, das mit Menschen kommuniziert, die physische Welt interpretiert, mehrstufige Aufgaben plant und anschließend die motorische Ausführung an ein darunterliegendes Vision-Language-Action-Modell (VLA) übergibt. Es kann außerdem Tools wie die Google-Suche oder beliebige benutzerdefinierte Funktionen aufrufen, während sich der Roboter bewegt.

Stellen Sie es sich als die Planungsebene vor, nicht als den „Muskel“. Das darunterliegende VLA-Modell übernimmt weiterhin die eigentlichen Arm- und Radbewegungen. Das Modell entscheidet, was in welcher Reihenfolge zu tun ist, und passt sich spontan an, wenn der Videofeed etwas Unerwartetes zeigt. Laut Google DeepMind ermöglicht dieses Design dem Roboter, über den nächsten Schritt „nachzudenken“, während sein Körper noch den aktuellen ausführt, wodurch die unangenehmen Pausen vermieden werden, unter denen skriptgesteuerte Systeme leiden.

Das Modell ist ein direkter Nachfolger von Gemini Robotics ER 1.6. Google berichtet von Verbesserungen bei Benchmarks zum räumlichen Denken, zur Sicherheit, zur Werkzeugkoordination und zum Videoverständnis. Wenn Sie bereits mit früheren Generationen der Gemini-Robotics-Modellfamilie gearbeitet haben, lässt sich ER 2 ohne Neuprogrammierung des Stacks in dieselben Entwickleroberflächen integrieren.

Wie es mehrstufige Aufgaben ohne „Stopp-und-Nachdenken“-Pausen koordiniert

In der Robotik ist hochgradiges logisches Denken nur dann nützlich, wenn es schnell genug abläuft, um mit einem sich bewegenden Arm Schritt zu halten. Gemini Robotics ER 2 lässt sich über einen bidirektionalen Streaming-Endpunkt, der auf geringe Latenz ausgelegt ist, in die Gemini Live API integrieren. Das bedeutet, dass es Aktionsmodelle und Robotik-APIs in einer flüssigen Schleife steuern kann, ohne den ruckartigen „Pause, Nachdenken, Handeln“-Rhythmus, den ältere Konfigurationen erzeugen.

Um ein agentenbasiertes System aufzubauen, deklarieren Entwickler Low-Level-Steuerungsschnittstellen (VLA-Modelle, Navigations-APIs, benutzerdefinierte Skripte) als Werkzeuge. Anschließend streamen sie multimodale Video-, Audio- oder Textdaten direkt in das Modell. Das Modell erledigt den Rest: Es entscheidet, welches Werkzeug wann aufgerufen wird und wie es auf das Gesehene reagiert.

Google hat eine mit dem „Spot“ von Boston Dynamics erstellte Demo veröffentlicht, in der das Modell die Navigations- und Manipulator-APIs von Spot koordiniert, um auf einen Sprachbefehl hin eine Portion Popcorn zu holen. Laut Boston Dynamics ist Spot eine gängige Forschungsplattform für diese Art von Experimenten zur Steuerung auf hoher Ebene. Der Demo-Code ist zusammen mit weiteren Beispielen auf GitHub verfügbar.

In drei Steuerungsmodi (echte VLA-Hardware, simuliertes VLA und menschliche Fernsteuerung) berichtet Google, dass Robotics ER 2 bei der Werkzeugkoordination durchweg besser abschneidet als ER 1.6.

[Bild: Ein vierbeiniger Roboter in einem hellen, modernen Büro, der ein kleines Paket aus einem Regal holt, Weitwinkelaufnahme]

Videoverstånd: Fortschrittsverfolgung und Momentenerkennung

Eines der schwierigsten Probleme in der Robotik ist es, zu erkennen, wann eine Aufgabe tatsächlich erledigt ist. Robotics ER 2 verbessert zwei Funktionen, die dieses Problem direkt angehen: die Fortschrittsklassifizierung und die Momentenerkennung. Zusammen verleihen sie dem Roboter ein Situationsbewusstsein in Echtzeit, sodass er einen fehlgeschlagenen Schritt wiederholen kann, ohne den gesamten Arbeitsablauf neu starten zu müssen.

Fortschrittsklassifizierung

Die Fortschrittsklassifizierung ist die Fähigkeit des Roboters, den Fortschritt einer Aufgabe zu bewerten. Bei der Auswertung durch Google wird jedes Videobild in fünf Fortschrittsbereiche eingeteilt: 0 bis 20 Prozent, 20 bis 40, 40 bis 60, 60 bis 80 und 80 bis 100. Das Modell erreicht bei diesem Benchmark eine Genauigkeit von 57,4 Prozent und liegt damit vor der Vorgängergeneration und konkurrierenden Pioniermodellen.

Diese Zahl ist wichtig, da sie es einem Roboter ermöglicht, anhand von Rohvideomaterial zu beurteilen, ob das Festziehen einer Glühbirne oder das Zubinden eines Müllsacks zur Hälfte erledigt oder fast abgeschlossen ist. Der Roboter kann dann entscheiden, ob er fortfahren, Anpassungen vornehmen oder zum nächsten Schritt übergehen soll.

Momentenerkennung

Momentenerkennung ist die Fähigkeit, genau das Bild zu identifizieren, in dem etwas Entscheidendes geschieht: der Moment, in dem Kaffee den Rand einer Tasse erreicht, oder der Moment, in dem eine Schraube einrastet. Robotics ER 2 erreicht bei dieser Aufgabe eine Genauigkeit von 91,3 Prozent bei einem mittleren absoluten Abstand von 0,96 Sekunden.

Eine Präzision auf diesem Niveau ermöglicht es Robotern, sauber zwischen einzelnen Schritten zu wechseln, den Erfolg zu überprüfen und Korrekturen vorzuschlagen. Google weist darauf hin, dass das Modell mit wesentlich größeren Systemen konkurriert, jedoch mit etwa viermal so hoher Ausführungsgeschwindigkeit und zu einem Bruchteil der Rechenkosten läuft. Eine Latenz von unter einer Sekunde ist das, was den physischen Betrieb überhaupt erst sicher macht.

Zusammenarbeit mehrerer Roboter über unterschiedliche Hardware hinweg

Kein einzelner Roboter ist für jede Aufgabe geeignet. Ein Radrover eignet sich gut für den Innenbereich, ein Humanoid bewältigt unebenes Gelände, eine stationäre Doppelarmplattform ist am besten für eine Werkbank geeignet. Robotics ER 2 führt die Zusammenarbeit mehrerer Roboter ein, sodass verschiedene Maschinen ein gemeinsames semantisches Verständnis der Aufgabe teilen und sich die Arbeit gegenseitig übergeben können.

Google demonstrierte dies mit dem humanoiden Roboter „Apollo 2“ von Apptronik, der gemeinsam mit einer stationären Roboterarmplattform vom Typ „Franka F3 Duo“ arbeitete. Laut Apptronik ist Apollo genau für diese Art der universellen Zusammenarbeit in kommerziellen Umgebungen konzipiert. Die beiden Roboter koordinieren sich über das gemeinsame Modell und führen so einen Arbeitsablauf zu Ende, den keiner von beiden allein bewältigen könnte. Dies ist eine Abkehr von früheren Konfigurationen, bei denen in der Regel ein einzelner Roboter pro Aufgabe oder aufwendige maßgeschneiderte Middleware zur Synchronisierung zweier Maschinen erforderlich war.

Entwicklern, die die Veröffentlichungen der Gemini-Familie verfolgen, wird dieses Muster bekannt vorkommen. Lesen Sie unseren Artikel darüber, wie Google spezialisierte Modelle für verschiedene Arbeitslasten schichtweise einsetzt, sowie über die multimodale Seite desselben Stacks.

Sicherheitsgewinne und der neue VLA-Orchestrator-Benchmark

Robotics ER 2 ist Googles bislang sicherstes Robotikmodell. Es erzielt deutliche Verbesserungen bei den Benchmarks „Safety Instruction Following“ und „Human Proximity“, die messen, ob das Modell bei der Entscheidungsfindung physikalische Einschränkungen berücksichtigt und ob es Menschen in der Nähe erkennen kann. In Googles Tests hält das Modell einen humanoiden Roboter an, wenn sich eine Person nähert, und nimmt die Arbeit erst dann wieder autonom auf, wenn der Bereich frei ist.

Google hat außerdem einen neuen Benchmark zur Bewertung von Basismodellen als sichere VLA-Orchestratoren veröffentlicht. Dieser testet, ob ein Modell Sicherheitsbeschränkungen durchsetzt, die Umgebung überwacht, beurteilt, ob eine Aktion physikalisch machbar ist, und weiß, wann es einen Menschen um Klärung bitten muss. Details finden sich im technischen Sicherheitsbericht, der im Veröffentlichungsbeitrag verlinkt ist.

Die gesamte KI-Branche bewegt sich in Richtung einer strengeren Bewertung physischer Agenten, und die Veröffentlichung von Google passt in dieses Muster. Hintergrundinformationen dazu, wie andere Pionierlabore an Modellsicherheit und Offenheit herangehen, finden Sie hier.

So beginnen Sie noch heute mit der Entwicklung auf Basis von Gemini Robotics ER 2

Robotics ER 2 steht Entwicklern ab sofort öffentlich zur Verfügung. Zugriffsmöglichkeiten:

• Gemini-API: für die direkte programmatische Nutzung.
• Google AI Studio: für die Prototypenerstellung und das Prompt-Design.
• Gemini Enterprise Agent Platform: in der privaten Vorschau für größere Bereitstellungen.

Google hat Einführungsbeispiele veröffentlicht, die zeigen, wie das Modell konfiguriert und für physikalische KI-Aufgaben angesteuert werden kann, darunter auch die bereits erwähnte Demo mit dem „Spot“ von Boston Dynamics.

Ein kurzer Vergleich der Änderungen gegenüber der letzten Version:

Für Teams, die abwägen, ob sie auf einem gehosteten Modell wie diesem oder auf einer selbst betriebenen Lösung aufbauen sollen, behandelt unser Leitfaden die jeweiligen Vor- und Nachteile.

Häufig gestellte Fragen

Ist Gemini Robotics ER 2 ein Ersatz für ein VLA-Modell?

Nein. Das Modell ist oberhalb der VLA-Ebene angesiedelt. Es plant und koordiniert und übergibt die motorische Ausführung anschließend an das vom Entwickler darunter konfigurierte „Vision-Language-Action“-Modell oder die Robotik-API. Beide arbeiten zusammen.

Funktioniert Robotics ER 2 mit jeder beliebigen Roboterhardware?

Es ist grundsätzlich hardwareunabhängig. Google hat es bisher mit Boston Dynamics Spot, Apptronik Apollo 2 und Franka F3 Duo demonstriert. Entwickler deklarieren die Steuerungsschnittstellen ihrer Roboter als Tools, sodass jede Plattform, die eine API bereitstellt, eingebunden werden kann.

Gibt es ein Gemini Robotics SDK?

In den Einführungsunterlagen von Google wird kein eigenständiges Gemini Robotics SDK-Produkt beschrieben. Der Zugriff für Entwickler erfolgt über die Gemini-API, Google AI Studio und die Vorschau der Gemini Enterprise Agent Platform, wobei Beispielcode auf GitHub verfügbar ist.

Wie schneidet Robotics ER 2 im Vergleich zu ER 1.6 ab?

Google berichtet von Verbesserungen in den Bereichen räumliches Denken, Werkzeugkoordination, videobasierte Fortschrittsverfolgung, Momentenermittlung und Sicherheitsbenchmarks. ER 2 führt zudem die Zusammenarbeit mehrerer Roboter ein, was ER 1.6 noch nicht unterstützte.

Kann das Modell externe Tools wie die Suche aufrufen?

Ja. Es kann nativ Tools wie die Google-Suche sowie jede benutzerdefinierte Funktion aufrufen, die ein Entwickler ihm zur Verfügung stellt. Dadurch kann ein Roboter während der Ausführung einer Aufgabe Informationen nachschlagen, anstatt sich ausschließlich auf sein trainiertes Wissen zu verlassen.

Wie geht es weiter?

Wenn Sie einen physischen KI-Agenten prototypisieren, ist der schnellste Weg, Google AI Studio zu öffnen, Robotics ER 2 zu laden und zu versuchen, eine einzelne Robotik-API als Tool anzubinden. Das große Ziel sind Multi-Roboter-Workflows, aber eine solide Orchestrierungsschleife für einen einzelnen Roboter ist der richtige erste Meilenstein. Das Modell bietet Ihnen genügend Spielraum in den Bereichen Planung, Videoverstånd und Sicherheit, um bereits am ersten Tag etwas Sinnvolles zu entwickeln.