Foxglove fügt KI-Werkzeuge für Robotik-Daten-Workflows hinzu

Foxglove hat eine neue intelligente KI-Schicht angekündigt, die Robotik-Entwicklern ermöglicht, multimodale Datensätze zu suchen, zu visualisieren, zu vergleichen, zu debuggen und zu kuratieren, indem sie einfach in natürlicher Sprache beschreiben, was sie benötigen. Foxgloves neue agentischen Fähigkeiten stehen über die Agent-Seitenleiste, einem eingebauten Agenten in der Foxglove-App, und dem Foxglove-MCP-Server zur Verfügung, der externen KI-Agenten die Interaktion mit Foxglove ermöglicht. Diese neuen KI-gestützten Funktionen automatisieren die Arbeit, die nötig ist, um rohe multimodale Daten in wertvolle Datensätze, Bewertungen und Erkenntnisse zu verwandeln, die Modelle und Leistung verbessern.

Foxglove stellte außerdem Semantic Search bereit, angetrieben vom offenen NVIDIA Cosmos-Weltmodellen, den Vergleichsmodus und Remote Access, neue Funktionen, die es Entwicklern erleichtern, kritische Ereignisse in großen Robotik-Datensätzen zu finden, das Systemverhalten über Läufe hinweg zu vergleichen und Roboter im Feld zu debuggen, ohne dass Ingenieure vor Ort sein müssen.

Robotik-Programme schreiten so schnell voran, wie Teams die Schleife zwischen einem Fehler im Feld und einer validierten Lösung schließen können. Heute verbraucht diese Schleife einen Großteil der Ingenieurskapazität eines Autonomie-Teams, während die meisten Daten, die eine Flotte sammelt, nie geprüft werden. Foxglove erhöht die Ausbeute der Daten, für die Teams bereits bezahlt haben, sie zu sammeln und zu speichern, und wandelt sie in mehr Modellverbesserungen pro Quartal um. Es entlastet Ingenieure für die Modellentwicklung und ermöglicht Teams, Feldvorfälle noch am selben Tag zu diagnostizieren, ohne einen Vor-Ort-Besuch zu planen.

Foxglove und NVIDIA kooperieren, um semantische Suche für Physical AI zu ermöglichen

Foxglove Semantic Search ermöglicht es Benutzern, ein Verhalten oder Szenario in natürlicher Sprache zu beschreiben, und Foxglove ruft passende multimodale Segmente aus großen Mengen unlabeled Daten ab. Jeder Treffer bleibt mit den synchronisierten Sensordaten, Telemetrie, Logs und Systemsignalen verbunden, die zu diesem Moment aufgezeichnet wurden, sodass Entwickler direkt vom Finden eines Ereignisses auf der Kamera zum Verständnis dessen übergehen, was der Rest des Roboters zu diesem Zeitpunkt tat.

Foxglove Semantic Search wird von NVIDIA Cosmos angetrieben, einem Video-Text-Embedding-Modell, das speziell für Physical AI entwickelt wurde. Allgemeine Bild-Text-Modelle werden auf Internetdaten trainiert und verlieren an Genauigkeit bei komplexen Manipulationsaufgaben, Fahrszenen und temporalen Aktionsdaten. NVIDIA Cosmos ist ein frontier-Foundation-Model, das auf Robotik, Driving und ego-zentrierten Human-Action-Daten trainiert wurde und State-of-the-Art-Abrufgenauigkeit bei Physical-AI-Benchmarks liefert. Foxglove und NVIDIA haben zusammengearbeitet, um Semantic Search, angetrieben von Cosmos, für Physical-AI-Teams bereitzustellen, mit vollständig verwalteter Indexierungs- und Inferenz-Infrastruktur, die keinen betrieblichen Aufwand oder Wartung erfordert.

In Kombination mit Foxgloves Bring-Your-Own-Storage (BYOS)-Architektur kann Semantic Search über rohe Logs indizieren und suchen, die direkt im Cloud-Speicher des Kunden abgelegt sind, ohne unnötige Daten-Duplikationen.

Produktionsdaten in einen Lernzyklus umwandeln

Wenn Robotik-Flotten wachsen, erzeugen Teams mehr Daten über mehr Roboter, Umgebungen und Modellversionen. Die Ereignisse, die Verbesserungen vorantreiben, sind selten, und ihr Wert hängt davon ab, wie schnell Entwickler sie finden, verstehen, was passiert ist, und sie in Korrekturen, Bewertungen oder Trainingsdaten umwandeln können.

Foxgloves neue Funktionen verbinden und beschleunigen jeden Schritt:

• Agent Sidebar koordiniert die Arbeit über die Plattform hinweg und ermöglicht Entwicklern, Daten zu finden, Visualisierungen zu erstellen, Fehler zu untersuchen, Läufe zu vergleichen und Ergebnisse zu Datensätzen zu kuratieren.
• Semantic Search angetrieben von NVIDIA Cosmos findet relevante Verhaltensweisen und Ereignisse in großen Mengen unlabeled Roboterdaten.
• Comparison Mode synchronisiert zwei oder mehr Läufe, sodass Teams verstehen können, wo sich das Verhalten über Modelle, Software-Versionen, Roboter oder Szenarien hinweg unterscheidet. Vergleiche sind ein kritisches Werkzeug, um Drift zwischen Modellversionen zu verstehen und jede Veröffentlichung zu validieren.
• Remote Access streamt jedes Topic von einem entfernten Roboter direkt in den Browser, sodass Ingenieure ein eingesetztes System in Echtzeit von überall aus beobachten und debuggen können. Kamera, Lidar, Telemetrie und Logs kommen mit niedriger Latenz in derselben Anwendung an, die Teams zur Visualisierung aufgezeichneter Daten nutzen, sodass Feldprobleme diagnostiziert werden können, ohne jemanden vor Ort zu schicken.

Jede heute angekündigte Fähigkeit beruht auf derselben Grundlage: zeitlich synchronisierte Daten von Kameras, Lidar, Radar, Transforms, Telemetrie und Logs, verbunden als ein einziger Datensatz dessen, was ein Roboter tatsächlich getan hat. Diese Basis macht agentische Workflows in Physical AI zuverlässig, wo jede Antwort gegenüber der physischen Welt Bestand haben muss. Wenn Unternehmen von einer Handvoll Robotern zu produktiven Flotten skalieren, ist Foxglove der Ort, an dem die gesammelten Daten zum Motor jeder Verbesserung werden, die sie ausliefern.

Für weitere Informationen besuchen Sie foxglove.dev.

Der Beitrag Foxglove adds AI tools for robotics data workflows erschien zuerst auf Engineering.com.