Foxglove, robotik veri iş akışları için AI araçları ekliyor

Foxglove, robotik geliştiricilerin yalnızca doğal dilde ne istediklerini tanımlayarak çok modlu veri kümelerini aramasını, görselleştirmesini, karşılaştırmasını, hata ayıklamasını ve düzenlemesini sağlayan yeni akıllı bir AI katmanı duyurdu. Foxglove’un yeni ajan yetenekleri, Foxglove uygulaması içinde yerleşik bir ajan olan Agent Sidebar ve dış AI ajanlarının Foxglove ile etkileşime girmesini sağlayan Foxglove MCP sunucusu üzerinden kullanılabilir. Bu yeni AI destekli yetenekler, ham çok modlu verileri yüksek değerli veri kümelerine, değerlendirmelere ve modelleri ve performansı iyileştiren içgörülere dönüştürmek için gereken işi otomatikleştirir.

Foxglove ayrıca açık NVIDIA Cosmos dünya modelleriyle desteklenen Semantic Search, Comparison Mode ve Remote Access'i tanıttı; bu yeni yetenekler geliştiricilerin büyük robotik veri kümelerinde kritik olayları bulmasını, çalıştırmalar arasındaki sistem davranışını karşılaştırmasını ve mühendisleri sahada göndermeye gerek kalmadan robotları hata ayıklamasını kolaylaştırır.

Robotik programlar, sahadaki bir hatayı doğrulanmış bir düzeltmeyle kapatabilen ekiplerin hızıyla ilerler. Bugün bu döngü, bir otonomi ekibinin mühendislik kapasitesinin büyük bir kısmını tüketirken, filonun topladığı verilerin çoğu hiç incelenmez. Foxglove, ekiplerin zaten toplamak ve depolamak için ödediği verilerin verimliliğini artırır, bunları çeyrek başına daha fazla model iyileştirmesine dönüştürür. Mühendisleri model geliştirme için serbest bırakır ve ekiplerin sahadaki olayları aynı gün teşhis etmesini sağlar, yerinde bir ziyaret planlamaya gerek kalmaz.

Foxglove ve NVIDIA, fiziksel AI'ye semantik arama getirmek için iş birliği yapıyor

Foxglove Semantic Search, kullanıcıların doğal dilde bir davranış veya senaryo tanımlamasına olanak tanır ve Foxglove, büyük miktarda etiketlenmemiş veri arasından eşleşen çok modlu segmentleri getirir. Her sonuç, o an etrafında kaydedilen senkronize sensör verileri, telemetri, günlükler ve sistem sinyalleriyle bağlantılı kalır, böylece geliştiriciler bir olayı kamerada bulmaktan robotun o anda ne yaptığını anlamaya doğrudan geçebilir.

Foxglove Semantic Search, fiziksel AI için özel olarak oluşturulmuş bir video-metin gömme modeli olan NVIDIA Cosmos tarafından desteklenir; bu model, internet verileri üzerinde eğitilmiş genel amaçlı görüntü-metin modellerinin karmaşık manipülasyon görevleri, sürüş sahneleri ve zamanlı eylem verileri üzerindeki doğruluğunu kaybetmesinin önüne geçer. NVIDIA Cosmos, robotik, sürüş ve ego-merkezli insan eylem verileriyle eğitilmiş bir sınır modelidir ve fiziksel AI ölçütlerinde son-sınıf geri getirme doğruluğu sunar. Foxglove ve NVIDIA, Cosmos destekli Semantic Search'ü fiziksel AI ekiplerine getirmek için iş birliği yaptı; tamamen yönetilen indeksleme ve çıkarım altyapısı, sıfır operasyonel yük ve bakım gerektirir.

Foxglove’un Bring-Your-Own-Storage (BYOS) mimarisiyle birleştirildiğinde, Semantic Search, müşteri bulut depolamasında doğrudan saklanan ham günlükler üzerinde indeksleme ve arama yapabilir, veri gereksiz yere kopyalanmaz.

Üretim verilerini öğrenme döngüsüne dönüştürmek

Robotik filolar ölçeklendikçe, ekipler daha fazla robot, ortam ve model sürümü arasında daha fazla veri üretir. İyileştirmeyi tetikleyen olaylar nadirdir ve değeri, geliştiricilerin bunları ne kadar hızlı bulabildiğine, ne olduğunu anlayabildiğine ve düzeltmelere, değerlendirmelere veya eğitim verisine dönüştürebildiğine bağlıdır.

Foxglove’un yeni yetenekleri her adımı bağlar ve hızlandırır:

• Agent Sidebar platform genelinde çalışmayı koordine eder, geliştiricilerin veri bulmasını, görselleştirmeler oluşturmasını, hataları incelemesini, çalıştırmaları karşılaştırmasını ve sonuçları veri kümelerine derlemesini sağlar.
• Semantic Search NVIDIA Cosmos ile desteklenir ve etiketlenmemiş robot verilerinin büyük hacimlerinde ilgili davranış ve olayları bulur.
• Comparison Mode iki veya daha fazla çalıştırmayı senkronize eder, böylece ekipler davranışın model, yazılım sürümü, robot veya senaryo bazında nerede ayrıştığını anlayabilir. Karşılaştırmalar, model sürümleri arasındaki kaymayı anlamak ve her sürümü doğrulamak için kritik bir araçtır.
• Remote Access uzak bir robotun tüm konularını doğrudan tarayıcıya akıtarak mühendislerin herhangi bir yerden gerçek zamanlı olarak dağıtılmış bir sistemi gözlemlemesini ve hata ayıklamasını sağlar. Kamera, lidar, telemetri ve günlükler, ekiplerin kaydedilen verileri görselleştirmek için kullandığı aynı uygulamada düşük gecikmeyle gelir, böylece saha sorunları yerinde bir ziyaret gerektirmeden teşhis edilebilir.

Bugün duyurulan her yetenek aynı temele dayanır: kameralar, lidar, radar, dönüşümler, telemetri ve günlüklerden zaman-senkronize veri, robotun gerçekte ne yaptığının tek bir kaydı olarak bağlanır. Bu temel, her cevabın fiziksel dünyaya karşı dayanması gereken Fiziksel AI’da ajan-tabanlı iş akışlarını güvenilir kılar. Şirketler birkaç robottan üretimdeki filolara ölçeklendikçe, Foxglove, topladıkları verilerin her gönderdikleri iyileştirmenin motoru haline geldiği yerdir.

Daha fazla bilgi için foxglove.dev adresini ziyaret edin.

The post Foxglove adds AI tools for robotics data workflows appeared first on Engineering.com.