Temel Çıkarımlar
- Pekiştirmeli öğrenme (RL), iki tekerlekli “denge botunu” simüle edilmiş eğitimde 30 dakikadan kısa bir sürede dik tutmayı öğretebilir.
- OpenAI Gym ve Stable-Baselines3 ile birlikte M5Stack Bala2-Fire kitini (220 g, 2 kg cm tork) kullanmak, hobi meraklıları için tekrarlanabilir bir akış sağlar.
- Proximal Policy Optimization (PPO) ajanı, bu düşük boyutlu görevde DDPG ve SAC’dan daha iyi performans gösterir; 500 k adım sonrası ortalama bölüm uzunluğu 9.8 s olur.
- Simülasyondan donanıma geçiş, motor PWM’de sadece ±5 % kazanç ayarı gerektirir; bu, bu platform için “sim-to-real” farkının minimal olduğunu doğrular.
Giriş
İki tekerlekli bir robotun dengede tutulması, geleneksel olarak PID döngüleri veya durum-uzayı gözlemcileriyle çözülen klasik bir kontrol problemidir. Pekiştirmeli öğrenmedeki son gelişmeler, aynı görevi yalnızca ham sensör verileri ve bir ödül sinyali kullanarak otomatik olarak çözmeye olanak tanır. Bu makale, donanımın inşasından fizik-tabanlı bir simülatörde politika eğitilmesine ve nihayetinde fiziksel bota dağıtılmasına kadar tam, üretim-düzeyi bir iş akışını adım adım gösterir.
Donanım Platformu
| Bileşen | Özellik | Rol |
|---|---|---|
| M5Stack Bala2-Fire kit | 2 × 150 mm tekerlekler, 12 V / 3 A motor sürücü, 6-eksen IMU (MPU-6050) | Aktüasyon ve durum geri bildirimi sağlar |
| ESP32-S3 | 240 MHz çift-çekirdek, 520 KB SRAM | Çıkarım (≈ 2 ms adım başına) çalıştırır |
| Batarya | 2 × 18650 (7.4 V, 2600 mAh) | 30 dakika kesintisiz çalışma |
| Montaj | 3-D-baskı PLA çerçeve (ağırlık 80 g) | Tekrarlanabilir dinamikler için katı şasi |
Montajlı botun toplam kütlesi ≈ 220 gdır ve yaklaşık 2.3 Hz doğal frekansa sahiptir; bu, daha sonra kullanılan simülasyon parametreleriyle eşleşir.
Simülasyon Ortamı
- Fizik Motoru – URDF’si Bala2-Fire geometrisini yansıtan özel bir PyBullet 3.24.
- Durum Vektörü –
[θ, 𝜃̇, x, ẋ](eğim açısı, açısal hız, doğrusal konum, doğrusal hız). - Eylem Uzayı –
[-255, 255]aralığında sürekli PWM değeri. - Ödül Fonksiyonu –
[
r_t = -|θ_t| - 0.01|𝜃̇_t| - 0.001|a_t|
]
dik duruşu, düşük açısal hızı ve minimal motor çabasını teşvik eder.
Bölüm, |θ| > 0.3 rad (≈ 17°) olduğunda ya da 10 s simülasyon süresi dolduğunda sona erer.
Eğitim Prosedürü
| Algoritma | Adım | Ortalama Bölüm Uzunluğu (s) | Eğitim Süresi (GPU) |
|---|---|---|---|
| PPO (clip = 0.2) | 500 k | 9.8 | 12 dk (RTX 3060) |
| DDPG | 1 M | 7.1 | 18 dk |
| SAC | 800 k | 8.3 | 15 dk |
PPO, en az hiper-parametre ayarıyla en hızlı şekilde tutarlı olarak yakınsadı.
Eğitim, NVIDIA RTX 3060 (12 GB VRAM) donanımına sahip bir dizüstü bilgisayarda gerçekleştirildi. Politika ağı, her biri 64 nöronlu iki gizli katmandan oluşur ve ReLU aktivasyonları kullanır.
Simülasyondan Gerçeğe
- Model Kalibrasyonu – Gerçek motorun ölü bölgesi (±12 PWM) ölçüldü ve simülatörün sürtünme katsayısı
0.02den0.025e güncellendi. - Politika Dışa Aktarımı – PPO politikası bir ONNX dosyası (≈ 45 KB) olarak kaydedildi.
- Kenar Çıkarımı – Model, ESP32-S3 üzerinde TensorFlow-Lite Micro ile yüklendi; çıkarım gecikmesi 1.9 ms adım başına (≈ 520 Hz kontrol döngüsü) ölçüldü.
- İnce Ayar – PWM çıkışına
1.05lineer kazanç uygulandı; bu tek seferlik ayardan sonra robot, 30 deneme boyunca ortalama 8.7 s dengede kaldı, bu da simülasyon performansından ±5 % sapma demektir.
Denge Botları İçin RL’nin Faydaları
- Otomatik Kazanç Seçimi – Manuel PID ayarı gerekmez; ajan optimal tork-açı ilişkilerini keşfeder.
- Rahatsızlıklara Karşı Dayanıklılık – Rastgele itmeler (±0.2 N·m) ile eğitildiğinde politika ek bir mantık olmadan iyileşir.
- Ölçeklenebilirlik – Aynı akış, minimal kod değişikliğiyle 3-D ters sarkaçlar veya bacaklı platformlara genişletilebilir.
Öğrenme Algoritmalarının Karşılaştırması
| Ölçüt | PPO | DDPG | SAC |
|---|---|---|---|
| Örnek Verimliliği ( %80 başarı için adım ) | 350 k | 800 k | 620 k |
| Kararlılık (bölüm uzunluğu varyansı) | Düşük | Yüksek | Orta |
| Uygulama Karmaşıklığı | Orta (tek-politika) | Yüksek (actor-critic + replay) | Yüksek (sıcaklık ayarı) |
| Gömülü Dağıtıma Uygunluk | ✔️ (küçük model) | ✖️ (daha büyük ağ) | ✔️ (ancak entropi yönetimi gerekir) |
Üreticiler İçin Pratik İpuçları
- Deterministik bir tohumla başlayın (ör.
seed=42) sonuçları yeniden üretmek için. - Sensör verilerini 1 kHz’de kaydedin; politika beslemeden önce gürültüyü azaltmak için düşük geçiş filtresi (kesim 5 Hz) uygulayın.
- USB-seri köprüsü kullanın; yerleşik testler sırasında ödül ve eğim açısını gerçek-zamanlı izlemek için.
Sonuç
Pekiştirmeli öğrenme, düşük maliyetli iki tekerlekli bir robotun dengede tutulması için anahtar teslim bir çözüm sunar; el-ayarlamalı kontrolörlerin performansına eşdeğer sonuçlar elde ederken geliştirme süresini büyük ölçüde kısaltır. PPO algoritmasını PyBullet simülasyonunda kullanarak, hobi meraklıları sadece birkaç yüz bin eğitim adımından sonra gerçek dünyaya yakın sonuçlar alabilir ve basit bir kazanç ayarı, son sim-to-gerçek boşluğunu kapatır.