這篇來自 iThome 的報導內容非常豐富，完整介紹了 NVIDIA 在 2024 年 CoRL（Conference on Robot Learning）大會上發表的AI 驅動機器人開發工具與生態系統建設，以下是整理與重點摘要（繁體中文）：
🧠 核心目的
協助機器人開發者更快、更有效率地打造 AI 驅動的人形機器人與通用機器人
🌐 重點工具與發表內容
🛠️ 1. Isaac Lab 1.2
- 開源的機器人學習框架，基於 NVIDIA Omniverse 與 OpenUSD
- 支援訓練人形、四足與協作機器人
- 已被多家領先公司採用（如 Boston Dynamics、1X、Agility Robotics、小鵬機器人等）
- GitHub 開源連結
🤖 2. GR00T 專案（人形機器人發展藍圖）
提供 6 條完整的模組化工作流程：
| 模組 | 功能說明 |
|---|---|
| GR00T-Gen | 用生成式 AI 創建 OpenUSD 的 3D 環境 |
| GR00T-Mimic | 模仿學習與軌跡產生 |
| GR00T-Dexterity | 精密靈巧操控（Dexterous Manipulation） |
| GR00T-Control | 全身控制（Whole-body Control） |
| GR00T-Mobility | 移動與導航能力 |
| GR00T-Perception | 多模態感知整合（如影像、語音） |
🎥 3. Cosmos Tokenizer
- 開源高效影片與影像標記工具（tokenizer）
- 壓縮效能優秀：標記速度為其他工具的 12 倍
- 實現高畫質視覺重建，最小化失真與時間波動
- GitHub 開源連結
🎞️ 4. NeMo Curator
- 大規模影片處理管線
- 提供自動化的管道調度，支援多 GPU 多節點
- 處理速度為未優化流程的 7 倍
- 適用於超過 100PB 級別的資料
📚 推進機器人學習研究
- 共發表超過 23 篇論文，舉辦 9 場工作坊
- 重要研究成果：
- SkillGen：合成資料生成技術，減少人類標示成本
- HOVER：控制人形機器人運動與操作的基礎模型
🤝 生態合作與開發者支援
- Hugging Face x NVIDIA 合作：透過 LeRobot 與 Jetson 平台推進開源機器人研究
- NVIDIA 人形機器人開發者計劃現正開放申請
- 直播與辦公時間活動：支援開發者實務應用與答疑
⏱️ 發布時間整理
| 工具 / 專案 | 狀態 |
|---|---|
| Isaac Lab 1.2 | 已開源 |
| Cosmos Tokenizer | 已開源於 GitHub & Hugging Face |
| NeMo Curator | 預計本月底發布 |
| GR00T 工作流程 | 即將推出 |
如果你有：
- 想要從 Isaac Gym 移植到 Isaac Lab
- 想使用 Cosmos 處理你自己的影像/影片資料集
- 想建立完整的人形機器人訓練流程
我可以幫你設計 pipeline 或整合訓練流程，讓你更快上手。
是否有哪部分想深入應用？例如 Cosmos、GR00T 的工作流程或 NeMo 的影片管線？
沒有留言:
張貼留言