MCP-Implementierung für den HUTB-Simulator

Ermöglicht die Interaktion großer Sprachmodelle mit verkörperten Menschen, autonomen Fahrzeugen und Drohnen basierend auf MCP.

🏗️ Projektarchitektur

graph LR
 A[用户] --> B[人机界面：语音对话/键盘交互]
 B --> C[FastMCP 工具层]
 C --> D[HUTB 模拟器 API 客户端]
 C --> E[Deepseek AI]
 
 style B fill:#e1f5fe
 style C fill:#ccffcc
 style D fill:#fff3e0
 style E fill:#f3e5f5

Related MCP server: Robot Navigation MCP Server

1. Bereitstellung und Ausführung

Empfohlene Hard- und Software für den Betrieb

• Intel i7 Gen 9. - 11.+ / AMD Ryzen 9+

• +16 GB Arbeitsspeicher

• NVIDIA RTX 3070+

• Windows 10/11

Doppelklicken Sie auf mcp.bat, um den Simulator zu starten (beim ersten Start werden die entsprechenden Abhängigkeiten heruntergeladen, dies kann einige Zeit in Anspruch nehmen).

1.1 Häufige Dialoge

连接服务器
设置雨天天气条件
生成车辆
开启自动驾驶
生成行人（默认开启自由移动）
切换视角
切换第三人称视角ID
切换第一人称视角ID
切换旁观者视角
开启录制
结束录制

2. Implementierung

2.1 Großes Sprachmodell

HUTB-Intelligenzassistent basierend auf dem FastMCP-Framework .

👁 Image

2.2 Interaktionsverbesserung

(Noch zu implementieren) Der gesamte Workflow für Spracherkennung und -synthese umfasst nacheinander: Mikrofon / Webbrowser, Spracherkennung (Dialekte, Sprache älterer Menschen: PaddleSpeech), QWen/DeepSeek-Sprachmodell, Streaming-Sprachsynthese PP-TTS (Sprachausgabe/Steuerung des Simulationsmodells oder physischer Roboter).

2.3 Sonstiges: Aufbau der Simulationsumgebung für humanoide Roboter

3. Referenzen

• Github-Assistent basierend auf dem FastMCP-Framework

• carla-mcp

• NetEase Cloud Music MCP-Controller

• Tutorial zur Nutzung der Simulationsumgebung für Roboter

• 3D-Modelle für Roboter

• Integration und Debugging des PR2-Roboters basierend auf der Unreal Engine (modelliert gemäß OpenSim)

• Training von MuJoCo und echten humanoiden Robotern beim Gehen

Resources

• GitHub Repository
Need Help?Related Servers