高级教程

技术架构

通信流程

1. 客户端启动

   • 连接云平台API
   • 验证账号密码
   • 上报本机内网IP
   • 保持心跳连接

2. 动作识别

   • 浏览器采集摄像头画面
   • MediaPipe提取骨骼数据
   • 云平台进行动作判定
   • 生成按键指令

3. 按键控制

   • 云平台通过内网IP推送指令
   • 客户端接收WebSocket消息
   • 解析按键指令
   • 执行按键模拟

网络拓扑

[云平台] <--- 互联网 ---> [浏览器]
                           |
                        局域网
                           |
                     [体感客户端]

服务端功能

功能入口

体感控制器的服务端功能位于云平台的AI体感模块中：

https://cloud.drea.cc/ai-sense

主要包含以下功能区：

个人游戏库

• 管理您创建的游戏
• 包含您关注的公开游戏
• 可以创建、编辑、删除游戏
• 支持游戏配置导出

个人动作库

• 管理您创建的动作
• 包含您关注的公开动作
• 可以创建、编辑、删除动作
• 支持动作配置导出

公开游戏库

• 浏览其他用户分享的游戏
• 按热度、最新排序
• 支持关注感兴趣的游戏
• 可以给游戏评分和反馈

公开动作库

• 浏览其他用户分享的动作
• 按热度、最新排序
• 支持关注实用的动作
• 可以给动作评分和反馈

动作配置

判定类型

位置判定（POSITION）

• 用途：判断特征点之间的相对位置关系
• 参数：
  • 基准点：作为参考的身体特征点
  • 判定点：需要判定位置的特征点

角度判定（ANGLE）

• 用途：判断由特征点形成的两个向量之间的夹角
• 参数：
  • 基准向量：由两个特征点形成的基准向量
  • 判定向量：由两个特征点形成的判定向量
  • 角度范围：允许的最小和最大角度值

距离判定（DISTANCE）

• 用途：判断特征点之间的相对距离
• 参数：
  • 基准点：作为参考的身体特征点
  • 判定点：需要判定距离的特征点
  • 距离范围：允许的最小和最大距离值

常见问题

连接问题

Q：无法连接服务端？ A：检查：

• 服务端地址是否正确
• 网络连接是否正常
• 账号密码是否正确

识别问题

Q：动作识别不准确？ A：建议：

• 确保光线充足
• 避免复杂背景
• 调整摄像头位置
• 放慢动作速度

按键问题

Q：按键模拟失效？ A：检查：

• 是否有管理员权限
• input.is_enable是否为true
• 是否被其他程序拦截
• 按键持续时间是否合适