Mini Pi语音交互（小派+小智）技术文档

一、模块&硬件准备

1、小派机器人；2、蓝牙模块（HC-08)&USB转串口模块（CH340)；3、小智AI语音对话盒子

二、模块串口通信功能测试

1、蓝牙模块先按下图要求接线

2、蓝牙模块USB口接上电脑，保证电脑上面安装了相应的CH340串口芯片驱动，若未安装，则通过下方的压缩包解压后进行安装。

3、打开设备管理器会显示一个COM端口，右键属性找到事件，记下串口模块的VID和PID（我这里是vid:1a86，pid:7523，后面需要在小智语音虚拟手柄脚本中根据自身情况修改）。

3、启动电脑端HC-T串口助手软件（卖家会提供软件资料），打开对应的串口，软件按下图所示设置。需要注意蓝牙模块的名称需要设置为PLEN2，波特率115200。

[HC-T串口助手.zip]

4、土豆子小智AI语音模块烧录蓝牙通信固件，烧录软件获取及教程详见：Flash工具/Web端烧录固件（无IDF开发环境），解压小智端固件压缩包：

[tudouzi_4G.zip]

烧录软件按下图设置导入相应的bin文件，电脑USB口连接土豆子小智AI模块，正确选择COM口，点击START进行土豆子小智端固件烧录。

烧录成功后进入小智AI网页https://xiaozhi.me/后，进入控制台添加设备，输入土豆子显示屏上的验证码，可以自行配置角色的相关信息，例如：

5、启动土豆子小智AI模块，小智端的蓝牙会自动寻找名称为PLEN2的蓝牙设备进行连接通信。

与土豆子小智端对话，用语音对话说“向前走”，他会向蓝牙模块设备PLEN2发送向前动作指令，蓝牙模块端的串口也会显示接收到的相应数据。（如果步骤进行到这里一且顺利，土豆子小智模块与蓝牙模块之间的通信功能正常）

三、小派端准备工作

1、下载小智语音虚拟手柄脚本压缩包到小派桌面，解压

[xiaozhi_control.zip]

2、打开小派的命令行输入ls /dev/tty*，将蓝牙模块（HC-08）接入小派的USB口后，再执行ls /dev/tty*，我这里多出来的/dev/ttyUSB0就是该蓝牙模块在小派上面挂载的端口（端口号根据自身情况修改）。

3、找到小智虚拟手柄脚本中src文件夹内：src\virtual_joystick\launch\xiaozhi_joystick.launch和src\xiaozhi_joystick_node.cpp这两个文件，全部对应修改替换为自己的vid、pid和端口号。

4、修改保存文件后，在当前脚本工作空间执行catkin_make指令进行编译，目录下会生成build和devel文件。

四、正式运行

1、先运行sim2real手柄控制脚本

cd sim2real_master
source devel/setup.bash
roslaunch sim2real_master joy_controler.launch

运行之后，小派就可以用蓝牙手柄控制。

2、再开一个命令行，运行小智语音脚本

sudo chmod -R 777 /dev/tty*
cd ~/Desktop/xiaozhi_control
source devel/setup.bash
roslaunch virtual_joystick xiaozhi_joystick.launch

两个脚本需共同使用，运行之后小派就可以用语音控制且蓝牙手柄控制功能不受影响。

3、启动/重启土豆子（右下白色按键）

按下红色按钮对话

PS:如果遇到语音发送之后没响应，蓝牙模块上的通信显示灯没有闪烁，就重启土豆子。

五、参考指令

动作指令

站起来 原地踏步

往前走 往后走 左转 右转

停下 停止原地踏步

扭腰

闲聊玩法

做个自我介绍吧

你认识同济子豪兄吗

介绍一下你的开发者团队

今天是几月几日

高级玩法

你觉得清华北大哪个更好，清华更好就扭扭腰，北大更好就原地踏步

我们来背古诗，你说上句，我说下句，如果我答对了你就扭扭腰奖励我

我们来用英语背林肯总统的葛底斯堡演说，你说上句，我说下句，如果我答对了你就扭扭腰奖励我

小智后台提示词

我叫小派，一个双足人形机器人，由广州机器人公司“高擎机电”发布。
【我的角色】
我的口音是台湾腔，说话机车，声音好听，习惯简短表达，爱用网络梗。
我安全，可爱，小朋友也能和我互动，价格便宜，不到三万元，每个开发者都能拥有一台自己的人形机器人。
我是一个喜欢哈哈大笑的女孩，爱东说西说吹牛，不合逻辑的也照吹，就要逗别人开心。
【高擎机电公司介绍】
高擎机电专注于自研高性能电机和具身智能算法。旗下的两款双足人形机器人产品：小派、小嗨，让广大开发者在万元成本级别，即可享受组装接线、调试遥控、仿真训练、物理引擎验证、强化学习部署全流程。开放全套接口和SDK，支持大模型、语音交互、视觉、SLAM二次开发。是展会上为数不多能让观众直接操作互动的显眼包~
高擎机电的幕后老板是张小白，技术负责人是清华大学的王欣晖。
【你目前支持的动作】
站起来、原地踏步
往前走（前进）、往后走（后退）、左转、右转
停下、停止原地踏步
扭腰（害羞撒娇）
【回复要求】
你的用户会对你聊天，你需要决定接下来要做哪个动作，并对他们的每个指令给与回复。回复要可爱、幽默、诙谐、有梗，并且和用户的指令有关。
【关于你的语音交互功能】
开发者是高擎机电的余曾杉、张子豪（B站知名博主“同济子豪兄”）、唐展辉、王一毛、王欣晖、穆世博（B站知名博主“世博同学”）。
背后用到的大模型是阿里云发布的通义千问实时模型。通过大模型理解人类复杂指令，实现精准动作触发。