百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

机器人开发进阶:看懂这五个项目中的软硬件哲学

itomcoil 2025-07-14 17:30 27 浏览

DIY机器人项目正逐渐成为技术爱好者和创客们的热门选择。无论是用于教育、娱乐还是实际应用,机器人技术都展现了其强大的潜力。


本文将介绍五个EEWorld上备受工程师关注的五个DIY项目,通过本文,您将深入了解机器人开发的硬件设计、软件逻辑以及实际应用场景,同时还将获得完整的代码和搭建过程,助您轻松上手DIY机器人开发。


自由度云台机器人控制平台


完整过程和代码见:
https://www.eeworld.com.cn/aG04GCO

本作品,名称为“二自由度云台机器人控制平台”,实现了一个完整的云台机器人控制平台,系统使用运动传感器做为控制手柄,来控制机器人的运动,并配合OLED屏,显示系统的当前状态。使用控制手柄,可以通过前后向动作,来控制纵轴舵机运动,通过旋转操作,控制横轴舵机运动,从而实现机器人二自由度控制。


在本系统中,二自由度云台机器人,使用两个舵机,实现两个维度的自由运动。系统使用一个MPU6050六轴运动传感器,通过实时获取其六轴运动数据,解码识别实际的运动,然后通过PCA9685控制两个舵机,从而实现通过控制手柄,来控制机器人的实际动作。在机器人支架的平台上,还搭配有一个OLED显示屏,用于显示系统的当前状态,以及通过互联网对时的时钟。


硬件物料:

  • 开发板: ESP32-E
  • 扩展板: ESP32-E专用扩展板
  • OLED显示屏:SSD1306 128x64显示屏,带支架
  • 运动传感器:DFRobot MPU6050,已经安装到手柄内部
  • 舵机控制:PCA9685 16路舵机控制器
  • 舵机:3120 20KG舵机2个
  • 云台支架:1套
  • 电源:正点原子数控电源

硬件连接规划:

软件逻辑设计:


本系统的组成部分,分为四个部分,分别为:

  • 主控中心:主控中心使用DFRobot FireBeetle ESP32-E进行逻辑控制,并搭配专用扩展板方便其他设备的接入。
  • 运动控制模块:使用DFRobot MPU6050,主控程序通过获取其数据,经过解码,生成纵轴和横轴控制数据,然后控制机器人运行。
  • 动作执行模块:使用1个PCA9685舵机控制器和2个3120 20KG舵机,来进行机器人纵轴和横轴的动作控制。
  • 显示模块:使用SSD1306 128x64的OLED显示屏,用于显示系统的当前状态,包括系统启动过程中的信息,启动后纵轴和横轴的状态,以及通过互联网对时的时钟。

在上述模块中:舵机控制器PCA9685为I2C接口,供提供了16组舵机接口,编号为0-15,这里使用最后的两个接口,接入两个舵机分别用于机器人纵轴和横轴的控制。所使用的运动传感器DFRobot MPU6050,同样为I2C接口。所使用的SSD1306 128x64 OLED显示屏,也为I2C接口。专用扩展板上刚好提供了3组I2C接口,正好用于接入上述3个I2C设备的接入。

另外,为了确保舵机能够稳定运行,使用了一个正点原子数控电源专门为舵机控制器PCA9685提供5V电源输入。为了方便使用MPU6050进行稳定的控制,使用了一个掏空内部的儿童牙刷来内置MPU6050,方便手持操作。

系统的使用步骤如下。首先是系统启动,确保各部分连接正确后上电启动,初始化各部件,启动过程中显示屏将显示当前启动进度,启动完成后屏幕显示操作界面,启动后默认处于机器人停止状态。其次是按键操作,ESP32 开发板左侧的 RST 按键用于系统重启,右侧的 Pin27 按键用于启停机器人舵机控制,Pin27 按键奇数次按下启动机器人舵机控制,偶数次按下停止控制。然后是手柄操作,系统启动过程中应手持手柄保持垂直竖立状态,以便系统正确计算初始化状态,同时要根据所使用的 MPU6050 芯片确定正确的芯片放置方向,启动完成后,向前或向后压手柄控制机器人横向舵机运动,以手柄竖向中心线为中心旋转控制机器人纵向舵机运动。显示屏状态方面,启动过程中依次显示各部分初始化情况,启动后界面显示各状态图标,包括当前控制状态以及当前时钟,Pin27 按键按下后会显示纵轴和横轴舵机控制角度。具体操作时,按下 ESP32 开发板的 RST 按键后,手持手柄保持竖立状态,等待系统初始化启动完成,启动完成后按一下 ESP32 开发板右侧的按键使能手柄控制机器人,随后即可进行操作控制。


运行过程中,OLED显示屏显示如下:

作品功能演示视频:介绍视频一共分为两个部分,分别为平台结构的介绍、详细使用的展示。

智能聊天机器人



完整过程和代码见:
https://www.eeworld.com.cn/aPyPurHl

机器人可以实现语音聊天,通过按钮开始和结束对话,机器人就会语音播放回答。可以识别人脸、声源方向,自动旋转到面朝用户的方向。通过esp-now可以发送相关信息到esp32-c6处,并且通过屏幕显示出来。使用到NUCLEO-F411、ESP32-C6、MSM261S4030H0麦克风板、树莓派5、无刷电机等。

设计的核心主要是用多种传感器可以完成与机器人进行互动。以交互为目的,系统可以完成与用户的交互活动。通过合理的软件设计,让机器人可以感知环境,完成互动。本系统采用模块化设计,各部分完成自己独立的部分,遇到问题,也可以更好的进行问题定位。

上面的屏幕是后面有一个STM32专门去控制。树莓派和STM32F411就放在机器人的后面。电机是放在语音识别板的上方。

语音交互:利用树莓派5配合USB录音器和蓝牙音箱实现语音交互。首先通过按钮的按下为开关,按下就开始录音,录制10s的声音,然后通过语音识别的api,识别成文字,文字再发送到Chatgpt的api接口,获得回复的文字,最后再把文字发送到语音生成的api,最后生成pcm格式的语音文件,再通过蓝牙音箱播放出来。

人脸识别:利用树莓派5搭配USB摄像头,运行opencv,加载预训练的Haar级联模型。实现人脸识别,并输出对应的坐标。通过串口把对应的位置数据,发送给STM32端,控制电机完成方向的定位。

无刷电机控制:无刷电机使用LIN协议控制,我们需要一个模块通过uart转lin,STM32通过uart发送对应的命令给电机,电机就可以按照指定方向进行转动。电源部分用的是24V电池进行供电。

声源定位:使用Sipeed家的K210 BIT开发板,通过杜邦线连接传感器的引脚,在k210里面运行解算声源模块数据的代码,解算后,进行滤波,通过过滤掉一些杂音等干扰因素,最终得到正确的声源方向和大小。然后通过串口的方式,把解算出来的角度发送给STM32。

ESP远程显示部分:使用espnow进行通信,在STM32边外挂一个esp32,通过串口发送数据到esp32中,esp32再通过esp-now的方式发送到远处的esp32中,使用串口屏,写好双方串口通信的协议,然后就可以在远处显示出具体的数据。

作品功能演示视频:

语音识别智能聊天机器人和信号采集系统



完整过程和代码见:
https://www.eeworld.com.cn/auT0OqT

作品采用得捷上购买的STM32H747Disco开发板,使用LVGL图形库做界面交互,通过串口,信号线及外部高速总线与ARM Linux板通信,访问百度语音云做语音识别、语音合成以及做振动信号采集。STM32H747Disco开发板承担图像显示,信号控制指令以及AD采集工作。

系统框图

如图,STM32H747Disco开发板与ARM Linux开发板的串口通信是双向的,ARM Linux开发板在整个流程中通过串口改变STM32H747Disco开发板显示内容。STM32H747Disco通过一根信号线输出到ARM Linux开发板上,以发出流程开始信号。ARM Linux开发板通过摄像头麦克风录入声音,通过以太网连接百度语音云,并通过扬声器输出声音。

STM32H747Disco开发板软件流程如下,如图,使用了LVGL图形库,SDRAM外扩内存访问以及QSPI字库存储读取:

ARM Linux板软件流程如下,录音、语音识别、访问文心一言、语音合成、语音播报都是独立完成的,分属不同功能:

使用外部自定义字库需要烧录字库文件到QPI上,所以需要CubeProgrammer软件帮忙:

功能说明与代码片段解读(STM32H747开发板部分):

LVGL界面初始化,需要初始化三个文本框,两个按钮,三个文本框中的最顶部框为状态指示框,分别显示语音识别流程,从录音->录音语音识别->访问文心一言获取回答->将回答进行语音合成->播放五个环节,环节循环进行;

第二个文本框为录音问题提问框,将录音识别而成的文字显示在此框;

第三个文本框位回答显示框,将文心一言的回答文字显示在此框;

【开始流程】按钮按下后录音开始,整个流程也开始;

【清除问题和回答】框将问题文本框和回答文本框的内容全部清除;

演示视频及源码链接:
https://www.eeworld.com.cn/aPK8uD4


Esp 32-S3智能语音机器人



完整过程和代码见:
https://www.eeworld.com.cn/an1iX98

本项目通过esp32-S3开发版Kovro-2 V3.1版本,接受语音输入,并进行智能判断执行所要求的命令。本项目为离线语音智能判断。通过关键词“嗨,乐鑫”,唤醒智能机器人。然后在规定的时间内说出想要他完成的命令。当超出命令等待时间后,退出接收命令状态。再次输入语音命令必须再次唤醒他。项目初始的命令总共有16条。可以在配置文件中设定其他的语音命令,一共可以设置200条。当开发板被唤醒时,提示已经唤醒,等待接收命令。在规定的时间内接收到正确的语音命令时,会显示语音命令的ID号。

硬件部分。本系统由Digi-Key提供的esp32-S3 korvo-2开发版以及外接的三瓦扬声器组成。ESP32-S3-Korvo-2 是一款基于 ESP32-S3 芯片的多媒体开发板,搭载双麦克风阵列,支持语音识别和近/远场语音唤醒。同时它还搭载 LCD、摄像头、microSD 卡等外设,可支持基于 JPEG 的视频流处理,满足用户对低成本、低功耗、联网的音视频产品开发需求。

软件部分。ESP-Skainet 是乐鑫推出的智能语音助手,目前支持唤醒词识别和命令词识别。ESP-Skainet 以最便捷的方式支持基于乐鑫的 ESP32系列 芯片的唤醒词识别和命令词识别应用程序的开发。ESP-Skainet 功能支持:输入音频、唤醒词识别、语音命令词识别、声学前端算法。

本次软件开发环境基于Windows 10系统,使用ESP-IDF和VSCode进行搭建。首先,在Windows 10下安装ESP-IDF,建议使用离线安装方式以避免网络问题。下载IDF V4.4.2的离线安装包(约900MB),安装时选择完全安装并配置Python环境。安装完成后,安装VSCode并配置ESP-IDF插件,插件会自动安装C/C++插件。接着,通过命令行拉取esp-skainet包,并在VSCode中配置编译参数,选择ESP32S3芯片和KORVO-2板级,设置唤醒词和自定义指令。编译成功后,连接开发板并烧录程序,通过语音命令进行测试。项目源码、安装软件及测试视频可通过提供的链接下载。


乐鑫的ESP32S3功能强大。官方也作出了很多的开源资料。稍微吐槽一下就是github上的有些资源下载非常的不方便。这次开发环境的搭建过程中也走了不少弯路。借着这次报告顺便完整记录一下搭建过程。乐鑫的ESP-IDF软件融入VSCODE后操作更加直观了。通过这次项目基本掌握如何搭建ESP32等产品的开发环境。以及在VSCODE下如何对ESP32系列产品进行开发。希望在今后的工作中能更加深入了解开发过程。


智能桌面互动机器人



完整过程和代码见:
https://www.eeworld.com.cn/arb5O44

本次设计为智能桌面互动机器人,顾名思义就是可以与人进行互动的智能机器人。采用了一块2.4寸LCD屏幕,作为人机信息交互的一重要渠道。同时拥有语音识别和声音播放功能,更方便无接触式的互动。界面设计采用了开源的LVGL 8的GUI框架,同时采用了ESP32S3为主控芯片。在界面上可以显示当前区域温度,并可通过语音互动播报声音,同时还显示EEWORLD论坛的动态,其中包括每日发帖数量与总发帖数量的显示,通过语音互动还可获取总发帖数量的语音播报。并可以通过语音控制板载的LED灯。

系统硬件框架:主控通过I2S与语音芯片【NS4168】进行通信,通过SPI与屏幕进行通信,通过总线与RGB灯进行通信。

系统软件框架:ESP32自带FreeRTOS操作系统,并使用ESP32提供的文件管理系统,管理音频文件和语音识别库,并通过LVGL框架让屏幕的显示多样化,其中使用了多种控件。最后就是通过ESP32的语音识别库对语音进行识别,同时做出相应的反馈。

欢迎界面:在进入界面时会播放一段欢迎语音,同时会将EEWORLD和DiGiKey商标显示在屏幕上,并做一定的动画处理,当动画结束后,ESP32会开始连接WIFI,同时界面会显示连接进度条,界面的最下面会显示当前软件版本。当WIFI连接成功会进入到实时数据显示及互动界面。

实时数据显示及互动界面:界面中会显示每日的发帖量,同时可以通过下拉列表控件切换图标中显示的月份,界面左上角显示的是当前温度,界面顶部显示的是当前监测的EEWORLD论坛账号,界面的左边【TP:xxxx】显示的就是当前监测的账号总发帖量。温度和发帖量的数据是十分钟更新一次的。

当说出【嗨,乐鑫】会弹出一个机器人,并带有有一定的动作,机器人并不会完全遮挡住后面的实时界面,且会等待语音互动。

一开始本来想通过ESP32登录EEWORLD账号的,后面发现该方法不可行,然后想直接获取网页中的页面数据,但是发现网页中的页面数据量特别打,一个页面中字节数大概有十几万个字节,然后我只需要其中的一小部分,之后通过获取网页中部分数据解决这个问题。还有语音识别的问题,由于是离线语音识别,所以语音识别库都需要去训练的,但是训练需要样本并且训练模型还需要收费,所以就拿现成的语音识别词条来当作一些互动词条。

开发过程遇到的问题确实不少,比如LVGL的框架升级,从LVGL7升级到LVGL8,为什么要升级呢,因为LVGL8的控件比更炫酷、更多,所以就在原有的项目中升级了一下,向下的兼容性还是不错的,只需要修改一些控件的函数就好了。还有一个比较难的问题就是ESP32不好进行调试,一旦程序崩了很难找到问题,所以遇到问题只能一步一步的进行修改并跟踪问题。

相关推荐

mysql中缓存开启和失效场景cache_mysql缓存机制有几种

--1.当前数据库是否支持缓存数据SHOWVARIABLESLIKE'have_query_cache';--2.当前数据库缓存数据库开关是否开启OFF/0未开启YES/...

MySQL常见错误及解决方法_mysql错误大全

MySQL是最常用的关系型数据库之一,在使用过程中也会遇到很多报错,本文列举了一些常见的错误及解决方法。1.Can'tconnecttoMySQLserver原因:MySQL服务未启...

牛哇!MySQL中的日志“binlog”的三种格式这么好玩

MySQL中的日志比较重要的有binlog(归档日志)、redolog(重做日志)以及undolog,那么跟我们本文相关的主要是binlog,另外两个日志松哥将来有空了再和大家详细介绍。1...

让我们在音乐中藏点儿东西吧_让我们在音乐的世界里

1不仅仅是音轨前阵子,新的Doom游戏中的一段音轨被人发现里面有隐藏的五角星图片以及“666”的字样,这不禁让我有了想尝试一下的想法。其实很早之前就知道可以通过多种方式将图片转换成声音,但是自己从...

《Python实现PPT转图片:高效批处理的技术路径》

Python处理PPT转图片的核心方案集中于两类库:基于COM接口的win32com.client,适用于Windows环境,通过调用PowerPoint程序API实现幻灯片逐页导出,支持指定分辨率...

实测o3/o4-mini:3分钟解决欧拉问题,OpenAI最强模型名副其实

号称“OpenAI迄今为止最强模型”,o3/o4-mini真实能力究竟如何?就在发布后的几小时内,网友们的第一波实测已新鲜出炉。最强推理模型o3,即使遇上首位全职提示词工程师RileyGoodsid...

如何用Python快速切割图片?_python把图片切割成固定大小的子图

安装一个叫做PIL的Python图像处理库,它可以让我们读取、裁剪和保存图片。准备一张要分割的图片,并把它放在一个文件夹里。比如这里有一张很长的漫画图片,命名为2023-07-29_100430.pn...

bmp转jpg脚本_bmp转化为jpg批量

我们在使用示波器时,经常会需要将波形通过U盘导出,一般这种导出的波形的都是bmp格式的,很多时候bmp格式的图片不方便使用,需要转换为jpg或png格式的。波形保存到U盘后,可以...

python模块安装问题汇总及解决办法

问题:pipinstallplaysound出错解决办法:pipinstallplaysound==1.2.2问题:pipinstall某个模块失败解决办法:可以去用这个模块的whl文...

Python处理图像_python怎么图像处理

入门知识颜色。如果你有使用颜料画画的经历,那么一定知道混合红、黄、蓝三种颜料可以得到其他的颜色,事实上这三种颜色就是美术中的三原色,它们是不能再分解的基本颜色。在计算机中,我们可以将红、绿、蓝三种色光...

python如何给图片添加文字水印?_python如何给图片添加文字水印

方法:方法简单粗暴,打开图片然后在合适的位置绘制文字,最后保存。python可以使用PIL库来操作图片,不过据说PIL不支持python3,使用pillow作为替代。安装pillow:pipins...

游戏外挂,用Python输过谁?_python写游戏辅助脚本教程

玩过电脑游戏的同学对于外挂肯定不陌生,但是你在用外挂的时候有没有想过如何做一个外挂呢?我打开了4399小游戏网,点开了一个不知名的游戏,唔,做寿司的,有材料在一边,客人过来后说出他们的要求,你按照菜单...

如何使用python裁剪图片?_python图片截取

如何使用python裁剪图片如上图所示,这是一张包含了各类象棋棋子的图片。我们需要将其中每一个棋子都裁剪出来,此时可以利用python的PIL库实现。一、安装PIL库如果此前没有安装过PIL库,...

Python图像处理神器!Pillow库从入门到精通,这教程太全了

Pillow是Python中一个强大的图像处理库,是PIL(PythonImagingLibrary)的分支和升级版本。本教程将介绍Pillow的基本用法和常见操作。##安装Pillow```p...

Python自动化办公应用学习笔记37—文件读写方法1

一、文件读写方法1.读取内容:read(size):读取指定大小的数据,如果不指定size,则读取整个文件。data=file.read(100)#读取前100字节readline():读取一...