百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

机器人开发进阶:看懂这五个项目中的软硬件哲学

itomcoil 2025-07-14 17:30 2 浏览

DIY机器人项目正逐渐成为技术爱好者和创客们的热门选择。无论是用于教育、娱乐还是实际应用,机器人技术都展现了其强大的潜力。


本文将介绍五个EEWorld上备受工程师关注的五个DIY项目,通过本文,您将深入了解机器人开发的硬件设计、软件逻辑以及实际应用场景,同时还将获得完整的代码和搭建过程,助您轻松上手DIY机器人开发。


自由度云台机器人控制平台


完整过程和代码见:
https://www.eeworld.com.cn/aG04GCO

本作品,名称为“二自由度云台机器人控制平台”,实现了一个完整的云台机器人控制平台,系统使用运动传感器做为控制手柄,来控制机器人的运动,并配合OLED屏,显示系统的当前状态。使用控制手柄,可以通过前后向动作,来控制纵轴舵机运动,通过旋转操作,控制横轴舵机运动,从而实现机器人二自由度控制。


在本系统中,二自由度云台机器人,使用两个舵机,实现两个维度的自由运动。系统使用一个MPU6050六轴运动传感器,通过实时获取其六轴运动数据,解码识别实际的运动,然后通过PCA9685控制两个舵机,从而实现通过控制手柄,来控制机器人的实际动作。在机器人支架的平台上,还搭配有一个OLED显示屏,用于显示系统的当前状态,以及通过互联网对时的时钟。


硬件物料:

  • 开发板: ESP32-E
  • 扩展板: ESP32-E专用扩展板
  • OLED显示屏:SSD1306 128x64显示屏,带支架
  • 运动传感器:DFRobot MPU6050,已经安装到手柄内部
  • 舵机控制:PCA9685 16路舵机控制器
  • 舵机:3120 20KG舵机2个
  • 云台支架:1套
  • 电源:正点原子数控电源

硬件连接规划:

软件逻辑设计:


本系统的组成部分,分为四个部分,分别为:

  • 主控中心:主控中心使用DFRobot FireBeetle ESP32-E进行逻辑控制,并搭配专用扩展板方便其他设备的接入。
  • 运动控制模块:使用DFRobot MPU6050,主控程序通过获取其数据,经过解码,生成纵轴和横轴控制数据,然后控制机器人运行。
  • 动作执行模块:使用1个PCA9685舵机控制器和2个3120 20KG舵机,来进行机器人纵轴和横轴的动作控制。
  • 显示模块:使用SSD1306 128x64的OLED显示屏,用于显示系统的当前状态,包括系统启动过程中的信息,启动后纵轴和横轴的状态,以及通过互联网对时的时钟。

在上述模块中:舵机控制器PCA9685为I2C接口,供提供了16组舵机接口,编号为0-15,这里使用最后的两个接口,接入两个舵机分别用于机器人纵轴和横轴的控制。所使用的运动传感器DFRobot MPU6050,同样为I2C接口。所使用的SSD1306 128x64 OLED显示屏,也为I2C接口。专用扩展板上刚好提供了3组I2C接口,正好用于接入上述3个I2C设备的接入。

另外,为了确保舵机能够稳定运行,使用了一个正点原子数控电源专门为舵机控制器PCA9685提供5V电源输入。为了方便使用MPU6050进行稳定的控制,使用了一个掏空内部的儿童牙刷来内置MPU6050,方便手持操作。

系统的使用步骤如下。首先是系统启动,确保各部分连接正确后上电启动,初始化各部件,启动过程中显示屏将显示当前启动进度,启动完成后屏幕显示操作界面,启动后默认处于机器人停止状态。其次是按键操作,ESP32 开发板左侧的 RST 按键用于系统重启,右侧的 Pin27 按键用于启停机器人舵机控制,Pin27 按键奇数次按下启动机器人舵机控制,偶数次按下停止控制。然后是手柄操作,系统启动过程中应手持手柄保持垂直竖立状态,以便系统正确计算初始化状态,同时要根据所使用的 MPU6050 芯片确定正确的芯片放置方向,启动完成后,向前或向后压手柄控制机器人横向舵机运动,以手柄竖向中心线为中心旋转控制机器人纵向舵机运动。显示屏状态方面,启动过程中依次显示各部分初始化情况,启动后界面显示各状态图标,包括当前控制状态以及当前时钟,Pin27 按键按下后会显示纵轴和横轴舵机控制角度。具体操作时,按下 ESP32 开发板的 RST 按键后,手持手柄保持竖立状态,等待系统初始化启动完成,启动完成后按一下 ESP32 开发板右侧的按键使能手柄控制机器人,随后即可进行操作控制。


运行过程中,OLED显示屏显示如下:

作品功能演示视频:介绍视频一共分为两个部分,分别为平台结构的介绍、详细使用的展示。

智能聊天机器人



完整过程和代码见:
https://www.eeworld.com.cn/aPyPurHl

机器人可以实现语音聊天,通过按钮开始和结束对话,机器人就会语音播放回答。可以识别人脸、声源方向,自动旋转到面朝用户的方向。通过esp-now可以发送相关信息到esp32-c6处,并且通过屏幕显示出来。使用到NUCLEO-F411、ESP32-C6、MSM261S4030H0麦克风板、树莓派5、无刷电机等。

设计的核心主要是用多种传感器可以完成与机器人进行互动。以交互为目的,系统可以完成与用户的交互活动。通过合理的软件设计,让机器人可以感知环境,完成互动。本系统采用模块化设计,各部分完成自己独立的部分,遇到问题,也可以更好的进行问题定位。

上面的屏幕是后面有一个STM32专门去控制。树莓派和STM32F411就放在机器人的后面。电机是放在语音识别板的上方。

语音交互:利用树莓派5配合USB录音器和蓝牙音箱实现语音交互。首先通过按钮的按下为开关,按下就开始录音,录制10s的声音,然后通过语音识别的api,识别成文字,文字再发送到Chatgpt的api接口,获得回复的文字,最后再把文字发送到语音生成的api,最后生成pcm格式的语音文件,再通过蓝牙音箱播放出来。

人脸识别:利用树莓派5搭配USB摄像头,运行opencv,加载预训练的Haar级联模型。实现人脸识别,并输出对应的坐标。通过串口把对应的位置数据,发送给STM32端,控制电机完成方向的定位。

无刷电机控制:无刷电机使用LIN协议控制,我们需要一个模块通过uart转lin,STM32通过uart发送对应的命令给电机,电机就可以按照指定方向进行转动。电源部分用的是24V电池进行供电。

声源定位:使用Sipeed家的K210 BIT开发板,通过杜邦线连接传感器的引脚,在k210里面运行解算声源模块数据的代码,解算后,进行滤波,通过过滤掉一些杂音等干扰因素,最终得到正确的声源方向和大小。然后通过串口的方式,把解算出来的角度发送给STM32。

ESP远程显示部分:使用espnow进行通信,在STM32边外挂一个esp32,通过串口发送数据到esp32中,esp32再通过esp-now的方式发送到远处的esp32中,使用串口屏,写好双方串口通信的协议,然后就可以在远处显示出具体的数据。

作品功能演示视频:

语音识别智能聊天机器人和信号采集系统



完整过程和代码见:
https://www.eeworld.com.cn/auT0OqT

作品采用得捷上购买的STM32H747Disco开发板,使用LVGL图形库做界面交互,通过串口,信号线及外部高速总线与ARM Linux板通信,访问百度语音云做语音识别、语音合成以及做振动信号采集。STM32H747Disco开发板承担图像显示,信号控制指令以及AD采集工作。

系统框图

如图,STM32H747Disco开发板与ARM Linux开发板的串口通信是双向的,ARM Linux开发板在整个流程中通过串口改变STM32H747Disco开发板显示内容。STM32H747Disco通过一根信号线输出到ARM Linux开发板上,以发出流程开始信号。ARM Linux开发板通过摄像头麦克风录入声音,通过以太网连接百度语音云,并通过扬声器输出声音。

STM32H747Disco开发板软件流程如下,如图,使用了LVGL图形库,SDRAM外扩内存访问以及QSPI字库存储读取:

ARM Linux板软件流程如下,录音、语音识别、访问文心一言、语音合成、语音播报都是独立完成的,分属不同功能:

使用外部自定义字库需要烧录字库文件到QPI上,所以需要CubeProgrammer软件帮忙:

功能说明与代码片段解读(STM32H747开发板部分):

LVGL界面初始化,需要初始化三个文本框,两个按钮,三个文本框中的最顶部框为状态指示框,分别显示语音识别流程,从录音->录音语音识别->访问文心一言获取回答->将回答进行语音合成->播放五个环节,环节循环进行;

第二个文本框为录音问题提问框,将录音识别而成的文字显示在此框;

第三个文本框位回答显示框,将文心一言的回答文字显示在此框;

【开始流程】按钮按下后录音开始,整个流程也开始;

【清除问题和回答】框将问题文本框和回答文本框的内容全部清除;

演示视频及源码链接:
https://www.eeworld.com.cn/aPK8uD4


Esp 32-S3智能语音机器人



完整过程和代码见:
https://www.eeworld.com.cn/an1iX98

本项目通过esp32-S3开发版Kovro-2 V3.1版本,接受语音输入,并进行智能判断执行所要求的命令。本项目为离线语音智能判断。通过关键词“嗨,乐鑫”,唤醒智能机器人。然后在规定的时间内说出想要他完成的命令。当超出命令等待时间后,退出接收命令状态。再次输入语音命令必须再次唤醒他。项目初始的命令总共有16条。可以在配置文件中设定其他的语音命令,一共可以设置200条。当开发板被唤醒时,提示已经唤醒,等待接收命令。在规定的时间内接收到正确的语音命令时,会显示语音命令的ID号。

硬件部分。本系统由Digi-Key提供的esp32-S3 korvo-2开发版以及外接的三瓦扬声器组成。ESP32-S3-Korvo-2 是一款基于 ESP32-S3 芯片的多媒体开发板,搭载双麦克风阵列,支持语音识别和近/远场语音唤醒。同时它还搭载 LCD、摄像头、microSD 卡等外设,可支持基于 JPEG 的视频流处理,满足用户对低成本、低功耗、联网的音视频产品开发需求。

软件部分。ESP-Skainet 是乐鑫推出的智能语音助手,目前支持唤醒词识别和命令词识别。ESP-Skainet 以最便捷的方式支持基于乐鑫的 ESP32系列 芯片的唤醒词识别和命令词识别应用程序的开发。ESP-Skainet 功能支持:输入音频、唤醒词识别、语音命令词识别、声学前端算法。

本次软件开发环境基于Windows 10系统,使用ESP-IDF和VSCode进行搭建。首先,在Windows 10下安装ESP-IDF,建议使用离线安装方式以避免网络问题。下载IDF V4.4.2的离线安装包(约900MB),安装时选择完全安装并配置Python环境。安装完成后,安装VSCode并配置ESP-IDF插件,插件会自动安装C/C++插件。接着,通过命令行拉取esp-skainet包,并在VSCode中配置编译参数,选择ESP32S3芯片和KORVO-2板级,设置唤醒词和自定义指令。编译成功后,连接开发板并烧录程序,通过语音命令进行测试。项目源码、安装软件及测试视频可通过提供的链接下载。


乐鑫的ESP32S3功能强大。官方也作出了很多的开源资料。稍微吐槽一下就是github上的有些资源下载非常的不方便。这次开发环境的搭建过程中也走了不少弯路。借着这次报告顺便完整记录一下搭建过程。乐鑫的ESP-IDF软件融入VSCODE后操作更加直观了。通过这次项目基本掌握如何搭建ESP32等产品的开发环境。以及在VSCODE下如何对ESP32系列产品进行开发。希望在今后的工作中能更加深入了解开发过程。


智能桌面互动机器人



完整过程和代码见:
https://www.eeworld.com.cn/arb5O44

本次设计为智能桌面互动机器人,顾名思义就是可以与人进行互动的智能机器人。采用了一块2.4寸LCD屏幕,作为人机信息交互的一重要渠道。同时拥有语音识别和声音播放功能,更方便无接触式的互动。界面设计采用了开源的LVGL 8的GUI框架,同时采用了ESP32S3为主控芯片。在界面上可以显示当前区域温度,并可通过语音互动播报声音,同时还显示EEWORLD论坛的动态,其中包括每日发帖数量与总发帖数量的显示,通过语音互动还可获取总发帖数量的语音播报。并可以通过语音控制板载的LED灯。

系统硬件框架:主控通过I2S与语音芯片【NS4168】进行通信,通过SPI与屏幕进行通信,通过总线与RGB灯进行通信。

系统软件框架:ESP32自带FreeRTOS操作系统,并使用ESP32提供的文件管理系统,管理音频文件和语音识别库,并通过LVGL框架让屏幕的显示多样化,其中使用了多种控件。最后就是通过ESP32的语音识别库对语音进行识别,同时做出相应的反馈。

欢迎界面:在进入界面时会播放一段欢迎语音,同时会将EEWORLD和DiGiKey商标显示在屏幕上,并做一定的动画处理,当动画结束后,ESP32会开始连接WIFI,同时界面会显示连接进度条,界面的最下面会显示当前软件版本。当WIFI连接成功会进入到实时数据显示及互动界面。

实时数据显示及互动界面:界面中会显示每日的发帖量,同时可以通过下拉列表控件切换图标中显示的月份,界面左上角显示的是当前温度,界面顶部显示的是当前监测的EEWORLD论坛账号,界面的左边【TP:xxxx】显示的就是当前监测的账号总发帖量。温度和发帖量的数据是十分钟更新一次的。

当说出【嗨,乐鑫】会弹出一个机器人,并带有有一定的动作,机器人并不会完全遮挡住后面的实时界面,且会等待语音互动。

一开始本来想通过ESP32登录EEWORLD账号的,后面发现该方法不可行,然后想直接获取网页中的页面数据,但是发现网页中的页面数据量特别打,一个页面中字节数大概有十几万个字节,然后我只需要其中的一小部分,之后通过获取网页中部分数据解决这个问题。还有语音识别的问题,由于是离线语音识别,所以语音识别库都需要去训练的,但是训练需要样本并且训练模型还需要收费,所以就拿现成的语音识别词条来当作一些互动词条。

开发过程遇到的问题确实不少,比如LVGL的框架升级,从LVGL7升级到LVGL8,为什么要升级呢,因为LVGL8的控件比更炫酷、更多,所以就在原有的项目中升级了一下,向下的兼容性还是不错的,只需要修改一些控件的函数就好了。还有一个比较难的问题就是ESP32不好进行调试,一旦程序崩了很难找到问题,所以遇到问题只能一步一步的进行修改并跟踪问题。

相关推荐

基于Python开发的家居用品外贸网站(B2B企业官网)

作为一名程序员,平时除了本职工作,我也会利用业余时间做一些兼职和副业,大部分的私活都是从某鱼和CSDN接的,有些是别人介绍的。最近刚好接到了一个外贸企业网站的开发需求,客户是一家位于深圳的家居用品公司...

摄像头视频流处理方法总结,如何掌握视频流处理技巧?

摄像头视频流处理是指其技术本质、关键处理流程和核心目标。1.视频流的定义视频流(VideoStream)是摄像头连续采集图像帧(frame),并以压缩编码格式(如H.264/H.265)传输或存储...

大学生机器人开发辅导|代码、机构到控制全链路进阶

想做机器人项目,却苦于不会硬件、算法和代码?SRTP、大创、全国竞赛动手项目无从下手?Arduino、STM32、RaspberryPi模块让你头大?想在毕业设计、创新实践、社团活动做出有亮点的机器...

OpenCV实现手势音量控制(opencv按钮)

前言:Hello大家好,我是Dream。今天来学习一下如何使用OpenCV实现手势音量控制,欢迎大家一起前来探讨学习~一、需要的库及功能介绍本次实验需要使用OpenCV和mediapipe库进行手...

DIY激光枪薄纱蟑螂!AI杀蚊子博士新作,项目已开源

萧箫发自凹非寺量子位|公众号QbitAI几个世纪来,人类都处在被蟑螂支配的恐惧中。但比蟑螂更恐怖的,是打不死还消失了的蟑螂……现在,一位博士搞出了一套自动识别并薄(爆)纱(杀)蟑螂的激光“炮...

为了杀蚊子,这位博士用树莓派DIY了一把激光枪

金磊发自凹非寺量子位报道|公众号QbitAI世人苦蚊子久矣。尤其在夏夜,耳边嗡嗡作响,甚至还得与其“挑灯夜战”个三百回合。为此,一个国外博士便DIY了一种高端的杀蚊方式:计算机视觉精准定...

草根PLC革命:低价魔改开源方案对决高价LabVIEW工业视觉系统!

魔改方案:三菱FX5U+树莓派魔改架构硬件清单创新设计:双核协同架构:PLC负责实时控制+树莓派运行AI算法EtherCAT菊花链:省交换机成本,布线效率提升70%五大开源工具:CODESYSR...

机器人开发进阶:看懂这五个项目中的软硬件哲学

DIY机器人项目正逐渐成为技术爱好者和创客们的热门选择。无论是用于教育、娱乐还是实际应用,机器人技术都展现了其强大的潜力。本文将介绍五个EEWorld上备受工程师关注的五个DIY项目,通过本文,您将深...

树莓派到底是什么?能干什么?有必要买吗?

很多人疑惑,树莓派到底是什么?能干什么?有必要买吗?今天我带着这三个疑惑给大家解答;一、树莓派到底是什么?树莓派通俗的理解就是一台便携式小型电脑,起码最新的树莓派4当一台电脑是可以的;往深了说,他可以...

用腾讯优图AI视觉模组做一个驾驶疲劳监测仪

道路千万条,安全第一条,相信每个人都是牢记于心的,“喝酒不开车,开车不喝酒”其实不难,难的是防范始料未及的事件,疲倦就是众多始料未及事件中,杀伤力稳居前排的,前一秒心里还在想坚持坚持,下一秒可能就失去...

Z410升级树莓派4B机型终于和大家见面了

*Z410-4B入门二次开发平台*经过近1年的反复测试,Z410升级树莓派4B的机型终于和大家见面了!Z410机型设计的初衷,就是想为大家提供一款基础的、开源的、高性价比、可扩展、可进行二次开发的无人...

有保险柜怕不安全,用树莓派制作一款只有刷脸才能开的保险柜吧

眨眨眼睛就能保住身家,好过记住密码或拿着钥匙,你的脸就是保险柜的钥匙!这个作品将展示给大家如何用树莓派和摄像头制作一个人脸识别的保险柜,当然,如果不慎毁容或整容,不好意思。。。直接拿锤子砸了吧软件部分...

项目分享|仅需1板卡+1摄像头,3步完成人脸喜怒哀乐识别

使用OpenCV、TensorFlow和Keras,基于RaspberryPi进行情绪识别,你的心情一览无余。面部表情识别系统可用于多种应用,可以用来研究或分析人的情绪。许多公司正在植入...

价值8美元的OpenAsk收费问题回答:孩子小学五年级如何入门编程?

从今天起,给大家持续更新OpenAsk上的一些收费问题的回答系列,内容信不信由你,但是如果您仔细看了分析后会说,真香。#少儿编程是智商税吗#“更多内容欢迎关注-司马南柯一梦”(欢迎随意转发)下面是一位...

再见 Pycharm,这款开箱即用的轻量级神器你值得拥有

作者:豆豆来源:Python技术如果你问我最好用的IDE是什么,那我肯定会毫不犹豫的告诉你Pycharm。毕竟jetbrains出品必属精品。但对于很多初学者来讲,Pycharm显得略笨...