基于颜色特征的筒纱分拣机器人识别定位方法

针对筒纱分拣机器人作业目标的表面纹理复杂、位置随机摆放等干扰因素的问题,课题组提出了基于颜色特征的筒纱识别定位方法。构建了具有视觉感知的4自由度DOBOT筒纱分拣机器人系统,通过视觉系统获取筒纱多目标的图像,采用对图像进行预处理的算法来提高分拣目标的对比度;将作业目标由RGB空间转换到HSV颜色空间,提取各分量的颜色特征,采用区域生长法对不同颜色的多目标区域进行提取;建立基于图像信息的形心坐标,对各目标区域的连通域进行定位。实验结果表明：该方法能够实现对不同颜色的作业目标的识别与定位,并在分拣机器人的手眼标定的基础上,实现了对不同颜色的作业目标进行分拣。     

面向上纱机器人的末端执行器的结构设计

针对筒子纱的人工上纱效率低、劳动强度高等问题,课题组设计了面向上纱机器人的末端执行器。根据筒子纱的结构特点和上纱工艺要求,采用SolidWorks软件对末端执行器进行建模,设计具有双移动内撑式手爪、自动调节手爪间距装置及气动推纱机构的末端执行器,实现单次2个筒子纱的抓纱和推纱的上纱过程。对抓取机构建立静力学模型,通过SolidWorks软件和ANSYS软件对末端执行器的关键结构零部件进行运动学和静力学的仿真分析。仿真结果表明抓取机构的运动过程稳定,结构可靠,达到了设计要求。     

基于全卷积深度学习模型的可抓取物品识别

目前,工业机器人识别可抓取物品大多是先通过图像传感器收集作业场景信息,然后通过粒子滤波或条件随机场等各类相关算法提取可抓取物品的像素块特征来进行的。但是,这些可抓取物品的识别方法都存在着在同一像素块内部不同类别像素有误差,只考虑邻近区域、而不考虑全局信息和结构信息等问题或缺点。为此,在引入基于像素点的全卷积网络(fully convolutional networks,FCN)的基础上,提出了基于FCN的改进模型进行可抓取物品识别,其优势在于该模型经过学习能够预测各个像素所属物品类别的概率,并且能将结果恢复成为背景与前景分割的图像,从而识别作业场景中可抓取物品的位置与类别。由于FCN模型不限制输入、输出图像的尺寸大小,所以它克服了传统卷积深度学习模型的缺点,同时也考虑了全局信息与结构信息。以康奈尔抓取数据集(cornell grasping dataset,CGD)作为实验样本对提出的改进模型进行验证。实验结果表明:改进后的全卷积深度学习模型的正确率较全卷积深度学习模型提高了6.2%,同时该方法也可用于其他分割前景的感知任务。     

基于Yolov4 Tiny与RANSAC算法的管纱识别抓取系统

现了管纱的检测、定位及抓取任务。首先利用深度相机获取RGB D图像,通过训练深度学习网络Yolov4 Tiny,生成预测结果;然后利用预测框信息将原始点云进行裁剪,采用快速点特征直方图与RANSAC算法进行配准;最后利用手眼标定的方法将深度图像坐标信息转换到机械臂坐标系下完成抓取。实验结果表明：系统管纱平均抓取成功率达到65%,在非结构化的环境中具有良好的抓取结果,满足管纱抓取的实际生产需求。     

微小零件聚拢分离柔性振动供料器设计

针对工业生产和装配中零件上料易发生堆叠现象，出现零件难以被视觉识别以及难以被机器人抓取的问题，课题组根据有限元分析设计了具有零件聚拢和分离功能的柔性振动供料器。将电磁作动器作为单一动力源设计了硬件结构；根据模态分析结果设计了供料器料盘的尺寸，选择了合适的材质；提出了基于料盘模态振型的零件聚拢分离控制方法；采用C#窗体技术和CANopen协议，设计了供料器上位机控制软件。实验结果表明：该柔性振动供料器具有明显零件聚拢和分离效果，可有效分离堆积零件，提高视觉定位和机器人抓取效率。     

基于语义分割与脑-机接口的机械手抓取方法研究

对生产环境中的未知物体进行抓取是仿人机械手执行各种复杂任务的基本能力之一,针对抓取目标进行自动识别定位、如何控制机械手完成平稳和准确的物体抓取等机器人控制领域亟待解决的关键问题,提出将5指型仿人机械手作为机械臂的末端抓取器,改进语义分割神经网络ENet(efficient neural network)应用于抓取目标的识别定位。仿真结果显示:其在测试数据集上Io U (Intersection over Union)达到0. 92,单张检测时间达到23 ms,连接四层神经网络能够从候选区域中有效检测出最优抓取区域。此外,训练神经网络和随机森林指令识别模型识别脑-机接口输入的脑电波信号来控制仿人机械手完成抓取,这种方法有效地增加了仿人机械手运动控制的灵活性。     

复杂竞赛任务中的自动分拣搬运机器人系统设计

为了实现仓库中多重目标的复杂搬运及堆垛任务,设计了一款光电分拣搬运机器人。该分拣搬运机器人以STM32F103C8T6 单片机为主控芯片,采用灰度传感器SEN1595识别地面标识,通过颜色传感器GY 33识别物料颜色;机械臂与末端夹取机构利用PDI 6221MG舵机驱动五自由度 小型机械臂,在保持末端处于垂直状态下,平稳抓取物料并存放至搬运车腹部的中心转盘内;仓储分拣机构通过PDI 6225MG 300舵机驱动中心转盘转动至5个 档位;采用LV8731细分器控制步进电机MG42S1,驱动车体行进至目标堆垛区域;通过机械臂夹取转盘内的物料,结合堆垛辅助机构完成堆垛任务。在搬运工程赛 项实验平台任务中,系统测试成功率达96%,满足使用要求。通过该分拣搬运系统可提高分拣运输自动化、智能化程度,改善物流仓储工作中人工依赖性较高的 现状。     

基于PC-SGD的深度学习雷达人体点云补全

对于激光雷达要做行为识别的人体点云,通过将点云投影到圆柱表面,将人体分割为3个部分,每个点添加法线维度分3次输入点网络编码器,不同部分采用不同损失函数(PC-SGD)进行梯度下降计算的深度学习方法,将输出的躯干、上肢和下肢点云参考完整人体点云调整比例并合并。通过固态面阵激光雷达采集的人体行为点云进行实验,结果表明：成功增加了遮挡和衣物表面等缺失点云补全的效果,最后利用RMSE计算损失率获得了最佳隐藏层数量。     

SEM材料图像目标区域分割

由SEM获取的纤维材料图像,目标孔洞粘联明显、重叠严重,特征参数提取困难。本文首先利用提取目标特征凹点的方法,实现了目标区域分割,但在分割精度上存在着不足,且算法较为复杂。对此,采用了一种基于距离变换的分水岭算法,通过对不同区域设置标记,循环标记的最终结果形成分水岭,并通过抑制过分割实现了对目标区域更为精确的分割。实验结果表明该算法具有良好的特性。     

多功能模块化居家整理机器人的结构设计

为了实现日常居住环境的智能化，课题组设计了一款基于语音识别和移动端APP控制的多功能模块化居家整理机器人。采用树莓派处理信息、下达指令，利用单片机控制的摄像头对物品进行识别，通过超声波和红外线2种测距模块实现机器人整体避障和循迹，由搭载的6轴机械臂及配套机械爪对物品进行抓取与整理。设计了该机器人的机械爪模块、升降转台、清洁模块、万向移动底盘和摩天轮置物台等结构。实物样机运行结果表明：该机器人能够有效抓取不同形状的物品，使用过程自动化程度高，环境适应性强，整理与搬运效率高。