SBDQ-205A機器人視覺數(shù)智化電氣實訓(xùn)平臺
一、實驗指導(dǎo)
（一）電氣實訓(xùn)操作
機器人視覺數(shù)智化電氣實訓(xùn)平臺學(xué)生了解電氣工程中常見的控制回路及插件，并進(jìn)行邏輯觸發(fā)后完成整體電氣回路的搭建，過程中記錄，并對過程進(jìn)行評估和識別。
1.平臺啟動后進(jìn)入登錄界面，輸入實訓(xùn)者身份信息后，開始在主控界面進(jìn)行線路的接通，并在執(zhí)行過程中了解操作部件的結(jié)構(gòu)、原理以及使用方式；
2.指令發(fā)出后實訓(xùn)臺開始呼喚機械臂操作部分就位，并開始執(zhí)行按壓、插拔、旋轉(zhuǎn)等動作：
3.所有操作完畢后，將對操作內(nèi)容進(jìn)行識別評估、同時啟動實訓(xùn)對象，并開始監(jiān)控其狀態(tài)，實訓(xùn)對象運行過程中以物理的方式進(jìn)行運行原理及內(nèi)部結(jié)構(gòu)的展示；
（二）自主行進(jìn)機器人實訓(xùn)
1.機器人底盤技術(shù)介紹：
學(xué)生了自行走機器人基本原理和應(yīng)用場景。
介紹自行走機器人運行的基本條件及邏輯。
2.行走部分遙控操作：
學(xué)生使用遙控終端與機器底盤連接，操控機器人底盤，同時了解和學(xué)習(xí)差速控制條件下的底盤前進(jìn)、轉(zhuǎn)彎、掉頭變速等運動學(xué)分析。
3.可視化終端展示及學(xué)習(xí)：
學(xué)生使用遠(yuǎn)程終端學(xué)習(xí)和了解傳感器數(shù)據(jù)的原理、發(fā)布、完成基于gazebo界面工具搭建2D地圖，以及多算法模型規(guī)劃下的全局地圖和局部地圖。
4.編程控制實驗：
學(xué)習(xí)如何ROS命令切換地圖及路徑規(guī)劃算法，實現(xiàn)自行走機器人不同的路線規(guī)劃。
（三）機器視覺模塊實訓(xùn)
學(xué)習(xí)和了解機器視覺模塊的基本原理和功能，以及其在機器人應(yīng)用中的作用。
1、介紹機器視覺模塊的圖像采集、處理和識別技術(shù)，如顏色識別、形狀識別、文字等。
2.目標(biāo)物體識別任務(wù)設(shè)計
設(shè)計目標(biāo)物體識別任務(wù)，并植入相應(yīng)的模型，根據(jù)視覺反饋識別特定顏色、形狀等特征的物體，并執(zhí)行相應(yīng)的動作，過程中要求學(xué)生考慮識別算法、目標(biāo)檢測和定位精度等因素，設(shè)計合理的識別任務(wù)。
3.實驗操作
學(xué)生進(jìn)行實驗操作，控制機器人根據(jù)視覺反饋執(zhí)行不同的動作，如拾取特定顏色的物體。
學(xué)生根據(jù)實驗結(jié)果對視覺反饋控制程序進(jìn)行調(diào)整和優(yōu)化，提高識別和執(zhí)行的準(zhǔn)確性和效率。
（四）機械臂模塊實訓(xùn)
學(xué)習(xí)和了解多軸機械臂的基本原理和功能，以及其在工業(yè)應(yīng)用中的作用。
1、示教界面下的機械臂移動及終端的動作配合；
2、rvia可視化界面下機械臂運動軌跡規(guī)劃及避障操作。
3.實驗操作
學(xué)生根據(jù)目標(biāo)坐標(biāo)，通過路徑規(guī)劃器對機械臂進(jìn)行單點移動、多點軌跡移動，并控制機器人終端拾取物品。
二、主要技術(shù)參數(shù)
產(chǎn)品型號 | YY-SC02409012 |
系統(tǒng)電源 | AC380/AC220 |
設(shè)備重量 | ＜300kg |
額定功率 | ＜4KW |
環(huán)境濕度 | ≤85% |
設(shè)備尺寸 | 1000*800*1400mm |
安全保護(hù) | 急停按鈕，漏電保護(hù)，過流保護(hù)，接地保護(hù) |
雷達(dá) | 單線激光雷達(dá) |
行走驅(qū)動 | 伺服電機 |
相機 | 雙目深度相機 |
觸摸屏 | 32寸電容觸摸屏 |
自行走功能 | 建圖、避障、路徑規(guī)劃 |
機械臂 | 6自由度旋轉(zhuǎn)、插拔、按壓 |
交互 | 過程感知、動態(tài)狀態(tài)顯示 |
三、設(shè)計軟件工具
內(nèi)容 | 運行環(huán)境 | 語言 |
機器人底盤 | ubuntu20.4 | Ros1、Python3.8 |
機械臂運動控制 | ubuntu20.4 | Ros1、Python3.8 |
視覺識別 | ubuntu20.4 | Python3.8+yoloV5 |
操作主邏輯 | Win10 | Python3.8+Qt |
操作展示端邏輯 | Win10 | Python3.8+Qt |
過程感知 | Win10 | Python3.8+Qt |
四、設(shè)備結(jié)構(gòu)與組成
電氣工程數(shù)智化實訓(xùn)平臺平臺采用模塊化設(shè)計，分別為自行走機器人模塊、機械臂模塊、電氣控制模塊、機器視覺模塊、顯示操作模塊、等多功能快換模塊組成，實訓(xùn)臺采用鋁型材結(jié)構(gòu)，臺面上用于放置實訓(xùn)對象。
（一）自行走機器人模塊
機器人底盤采用雙模控制方式（遙控+自主避障導(dǎo)航），根據(jù)實訓(xùn)臺操作指令進(jìn)行位置的移動，導(dǎo)航及行進(jìn)。
工作流程：
可視化Ros工作平臺，包含對相機、雷達(dá)、底盤驅(qū)動、短波雷達(dá)、IMU姿態(tài)傳感器等組成部件的調(diào)用，提供SDK，在完成實訓(xùn)任務(wù)的同時，具備多種機器人行進(jìn)算法和控制的輸出：
a）對機器人自主行進(jìn)、建圖、避障話題及數(shù)據(jù)發(fā)布直觀的認(rèn)知。
b）Rviz可視窗口下的導(dǎo)航狀態(tài)監(jiān)控及目標(biāo)設(shè)定。
c）遙控狀態(tài)下的差速模式行進(jìn)轉(zhuǎn)彎、掉頭、修正交互感官。
d）NFS掛載與配置。
（二）機械臂動作模塊
由六自由度機械臂、機械爪、深度相機組成。機器人本體模仿人的手臂，共有6 個旋轉(zhuǎn)關(guān)節(jié)，每個關(guān)節(jié)表示一個自由度，深度相機負(fù)責(zé)視覺識別及測距、機械爪負(fù)責(zé)識別后動作執(zhí)行。
工作流程：
Rviz可視化界面，通過多自由度的運行配合，完成目標(biāo)的捕捉，在完成實訓(xùn)任務(wù)的同時，具備機器視覺及相關(guān)的訓(xùn)練和過程演示：
a）手眼標(biāo)定。
b）機械臂運動學(xué)正逆解。
c）AR標(biāo)簽識別。
d）Moveit軌跡規(guī)劃及避障。
（三）顯示操作模塊
顯示操作模塊分別由主邏輯控制、過程感知部分組成，其中主邏輯計算機負(fù)責(zé)對整體任務(wù)指令的發(fā)出進(jìn)行輸出，包括自行走底盤的運動、機械臂操作指令、主交互界面的操作指令識別等，監(jiān)控計算機分別對實訓(xùn)對象的轉(zhuǎn)速、溫度、噪聲、操作動作等動態(tài)參數(shù)進(jìn)行感知和展示。
顯示部分采用聯(lián)動模式進(jìn)行工作，及操作對象跟換后展示進(jìn)行聯(lián)動，包括原理、組成結(jié)構(gòu)等進(jìn)行三維動畫展示；機械臂動作執(zhí)行狀態(tài)進(jìn)行實時顯示。
同時采用模塊化設(shè)計，在具備課件標(biāo)定后替換功能，實訓(xùn)過程在不單進(jìn)行操作的交互還具備以下功能：
a）傳感技術(shù)的應(yīng)用及常態(tài)感知技術(shù)展示。
b）基于多模塊交互狀態(tài)下的通訊及響應(yīng)。
c）NFS服務(wù)端、客戶端工作模式。
（四）機器視覺模塊
機器視覺模塊由深度相機、yoloV5、opencv、Svw模型算法等組成，機械臂掃描過程中識別目標(biāo)特征并獲取空間坐標(biāo)，為機械臂軌跡規(guī)劃提供終點坐標(biāo)。
Opencv可視化界面，通過深度相機的調(diào)用，在完成實訓(xùn)任務(wù)的同時，具備機器視覺識別的相關(guān)算法模型調(diào)用：
a）Yolo識別過程及模型訓(xùn)練。
b）基于Svw模型的文字提取。
c）圖像的讀取及抽幀處理。
d）TOF測距空間坐標(biāo)提取。
（五）電氣控制模塊
電氣控制模塊分為：斷路接通部分、按鈕開關(guān)、接通展示部分組成，在實訓(xùn)過程中通過機械臂使斷路及控制部件接通，并進(jìn)行展示，同時實訓(xùn)對象進(jìn)行感知。
采用模塊插拔化設(shè)計可以快速完成部件的部署及線路更換，完成相應(yīng)的更換后可以快速實現(xiàn)：
a）不同課件的替換。
b）實訓(xùn)動部件的更換。
五、主設(shè)備配置清單
序號 | 名稱 | 主要部件、器件及規(guī)格 | 數(shù)量 |
1 | 自行走機器人模塊 | 1、減速箱形式：L型蝸桿減速器； 2、減速比：60：1； 3、電機最大轉(zhuǎn)速：3000轉(zhuǎn)/分鐘； 4、電機形式：直流私服電機； 5、電機數(shù)量：2； 6、電機扭矩：2.4NM； 7、搭載傳感器：激光雷達(dá)、短波雷達(dá)、姿態(tài)傳感器； 8、操作系統(tǒng)：ubuntu20.4-Ros1； 9、遠(yuǎn)程可視化界面； 10、傳感器：激光雷達(dá)、短波雷達(dá)、IMU； 11、預(yù)裝開源：cartographer建圖、DWA路徑規(guī)劃、動態(tài)避障、自主導(dǎo)航； | 1套 |
2 | 機械臂動作模塊 | 1.工作范圍：≥800 mm； 2.有效負(fù)荷：≥5 kg； 3.自由度：≥6個； 4.重復(fù)定位精度：±0.02 mm； 5.防護(hù)等級：IP40； 6.軸運動 工作范圍 最大速度 軸1≥+170°～-170°（360°/S） 軸2≥+40°～-195°（360°/S） 軸3≥+150°～-115°（488°/S） 軸4≥+185°～-185°（600°/S） 軸5≥+120°～-120°（529°/S） 軸6≥+350°～-350°（800°/S） 7.機器人控制器 采用標(biāo)準(zhǔn)的工業(yè)控制計算機多核處理器；基于ubuntu操作系統(tǒng)平臺；能直接外接顯示器、鼠標(biāo)、鍵盤和USB，方便程序的讀寫；內(nèi)置大容量電池，斷電保護(hù)功能； 9.示教器 采用遠(yuǎn)程終端共享界面直接進(jìn)行控制；具備多項操作方向按鈕及姿態(tài)輸入界面，方便操作與安全。 | 1套 |
3 | 機器視覺模塊 | 1.主要由智能相機、相機支架、通訊電纜等組成，可對顏色、形狀、文字進(jìn)行檢測識別，可獨立使用也可以與其他模塊配合使用； 2.雙目深度相機采用嵌入式硬件平臺，可進(jìn)行高速的圖像處理，植入高精度定位與測量算法； 3.具備紅外測距功能； 4.分辨率：1920x1080像素分辨率； 5.傳感器：1/2.5”彩色傳感器，幀緩存：32M； 6.通訊接口：RJ45千兆以太網(wǎng)； | 1套 |
4 | 顯示操作模塊 | 1、32寸電容觸摸交互屏； 2、主動式響應(yīng)感知界面； 3、聯(lián)動響應(yīng)狀態(tài)下的主輔響應(yīng)機制； 4、模塊化組態(tài)軟件，便于更換課件； | 1套 |
5 | 電氣控制模塊 | 主操作界面，包括按鈕指示燈、通斷開關(guān)、接線開關(guān)，輔助面板包含開關(guān)電源、工業(yè)交換機、485集線器、AI采集卡、線控繼電器等組成。系統(tǒng)配有兩套AI采集模塊用于實訓(xùn)對象的啟動、停止、運行及接線狀態(tài)的識別，配置可編程控制器及擴展模塊，協(xié)調(diào)各工作端之間的運行。 | 1套 |
