กลยุทธ์ในการควบคุมหุ่นยนต์เก็บเกี่ยวผลไม้ด้วยการรับรู้ภาพ

Vision-based strategies for control of a fruit-harvesting robot

Name: สุรสีห์ นิรัญศิลป์

ThaSH: หุ่นยนต์ -- ระบบควบคุม

ThaSH: เทคโนโลยีการเกษตร

ThaSH: ผลไม้ -- การเก็บเกี่ยว

Abstract: การพัฒนาหุ่นยนต์สำหรับงานทางด้านการเกษตรกำลังได้รับความนิยมเป็นอย่างมากในปัจจุบันเนื่องจากสามารถช่วยแก้ปัญหาทางด้านแรงงานมนุษย์ที่มีปริมาณลดลง อีกทั้งยังสามารถเพิ่มประสิทธิภาพในการดูแลผลผลิต การเก็บเกี่ยวผลผลิตรวมถึงการจัดการพื้นที่เพาะปลูก โดยทั่วไปแล้วการพัฒนาหุ่นยนต์มาใช้งานในด้านการเกษตรจะคำนึงถึงการออกแบบโครงสร้างหุ่นยนต์ให้มีความสอดคล้องกับพื้นที่ทำงานเช่นการออกแบบระบบขับเคลื่อน การออกแบบระบบแขนกลและการออกแบบปลายแขนจับที่ต้องมีความเหมาะสมเนื่องจากเป็นส่วน ที่มีการสัมผัสหรือมีปฏิสัมพันธ์กับเป้าหมาย อีกปัจจัยที่สำคัญคือการพัฒนาระบบการมองเห็นของหุ่นยนต์ เนื่องจากงานทางด้านการเกษตรเป็นงานที่สภาพแวดล้อมมีการเปลี่ยนแปลงอยู่ตลอดเวลาตามการเจริญเติบโตของพืช ดังนั้นระบบการมองเห็นของหุ่นยนต์ทางด้านการเกษตรจึงต้องพัฒนาให้มีการทำงานแบบเป็นปัจจุบัน ในงานวิจัยนี้ผู้วิจัยได้พัฒนากลยุทธ์ในการควบคุมหุ่นยนต์เก็บเกี่ยวผลไม้ด้วยการรับรู้ภาพ โดยใช้ความสามารถของการตรวจจับตำแหน่งวัตถุบนข้อมูลภาพที่สร้างขึ้นด้วยโครงข่ายการเรียนรู้อัตโนมัติ Mask-RCNN ที่สามารถระบุชนิดและตำแหน่งรวมถึงพื้นที่เฉพาะผิวของเป้าหมายในกรณีที่ไม่โดนสิ่งกีดขวางบังเป้าหมายร้อยละ 97 ของการทดสอบจำนวน 600 ครั้ง และในกรณีที่มีสิ่งกีดขวางบังเป้าหมายสามารถตรวจจับได้ร้อยละ 78 จากการทดสอบ 450 ครั้ง โมเดลตรวจจับที่สร้างขึ้นนี้ ได้ถูกผนวกเข้ากับเทคโนโลยีการระบุตำแหน่ง (point cloud) ของกล้องสองเลนส์ ในการคำนวณตำแหน่งและขนาดของวัตถุเป้าหมายโดยได้สร้างโมเดลการคำนวณแบบวิธี pinhole modeling และ ellipsoid fitting ในการระบุตำแหน่งและขนาดวัตถุเป้าหมายด้วยข้อมูลภาพจากกล้องสองเลนส์ งานวิจัยนี้ยังได้สร้างโมเดลเชิงสถิติในการตรวจสอบการโดนบังของวัตถุเป้าหมายในมุมมองของกล้องเพื่อใช้ในการวางแผนการควบคุมการเคลื่อนที่ของหุ่นยนต์ในการเก็บเกี่ยวผลผลิต สมรรถณะของแบบจำลองถูกประเมินการผลการทดลองในห้องปฏิบัติการด้วยแขนกล UR5 ที่มีการเคลื่อนที่ 6 องศาอิสระ ซึ่งพบว่าการคำนวณตำแหน่งและขนาดของเป้าหมายในกรณีที่ไม่โดนสิ่งกีดขวางบังด้วยวิธี pinhole modeling มีความคลาดเคลื่อนเฉลี่ยในการคำนวณตำแหน่งศูนย์กลางอยู่ที่ 2.4, 1.2, -4.5 มิลลิเมตร (พิกัด x,y,z ตามลำดับ) ส่วนการคำนวณขนาดกว้างและยาวของผลมะม่วงมีความคลาดเคลื่อนอยู่ที่ 1.9, 4.1 มิลลิเมตร และวิธีคำนวณด้วย ellipsoid fitting มีความคลาดเคลื่อนเฉลี่ยในการคำนวณตำแหน่งศูนย์กลางอยู่ที่ 4.3, 6.8, -6.9 มิลลิเมตร ส่วนการคำนวณขนาดมีความคลาดเคลื่อนอยู่ที่ -9.4, 2.5 มิลลิเมตร การทดสอบการคำนวณตำแหน่งและขนาดในกรณีที่มีสิ่งกีดขวางบังวัตถุเป้าหมายจะถูกคำนวณด้วยวิธี pinhole modeling โดยแบ่งเป็น 2 กรณีคือกรณีการคำนวณด้วยกรอบตำแหน่งวัตถุ (bounding box) มีความคลาดเคลื่อนในการคำนวณตำแหน่งจุดศูนย์กลางอยู่ที่ 1.0, 2.5, -10.6 มิลลิเมตร ความคลาดเคลื่อนเฉลี่ยของการคำนวณขนาดมะม่วงอยู่ที่ -0.9, -1.8 มิลลิเมตร และกรณีการคำนวณด้วยพื้นที่เฉพาะผิววัตถุ (object mask) มีความคลาดเคลื่อนในการคำนวณตำแหน่งจุดศูนย์กลางอยู่ที่ 1.0, 2.5, -9.5 มิลลิเมตร ความคลาดเคลื่อนเฉลี่ยของการคำนวณขนาดมะม่วงอยู่ที่ 1.2, 2.4 มิลลิเมตร ดังนั้นการคำนวณตำแหน่งศูนย์กลางและขนาดในกรณีที่วัตถุไม่โดนสิ่งกีดขวางบังมีความแม่นยำมากกว่ากรณีที่มีสิ่งกีดขวางบัง จึงทำการทดสอบเพื่อวิเคราะห์กรณีการโดนบังของวัตถุจากมุมมองกล้องด้วยหลักสถิติศาสตร์ ผลการทดสอบการระบุกรณีการโดนบังเพื่อใช้ในการประกอบการตัดสินใจในการควบคุมหุ่นยนต์มีความถูกต้องมากกว่าร้อยละ 97 เมื่อทำการทดสอบการทำงานโดยรวมของหุ่นยนต์ในกรณีที่ไม่มีสิ่งกีดขวางบังหุ่นยนต์สามารถเก็บผลผลิตได้ทั้งหมดและในกรณีที่มีสิ่งกีดขวางบังหุ่นยนต์สามารถเก็บผลผลิตได้ถึง 58 ครั้งจากทั้งหมด 60 กรณี ผลของงานวิจัยนี้แสดงให้เห็นว่าเราสามารถนำกล้องสองเลนส์ซึ่งมีราคาที่ถูกกว่าเซ็นเซอร์ 3 มิติประเภทอื่นๆ เช่น 3-D LiDAR สำหรับใช้ในการทำนายขนาดและตำแหน่งของเป้าหมายเพื่อใช้งานในงานหุ่นยนต์เกษตรกรรม

Abstract: Recently, there has been development of several agriculture robots to solve the problem of declined farm worker population. Agriculture robots offers some advantages over human worker in terms of precision and attentiveness. To design these systems, one must consider main components to suit certain environment that the robots need to operate. Such components include steering system, manipulator system, end effector and sensory systems. Due to various types of the environment, robotic vision can be considered as one of the most crucial elements. The purpose of this research is to develop vision-based strategies for controlling and planning the motion of a fruit-harvesting robot. The Mask-RCNN, a deep learning convolutional neural network, is used to generate an object detection model that returns the object label, bounding box, and masked area. From experimental tests, the developed model can detect mangos with 97% accuracy in the case full view of mangos is available and 78% accuracy when the mangos’ view is partially occluded. The object detection model together with point-cloud data from stereo camera are used to determine the three-dimensional position and size of the mangos. In this study, two models based on: 1) pinhole method and 2) ellipsoid fitting method have been developed for such task. Statistical model has also been developed to predict whether and which side the mango may be obstructed by other objects, in order to plan the trajectory of the robot arm. The performances of the models were tested in a laboratory. A six degree of freedom UR5 robot manipulator were used in the experiment. In the case that the mangos can be fully seen from the camera image, the pinhole modeling method can determine the 3-D position with the average errors (x,y,z) of 2.4, 1.2, -4.5 mm, and the size with the average errors (width and height) of 1.9, 4.1 mm. For the model based on the ellipsoid fitting method, the average errors are: 4.3, 6.8, -6.9 mm for the position and -9.4, 2.5 mm for the size. For the occluded case, the pinhole model method was used to predict the position and the size. Based on the bounding box data, the average errors are 1.0, 2.5, -10.6 mm for the position and -0.9, -1.8 for the size prediction. Based on the object mask data, the average errors are 1.0, 2.5, -9.5 mm for the position and 1.2, 2.4 mm for the size prediction. As expected, predictions for the position and size of the mango for the full-view cases have higher accuracy than those for the occluded cases. The masked data were used to create a statistical model to predict the occluded side of the mango. In the experiments, the model could predict with 100 percent accuracy in the case of no occlusion. When the view of the mangos is obstructed by objects such as leaves, the model could predict the occluded side with 97 percent accuracy. The results of this work show that it is feasible to employ stereo cameras which are relatively inexpensive compared to other 3D type sensors, such as 3D LiDAR to predict the size and position of targeted object for use in agricultural robotic applications.

มหาวิทยาลัยเชียงใหม่. สำนักหอสมุด

Address: เชียงใหม่

Email: cmulibref@cmu.ac.th

Name: วิชญ์พล ฟักแก้ว

Role: ประธานกรรมการ

Name: Matthew O. T. Cole

Role: กรรมการ

Name: ภิญโญ พวงมะลิ

Role: กรรมการ

Name: ธีระพงษ์ ว่องรัตนะไพศาล

Role: กรรมการ

Created: 2565

Modified: 2565-12-09

Issued: 2565-12-09

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมเครื่องกล

Grantor: มหาวิทยาลัยเชียงใหม่

©copyrights มหาวิทยาลัยเชียงใหม่

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	610631044.pdf	3.05 MB	26	2025-08-27 17:49:16

ใช้เวลา

0.029186 วินาที