การเรียนรู้แบบเสริมกำลังโมเดลเบสสำหรับการควบคุมแขนหุ่นยนต์โดยใช้กล้อง 3 มิติเพื่อการโยกย้ายวัตถุ

Model-based reinforcement learning for object arm control using 3D camera for object manipulation

Name: เมธา เมืองประเสริฐ

ThaSH: มหาวิทยาลัยศรีนครินทรวิโรฒ -- สาขาวิชาวิศวกรรมเครื่องกล

Classification :.DDC: 629

ThaSH: แขนกล -- การควบคุม

ThaSH: การควบคุมอัตโนมัติ

ThaSH: วิทยาการหุ่นยนต์

ThaSH: แขนกล

ThaSH: หุ่นยนต์ -- การควบคุม

Abstract: งานวิจัยนี้เป็นการนำเสนอขั้นตอนวิธีการเรียนรู้แบบเสริมกำลังโมเดลเบส (MBRL) สำหรับการควบคุมแขนหุ่นยนต์ร่วมกับการตรวจจับวัตถุด้วยกล้อง 3 มิติในการโยกย้ายวัตถุและเพื่อใช้กล้อง 3 มิติในการตรวจจับพิกัดตำแหน่งของมือจับวัตถุและเป้าหมายในพิกัดฉาก 3 มิติเพื่อเป็นข้อมูลสำหรับการฝึกสอนของวิธี MBRL ซึ่งภายในวิธี MBRL จะนำวิธีการหาค่าเหมาะสมที่สุดกลยุทธ์วิวัฒนาการการปรับตัวของเมทริกซ์ความแปรปรวนร่วม (CMA-ES) มาทำงานร่วมกับเทคนิคการถดถอยการเรียนรู้ของเครื่องในการสร้างแบบจำลองสิ่งแวดล้อม โดยได้แบ่งการทดสอบออกเป็นสองส่วน คือ การศึกษาเชิง ตัวเลขและการทดสอบกับปัญหาจริง ซึ่งในการศึกษาเชิงตัวเลขได้มีการเพิ่มสัญญาณรบกวนแบบเอกรูปของการเคลื่อนที่และนำวิธีจลนศาสตร์แบบผกผัน (IK) มาเปรียบเทียบกับเทคนิคการถดถอยการเรียนรู้ของเครื่อง 3 เทคนิคที่ใช้ในวิธี MBRL คือ การถดถอยของกระบวนการเกาส์เซียน (GPR) ซัพพอร์ตเวกเตอร์แมชชีนสำหรับการถดถอย (SVR) และโครงข่ายประสาทเทียม (ANN) ผลการทดสอบพบว่า เทคนิค GPR จะให้อัตราความสำเร็จสูงที่สุดในทุกปัญหาโดยมีค่ามากที่สุดเท่ากับ 100% เนื่องจากเทคนิค GPR เป็นการประมาณความแปรปรวนสัมพัทธ์ที่พิจารณาถึงสัญญาณรบกวน แม้ว่าเทคนิค GPR จะใช้เวลาในการฝึกสอนมากที่สุด แต่ก็ถือว่ามีความเหมาะสมกว่าเทคนิคอื่น ซึ่งมีอัตราความสำเร็จเฉลี่ยเพียง 50% ดังนั้นจึงมีการนำวิธี MBRL(GPR) มาใช้ในการสร้างโครงข่ายนักแสดง (AN) หรือวิธี MBRL(GPR)+AN เมื่อนำมาเปรียบเทียบกันแล้วพบว่าวิธี MBRL(GPR) ยังคงให้อัตราความสำเร็จสูงที่สุด เท่ากับ 100% และใช้เวลาการฝึกสอนที่น้อยกว่าวิธี MBRL(GPR)+AN ส่วนการทดสอบปัญหาจริง เมื่อนำวิธี MBRL(GPR) มาทำงานร่วมกับการตรวจจับวัตถุจากกล้อง 3 มิติพบว่าวิธี MBRL(GPR) ยังคงให้อัตราความสำเร็จสูงถึง 100% ทั้งการควบคุมการเคลื่อนที่ในแนวระนาบและในพิกัดฉากสามมิติอีกทั้งยังสามารถจับและวางวัตถุได้สำเร็จ 100%

Abstract: This research proposed model-based reinforcement learning (MBRL) algorithm for robotic arm control with 3D camera object detection for object manipulation. 3D camera was used to detect gripper, object, and target position in a 3D coordinates system as training data of the MBRL. Within MBRL, the covariance matrix adaptation evolution strategy (CMA-ES) was combined with machine learning techniques to create an environment model. The test problems are divided into numerical studies and real problems. The numerical studies were investigated with additional uniform noise in movement. The inverse kinematics (IK) was compared with 3 machine learning regression techniques used in the MBRL, Gaussian process regression (GPR), artificial neural network (ANN), and support vector regression (SVR). The results show that the GPR technique has the highest success rate of all numerical studies with a value as high as 100%, because GPR is approximating covariance method that considers noise. Although GPR spent the most training time, GPR was more suitable than other techniques of which the approximately average success rate was only 50%. Therefore, the MBRL(GPR) was used to create Actor network (AN) or MBRL(GPR)+AN. The results of the comparison between MBRL(GPR) and MBRL(GPR)+AN show that MBRL(GPR) still has the highest success rate of 100% and spent training time less than MBRL(GPR)+AN. In real problems, when MBRL(GPR) is combined with 3D camera object detection, The results show that MBRL(GPR) still has the highest success rate of 100% for both planar motion control and three-dimensional space. It can also pick and place object with 100% success.

มหาวิทยาลัยบูรพา. สำนักหอสมุด

Address: ชลบุรี

Email: buulibrary@buu.ac.th

Name: กิตติพงศ์ บุญโล่ง

Role: อาจารย์ที่ปรึกษาหลัก

Created: 2566

Modified: 2567-03-27

Issued: 2567-03-27

วิทยานิพนธ์/Thesis

application/pdf

CallNumber: ว 629.892 ม735ก

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: อาชีวอนามัยและความปลอดภัย

Grantor: มหาวิทยาลัยบูรพา

©copyrights มหาวิทยาลัยบูรพา

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	64910146.pdf	6.46 MB	3	2024-12-26 10:30:21

ใช้เวลา

0.030737 วินาที