Implementing advanced object interaction in rescue robotics using an autonomous manipulator arm

การพัฒนาเทคนิคขั้นสูงสำหรับการโต้ตอบกับวัตถุในหุ่นยนต์กู้ภัยโดยการใช้แขนหุ่นยนต์อัตโนมัติ

Name: Thoranin Oonariya.

keyword: Object interaction.

LCSH: Robotics.

; Rescue robotics.

LCSH: Manipulators (Mechanism)

; Iterative closest point.

LCSH: Robots in search and rescue operations.

; Impact sensing.

LCSH: Image processing.

LCSH: Scanning systems.

Abstract: Manipulator arms in rescue robots remain a challenge in both competitions and real-life situations. In this paper, we present an autonomous in-house manipulator system specifically engineered to enrich object interaction in rescue robotics for the RoboCup Rescue Robot Competition 2024 as a contestant under the iRAP Robot Team. The manipulator is equipped with an RGB-D camera, providing pose estimation of objects by leveraging 3D models generated through prior scanning. YOLOv8 2D object detection is employed to identify objects in the scene, and cropped depth images are used to subsequently generate object point clouds. Iterative Closest Point (ICP) techniques, including point-to-plane, point-to-point, and color registration, are utilized in conjunction to provide accurate alignment between the object's point cloud and the pre-scanned 3D models. These techniques work together to minimize Root Mean Square Error (RMSE) during the alignment process, ensuring reliability of pose estimation before executing robotic movement actions. The system also uses IMU data from the RGB-D camera for manipulator impact detection. The entire system is developed within the Robot Operating System (ROS) framework, utilizing MoveIt for motion planning and control. The methodologies and innovations introduced in this work are adapted for deployment in the challenging and unexpected environments of the RoboCup Rescue Robot Competition.

Abstract: แขนกลในหุ่นยนต์กู้ภัยยังคงเป็นความท้าทายทั้งในเวทีการแข่งขันและการใช้งานในสถานการณ์จริง ในงานวิจัยนี้ ได้นำเสนอระบบแขนกลอัตโนมัติที่ถูกออกแบบเป็นพิเศษเพื่อเสริมความสามารถในการโต้ตอบกับวัตถุสำหรับงานกู้ภัย โดยตั้งเป้าเข้าร่วมแข่งขัน RoboCup Rescue Robot Competition 2024 ภายใต้ทีม iRAP Robot ระบบแขนกลดังกล่าวติดตั้งกล้อง RGB-D สำหรับประเมินท่าทางและตำแหน่งของวัตถุ โดยอาศัยแบบจำลอง 3 มิติที่ได้มีการเก็บข้อมูลไว้ ล่วงหน้า และตรวจจับวัตถุในภาพ 2 มิติโดยใช้โมเดล YOLOv8 จากนั้นนำภาพความลึกที่ถูกตัด เฉพาะส่วนจาการตรวจจับ มาใช้สร้าง point cloud ของวัตถุในขั้นตอนการหาตำแหน่งและท่าทาง ข้อมูล 3 มิติ มีการนำเทคนิค Iterative Closest Point (ICP) ทั้ง point-to-plane, point-to-point และ color registration มาประยุกต์ร่วมกัน เพื่อลดค่า ค่ารากที่สองของความคลาดเคลื่อนเฉลี่ย Root Mean Square Error (RMSE) ในระหว่างการปรับตำแหน่งของ point cloud ของวัตถุให้ตรง กับแบบจำลอง 3 มิติที่มีอยู่ยิ่งไปกว่านั้นระบบยังใช้ข้อมูล IMU จากกล้อง RGB-D เพื่อช่วยตรวจจับแรงกระแทกที่เกิดขึ้นกับแขนกล ระบบทั้งหมดพัฒนาภายใต้โครงสร้าง Robot Operating System (ROS) และใช้ MoveIt ในการวางแผนและควบคุมการเคลื่อนที่ ทั้งแนวทางและนวัตกรรมที่นำเสนอ ได้รับการปรับใช้งานเพื่อให้เหมาะสมกับสภาพแวดล้อมที่ท้าทายและคาดเดาได้ยากในการแข่งขัน RoboCup Rescue Robot Competition

King Mongkut's University of Technology North Bangkok. Central Library

Address: BANGKOK

Email: library@kmutnb.ac.th

Name: Jiraphan Inthiam

Role: thesis advisor.

Email : jiraphan.i@eng.kmutnb.ac.th

Created: 2024

Modified: 2568-10-06

Issued: 2025-10-06

วิทยานิพนธ์/Thesis

application/pdf

eng

DegreeName: Master of Engineering

Level: Master's Degree

Descipline: Automation Engineering

Grantor: King Mongkut's University of Technology North Bangkok

©copyrights King Mongkut's University of Technology North Bangkok

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	B17716986.pdf	3.08 MB

ใช้เวลา

0.025785 วินาที