การตรวจสอบความซ้ำซ้อนกันของชื่อเฉพาะในภาษาไทย

Duplicate detection in Thai proper names

Name: โกมล จิตสัจจะ

ThaSH: มหาวิทยาลัยเกษตรศาสตร์ -- วิทยานิพนธ์. วศ.ม. (วิศวกรรมคอมพิวเตอร์) 2560.

Classification :.LCCS: QA76.9.A43

ThaSH: มหาวิทยาลัยเกษตรศาสตร์. -- สาขาวิศวกรรมคอมพิวเตอร์ -- วิทยานิพนธ์

ThaSH: คอมพิวเตอร์อัลกอริทึม

Abstract: ปัญหาหลักของข้อมูลชนิดเดียวกันที่มีที่มาจากหลายแหล่งคือ มาตรฐานข้อมูลต่างกัน และความผิดพลาดในการป้อนบันทึกข้อมูล ทำให้เมื่อนำข้อมูลเหล่านั้นมารวมไว้ในฐานเดียวกัน ก็จะเกิดปัญหาความซ้ำซ้อนของข้อมูล ปัจจุบันนี้ถึงแม้จะมีเครื่องมือที่ช่วยตรวจสอบความซ้ำซ้อนกันของระเบียนข้อมูล แต่ก็พบว่าวิธีการในการตรวจสอบความซ้ำซ้อนกันของข้อมูลเหล่านั้นยังไม่รองรับภาษาไทยที่มีลักษณะเฉพาะแตกต่างจากภาษาอื่นๆ ดังนั้นในงานวิจัยนี้จึงได้พัฒนาและแก้ปัญหาในการตรวจสอบความซ้ำซ้อนกันของระเบียนข้อมูลชื่อบุคคลในภาษาไทย โดยการเลือกใช้อัลกอริทึมที่ได้มีการศึกษามาแล้ว ได้แก่ Sorted Neighborhood Technique (SNM), Duplicate Count Strategy (DCS++) และ Innovative Windows Algorithm (INW) และเลือกใช้ Levenshtein Distance Algorithm (LD) ในขั้นตอนของการหาความเหมือนกันของคู่ระเบียนข้อมูล โดยได้ทำการสร้างกฎ เพื่อจัดกลุ่มคำที่มีพยัญชนะและสระรูปหรือเสียงคล้ายกันเพื่อใช้ในการระบุตัวอักษรที่ซ้ำซ้อนกัน ผลการทดลองได้แสดงให้เห็นว่าเมื่อมีการใช้กฎการจัดกลุ่มคำจะสามารถเพิ่มประสิทธิภาพ และความสามารถในการตรวจสอบความซ้ำซ้อนกันของระเบียนข้อมูลภาษาไทยได้อย่างมาก เมื่อเปรียบเทียบผลจากทุกๆ อัลกอริทึมพบว่าสามารถตรวจจับระเบียนข้อมูลที่มีความซ้ำซ้อนกันในชุดข้อมูลภาษาไทยได้มากกว่า 80 เปอร์เซนต์ ซึ่งเพิ่มขึ้นจากตอนที่ยังไม่ได้ใช้กฎการจัดกลุ่มคำของตัวอักษรภาษาไทยประมาณ 30 เปอร์เซนต์ โดยมีอัลกอริทึม DCS++ และ INW แสดงประสิทธิภาพสูงสุด และ INW มีการใช้จำนวนคู่ระเบียนในการเปรียบเทียบ และเวลาในการตรวจสอบความซ้ำซ้อนน้อยที่สุด The arising need for integrating data from different sources has led to increasing tasks in identifying duplicate records. Most data from different sources are often represented in various standards and may contain some errors; hence we need approximately duplicate data detection to determine similar data representing the same real-world entity. However, the currently available commercial software provides integration modules which do not support detecting duplicate data in the Thai language. This study presents an algorithm for identifying clusters of approximately duplicate records in the Thai proper names based on the Sorted Neighborhood Algorithm (SNM) with Duplicate Count Strategy (DCS++) and Innovative Windows Algorithm (INW). The Levenshtein Distance Algorithm (LD) is adapted for approximately matching Thai strings. The results reveal that incorporating Thai string comparison rules in these algorithms can increase f-measures significantly. All of the f-measures in our experiments with Thai data are above 80%, an increase of approximately 30%. Among the algorithms compared, DCS++ and INW had the best performance. Also, the INW was substantially better concerning the number of comparisons and execution time.

มหาวิทยาลัยเกษตรศาสตร์. สำนักหอสมุด

Address: กรุงเทพมหานคร

Email: tdckulib@ku.ac.th

Name: อภิรักษ์ จันทร์สร้าง

Role: อาจารย์ที่ปรึกษาวิทยานิพนธ์หลัก

Name: กฤษณะ ไวยมัย

Role: อาจารย์ที่ปรึกษาวิทยานิพนธ์ร่วม

Created: 2560

Modified: 2566-04-26

Issued: 2566-04-26

วิทยานิพนธ์/Thesis

วิทยานิพนธ์/Thesis

application/pdf

URL: https://kasetsart.idm.oclc.org/login?url=https://www.lib.ku.ac.th/KUthesis/2560/komon-jit-all.pdf

CallNumber: QA76.9.A43 .ก86

tha

DegreeName: วิศวกรรมศาสตรมหาบัณฑิต

Level: ปริญญาโท

Descipline: วิศวกรรมคอมพิวเตอร์

Grantor: มหาวิทยาลัยเกษตรศาสตร์

©copyrights มหาวิทยาลัยเกษตรศาสตร์

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	komon-jit-all.pdf	3.35 MB	1	2025-07-11 13:44:14

ใช้เวลา

0.023148 วินาที