Word segmentation for the lao language using conditional random fields

การจำแนกคำสำหรับภาษาลาวโดยใช้วิธีคอนดิชันแนลแรนดอมฟิลด์

Name: Sisouvanh Vanthanavong

keyword: Conditional random fields

ThaSH: CHARACTER RECOGNITION

ThaSH: LAO LANGUAGE -- COMPUTER PROGRAMS

ThaSH: LAO LANGUAGE -- DATA PROCESSING

Abstract: In recent years, there have been many system localization developments in the information technology area such as language and speech processing. One of the most fundamental language processing tasks is to study and analyze the structure of the syllables and words for each language using different language models. For the Lao language (one of the languages from South East Asia), the structure of words and sentences is very different from the English language. A Lao word consists of one or more syllables and considered as a mono-syllable language. A Lao text does not explicitly contains any space between words, phrases or sentences. Therefore, the detection of words and syllables are very difficult and challenging. This research proposes and compares between two main approaches, i.e., dictionary based and machine-learning based for implementing the Lao word segmentation models. For the machine-learning based approach, the word segmentation model is trained with the Conditional Random Fields (CRFs) algorithm from a text corpus. From the experimental results, the performance of the CRFs word segmentation model yielded positive results with the F-measure of 79.36%, compared to 72.73% using the dictionary-based approach.

Abstract: เร็ว ๆ นี้ได้มีการพัฒนาระบบสำหรับงานพื้นเมืองจำนวนมากในสาขาเทคโนโลยีสารสนเทศ กระบวนการจัดการภาษาและคำพูดเป็นส่วนหนึ่งของความสำเร็จในการวิจัยด้านโดเมนภาษาสำหรั บงานพื้นเมือง กระบวนการจัดการภาษถูกพัฒนาในหลาย ๆ สาขาที่เกี่ยวกับเทคโนโลยีสารสนเทศ ซึ่งขึ้นอยู่กับกฎและเงื่อนไขที่จำแนกดโครงสร้างของพยางค์หรือคำสำหรับแต่ละภาษาโดยใช้รูปแบ บภาษา ในกรณีนี้ ภาษาลาวมีความแตกต่างจากภาษาอังกฤษมากในด้านโครงสร้างคำและประโยค คำในภาษาลาวเป็นภาษาที่มีหนึ่งพยางค์หรือมากกว่า เรียกว่า ภาษาที่คำมีพยางค์เดียว และไม่มีการ เว้นวรรคระหว่างคำ วลี หรือประโยค ดังนั้นการค้นหาคำและพยางค์เป็น สิ่งซับซ้อน ที่จะเข้าใจ งานวิจัยครั้งนี้นำเสนอวิธีการตัดคำโดยใช้วิธี คอนดิชันแนลฟิลด์ และเปรียบเทียบวิธีการตัดคำระ หว่งวิธีการตัดคำบนพื้นฐานพจนานุกรมและการเรียนรู้เครื่องจักรสำหรับการตัดคำในภาษาลาว วิธี การตัดคำที่นำเสนอเป็นรูปแบบการเรียนรู้เครื่องจักรที่สอนโดยวิธี คอนดิชันแนลฟิลด์ โดยมีข้อมูล จากคลังข้อมูลข้อความ จากผลการทดลอง ผลการทำงานของวิธีคอนดิชันแนลฟิลด์มีค่าวัดแบบเอฟ เป็น 79.36% ดีกว่าวิธีการใช้พจนานุกรมที่มีค่าเพียง 72.73%

King Mongkut's University of Technology North Bangkok. Central Library

Address: Bangkok

Email: library@kmutnb.ac.th

Name: Phayung Meesad

Role: Thesis Advisors

Email : pym@kmutnb.ac.th

Name: Choochart Haruechaiyasak

Role: Thesis Advisors

Name: ศรีสุวรรณ วันทนะวงศ์

Role: Thesis Advisor

Created: 2009

Modified: 2567-09-06

Issued: 2011-03-11

วิทยานิพนธ์/Thesis

application/pdf

CallNumber: E-THESIS

eng

DegreeName: Master of science

Level: Master's Degree

Descipline: Information Technology

Grantor: King Mongkut's University of Technology North Bangkok

©copyrights King Mongkut's University of Technology North Bangkok

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	B15223401.pdf	1.11 MB

ใช้เวลา

0.032834 วินาที