The Dynamic Parallel Ant Crawler ‪(DPAC)‬ for the Thai Search Engine

การสืบค้นแบบพลวัตด้วยวิธีการของมดแบบคู่ขนานสำหรับเครื่องมือค้นหาข้อมูลภาษาไทย

Name: Parichat Ka-Nueng-Hade

LCSH: Ant algorithms

LCSH: Search engines -- Programming

Abstract: This research proposes an approach of the Dynamic Parallel Web Crawler which aims at improving efficiency of Thai Web Search Engines in both the quality of the result set of web pages retrieved and the storage optimization. The research framework consists of three main components. First, the concept of parallel crawling was applied to facilitate the crawling task to be performed in parallel and dynamic. Second, an Ant Colony Algorithm was adopted to increase the speed of the crawler and to gain more crawling search area. Since the algorithm was designed to support an optimized search conducted in the distributed environment, it is thus very applicable to the Dynamic Web Crawler solution. Finally, an agent based concept was used by introducing an Ant Crawler Agent to support several crawling tasks to be responsible for each crawler agent. This enables the management, and representation of the crawling result is be more flexible and effective. To verify the research idea, a prototype system of the proposed model of the Dynamic Parallel Ant Crawler (DPAC) was designed and developed using JSP and Servlet. In the experiment, the distributed system environment consisting of three servers was established to implement the core function of the parallel agent crawler. We evaluated the system in three parts: Retrieval Performance Evaluation, Resultbased Evaluation and User Acceptance Test (UAT). The Retrieval Performance Evaluation is conducted to compare the throughputs between a single Ant Crawler System (ACS) and a parallel Ant Crawler System (ACS) using three servers. We use 100 keywords to test with the DPAC run on a single ACS and parallel ACS. The result shows that the parallel Ant Crawler yields a greater number of URLs relevant to the user’s requirements compared with the single Ant Crawler. In addition, with the same number of throughputs, the parallel ACS reduced the crawling time significantly. For the Result-based Evaluation, the accuracy rate of the set of URLs generated by the DPAC system was focused on and the results were compared with recognized commercial search engines. The results revealed that the DPAC generates the set of URLs covering the given keywords and the ranking order of those URLs in an accurate and consistent way as the commercial tools do. Using 1,000 keywords, the results showed that DPAC outperformed the other two search engines. Finally, the prototype was also measured by means of the UAT test in order to assess the user satisfaction in using our search engine. With 800 keywords of the test among 40 users, the user acceptance rate was 97.25%. As a consequence, that this approach offers another sound and proven solution for the research area of the Thai Search Engine

Abstract: งานวิจัยนี้นำเสนอ รูปแบบของการสืบค้นข้อมูลแบบพลวัต จาก Internet โดยนำมาใช้กับการค้นหา ข้อมูลภาษาไทย ข้อดีของการสืบค้นข้อมูลแบบพลวัตคือ ได้ผลลัพธ์ที่มีอยู่จริงเป็นปัจจุบันและไม่ต้องใช้ฐานข้อมูล ขนาดใหญ่ในการเก็บข้อมูล งานวิจัยนี้ประกอบด้วยแนวคิด 3 ส่วน ดังนี้ ส่วนแรก เราได้ประยุกต์ใช้การสืบค้น ข้อมูลเชิงคู่ขนานเข้ามาใช้ร่วมกับการสืบค้นข้อมูลแบบพลวัต เพื่อให้การสืบค้นข้อมูลมีประสิทธิภาพมากขึ้น และ สืบค้นในพื้นที่ที่มากขึ้น ส่วนที่สองคือ การนำ Ant Colony Algorithm มาช่วยในการสืบค้นข้อมูล เนื่องจาก Algorithm ดังกล่าวสามารถแก้ปัญหาเรื่อง Optimization ได้ดี ดังนั้นจึงสามารถช่วยให้การสืบค้นมีการ คัดเลือกข้อมูลจาก Internet ได้ดียิ่งขึ้น สุดท้าย เราได้ใช้แนวคิด Agent-based เพื่อให้ Ant Crawler Agent สามารถทำงานได้อย่างเป็นอิสระต่อกัน รวมทั้งสามารถทำงานพร้อมกัน ณ ขณะเวลาหนึ่ง ทำให้การ ทำงานของระบบมีความยืดหยุ่นและมีประสิทธิภาพ เพื่อเป็นการตรวจสอบความสมเหตุสมผลของงานวิจัย เราได้ออกแบบและพัฒนาระบบต้นแบบซึ่งเป็น ระบบสืบค้นข้อมูลภาษาไทย ชื่อ Dynamic Parallel Ant Crawler (DPAC) โดยใช้แนวคิดดังกล่าว ข้างต้น ระบบสืบค้นข้อมูลภาษาไทย DPAC ถูกพัฒนาโดยใช้ JSP และ Servlet จากนั้นเราได้ทำการทดสอบ โดยติดตั้งระบบสืบค้นข้อมูลภาษาไทย DPAC บนคอมพิวเตอร์แม่ข่ายจำนวน 3 เครื่อง เพื่อให้ระบบทำงานเป็น แบบคู่ขนาน เราได้ประเมินผลที่ได้จากการทดสอบ 3 แบบ คือ ประเมินประสิทธิภาพของระบบจากจำนวนของ ผลลัพธ์ ประเมินความถูกต้องของผลลัพธ์ และประเมินความพึงพอใจของผู้ใช้ จากการทดสอบค้นหาคำค้น 100 คำค้น พบว่าการนำแนวคิดของการสืบค้นข้อมูลเชิงคู่ขนานมาใช้ทำให้ได้จำนวนผลลัพธ์ที่มากขึ้น นอกจากนี้เราได้ ทดสอบความถูกต้องของผลลัพธ์ โดยการค้นหา 1,000 คำค้น พบว่าผลลัพธ์ดังกล่าวยังมีความถูกต้องมากกว่า ระบบสืบค้นข้อมูลของต่างประเทศ และของในประเทศ ที่เป็นที่นิยม สุดท้ายเราให้ผู้ใช้จำนวน 40 คน ทดสอบ การใช้งานโดยกำหนดคำค้นด้วยตัวผู้ใช้เอง พบว่าจากการค้นหา 800 คำค้น ได้ข้อมูลที่ตรงตามความต้องการของ ผู้ใช้คิดเป็น 97.25% จากผลดังกล่าวสามารถสรุปได้ว่าระบบสืบค้นข้อมูลแบบพลวัตด้วยวิธีการของมดแบบ คู่ขนานสำหรับเครื่องมือค้นหาข้อมูลภาษาไทยที่นำเสนอ ได้ถูกพิสูจน์เพื่อเป็นงานวิจัยในด้านการสืบค้นข้อมูล ภาษาไทย

Mahidol University

Address: NAKHON PATHOM

Email: liwww@mahidol.ac.th

Name: Jarernsri L. Mitrpanont

Role: Thesis Advisors

Created: 2006

Modified: 2553-06-14

Issued: 2010-06-01

วิทยานิพนธ์/Thesis

application/pdf

ISBN: 9740469779

CallNumber: TH P231d 2006

eng

DegreeName: Master of Science

Level: Master's Degree

Descipline: Computer Science

Grantor: Mahidol University

©copyrights Mahidol University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	4437185.pdf	1.02 MB	67	2026-05-26 18:16:01

ใช้เวลา

-0.72548 วินาที