DEVELOPMENT AND VALIDATION OF THE ACADEMIC COLLOCATIONAL COMPETENCE TEST FOR EFL UNIVERSITY STUDENTS: AN APPLICATION OF THE ARGUMENT-BASED APPROACH

การพัฒนาและตรวจสอบคุณภาพแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการสำหรับนิสิตที่เรียนภาษาอังกฤษเป็นภาษาต่างประเทศ: การประยุกต์ใช้วิธีการอ้างเหตุผลโต้แย้ง

Name: Apichat Khamboonruang

LCSH: Questionnaires

Abstract: Using a well-developed and validated test of specific English collocational competence may provide meaningful scores that partly inform test users of to what extent test-takers are proficient in English for the purposes of placement or screening uses. To make proper decision, test users need to depend remarkably on trustworthy information provided by a well-developed and validated collocation test. The primary purpose of the present study was, therefore, to apply the argument-based approach (Kane, 1992, 2006, 2011, 2013) to develop and validate the Academic Collocational Competence Test (ACCT) for EFL graduate students. The argument-based approach involves two argument development stages. The first stage is to develop the interpretive argument by specifying the intended interpretation and use of test scores and the second stage is to build the validity argument by evaluating theoretical and empirical evidence collected to support such intended score interpretation and use specified in the interpretive argument. This study also aimed to apply the Rasch measurement approach to provide empirical evidence in support of the ACCT validity argument.A total of 193 EFL graduate students from various academic disciplines at Chulalongkorn University participated in this study. Theoretical evidence was collected during the development of the ACCT and the ACCT interpretive argument. Empirical evidence was gathered using the ACCT, the Academic Vocabulary Level Test (AVLT) developed by Schmitt, Schmitt, and Clapham (2001), and the test reflection questionnaire adopted from Voss (2012). The ACCT was developed using high-frequency verb-noun collocations from varying domains of the academic written discourse in the British National Corpus (BNC) and developed primarily as a norm-referenced placement test of receptive collocational competence of EFL graduate students. Empirical data were analysed using descriptive statistics, Rasch model analysis, correlation analysis, analysis of variance, chi-square analysis, content analysis, cut score analysis, and classification error analysis.Research results revealed that the argument-based approach helped the development and validation of the ACCT. The interpretive argument served as the guideline for designing and developing the ACCT and also for assembling evidence that was later appraised to construct the validity argument of the ACCT. The development process of the ACCT and the ACCT interpretive argument was an interactive process and was modified until they were consistent with the intended score interpretation and use as well as the context of the current study. The validity argument indicated to what degree the ACCT score interpretation and use were valid or appropriate based on collected evidence collected to support the score interpretation and use specified in the ACCT interpretive argument. The ACCT validity argument revealed a reasonable degree of validity of the ACCT score interpretation and use. That is, the ACCT scores were appropriately interpreted and used as intended. The ACCT validity argument was based on sound and sufficient theoretical and empirical evidence supporting assumptions in domain description, evaluation, generalization, explanation, extrapolation, and utilisation inferences in the ACCT interpretive argument. Backing for the consequence inference is beyond the scope of this study. The Rasch measurement approach provided sound empirical evidence in support of the ACCT validity argument. Rasch-based evidence included unidimensionality, internal consistency, examinee competency dispersion and hierarchy, item difficulty dispersion and hierarchy, multiple-choice distractor functioning, differential test functioning, and uniform differential item function.

Abstract: การใช้แบบสอบสามัตถิยะคำปรากฎร่วมที่ผ่านการพัฒนาและตรวจสอบคุณภาพที่ดีอาจให้คะแนนที่เป็นสารสนเทศให้ผู้ใช้แบบสอบได้รู้ถึงความสามารถด้านภาษาอังกฤษเพื่อวัตถุประสงค์ในการใช้จัดวางตำแหน่งหรือคัดเลือก การตัดสินใจที่เหมาะสมนั้น ผู้ใช้แบบสอบจำเป็นต้องอาศัยข้อมูลที่น่าเชื่อถือจากแบบสอบคำปรากฎร่วมที่ผ่านการพัฒนาและตรวจสอบคุณภาพอย่างดี ดังนั้นวัตถุประสงค์หลักของการวิจัยนี้ คือ การประยุกต์ใช้วิธีการอ้างเหตุผลโต้แย้ง (Kane, 1992, 2006, 2011, 2013) เพื่อพัฒนาและตรวจสอบคุณภาพแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการสำหรับนิสิตที่เรียนภาษาอังกฤษเป็นภาษาต่างประเทศ วิธีการอ้างเหตุผลโต้แย้งประกอบด้วยการสร้างเหตุผลโต้แย้ง 2 ขั้นตอน ขั้นตอนแรก คือ การสร้างเหตุผลโต้แย้งเชิงแปลความ (interpretive argument) โดยการระบุการแปลผลและใช้คะแนนสอบที่ต้องการ และขั้นที่สอง คือ การสร้างเหตุผลโต้แย้งเชิงความตรง (validity argument) โดยการประเมินหลักฐานเชิงทฤษฎีและเชิงประจักษ์ที่รวบรวมเพื่อสนับสนุนการแปลผลและการใช้คะแนนสอบที่ระบุไว้ในเหตุผลโต้แย้งเชิงแปลความ การวิจัยนี้ยังประยุกต์ใช้วิธีการวัดโมเดลราส์ชเพื่อให้หลักฐานเชิงประจักษ์สนับสนุนเหตุผลโต้แย้งเชิงความตรงของแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการ กลุ่มตัวอย่าง คือ นิสิตระดับบัณฑิตศึกษาที่เรียนภาษาอังกฤษในฐานะภาษาต่างประเทศ จำนวน 193 คน จากหลากหลายสาขาวิชาในจุฬาลงกรณ์มหาวิทยาลัย การรวบรวมหลักฐานเชิงทฤษฎีทำในช่วงการพัฒนาแบบสอบและการสร้างเหตุผลโต้แย้งเชิงแปลความของแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการ การรวบรวมหลักฐานเชิงประจักษ์ใช้ แบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการ แบบสอบระดับคำศัพท์เชิงวิชาการพัฒนาโดย Schmitt, Schmitt, และ Clapham (2001) และแบบสอบถามความคิดเห็นต่อแบบสอบพัฒนาโดย Voss (2012) แบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการสร้างขึ้นโดยใช้คำปรากฎร่วมกริยาและนามที่มีความถี่สูงจากภาษาเขียนเชิงวิชาการในหลายสาขาวิชาที่อยู่ในคลังข้อความ British National Corpus (BNC) แบบสอบนี้สร้างขึ้นเพื่อเป็นแบบสอบจัดระดับแบบอิงกลุ่มเพื่อวัดสามัตถิยะคำปรากฎร่วมเชิงรับ (receptive collocational competence) ของนิสิตระดับบัณฑิตศึกษาที่เรียนภาษาอังกฤษในฐานะภาษาต่างประเทศ การวิเคราะห์ข้อมูลเชิงประจักษ์ใช้ สถิติพรรณนา การวิเคราะห์โมเดลราส์ช การวิเคราะห์สหสัมพันธ์ การวิเคราะห์ความแปรปรวน การวิเคราะห์ไคสแควร์ การวิเคราะห์เนื้อหา การวิเคราะห์คะแนนจุดตัด และการวิเคราะห์ความคลาดเคลื่อนของการจัดกลุ่ม ผลการวิจัยพบว่า วิธีการอ้างเหตุผลโต้แย้งช่วยในการพัฒนาและตรวจสอบคุณภาพแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการ เหตุผลโต้แย้งเชิงแปลความใช้เป็นแนวทางในการออกแบบและพัฒนาแบบสอบและรวบรวมหลักฐานซึ่งผ่านการประเมินเพื่อสร้างเหตุผลโต้แย้งเชิงความตรงของแบบสอบ กระบวนการพัฒนาแบบสอบและเหตุผลโต้แย้งเชิงแปลความเป็นกระบวนการที่สัมพันธ์กัน และผ่านการแก้ไขปรับปรุงให้สอดคล้องกับการแปลผลและการใช้คะแนนสอบที่ได้ระบุไว้และเหมาะสมกับบริบทของการวิจัยนี้ เหตุผลโต้แย้งเชิงความตรงเป็นตัวบ่งชี้ถึงระดับความตรงหรือความเหมาะสมของการแปลผลและการใช้คะแนนสอบ ระดับของความตรงหรือความเหมาะสมขึ้นอยู่กับหลักฐานที่รวบรวมเพื่อสนับสนุนการแปลผลและการใช้คะแนนสอบที่ระบุไว้ในเหตุผลโต้แย้งเชิงแปลความ เหตุผลโต้แย้งเชิงความตรงของแบบสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการบ่งชี้ถึงระดับความตรงที่เหมาะสมของการแปลผลและการใช้คะแนนสอบ กล่าวคือ การแปลผลและการใช้คะแนนสอบสามัตถิยะคำปรากฎร่วมเชิงวิชาการมีความเหมาะสม เหตุผลโต้แย้งเชิงความตรงของแบบสอบอิงหลักฐานเชิงทฤษฎีและเชิงประจักษ์ที่น่าเชื่อถือและเพียงพอในการสนับสนุนข้อสมมุติฐานในการอนุมานด้านการบรรยายเนื้อหา การประเมิน การสรุปอ้างอิง การอธิบาย การประมาณค่า และ การใช้ หลักฐานสนับสนุนการอนุมานด้านผลที่ตามมาไม่ได้ศึกษาในการวิจัยครั้งนี้ นอกจากนี้ยังพบว่า วิธีการวัดโมเดลราส์ชให้หลักฐานเชิงประจักษ์ที่น่าเชื่อถือในการสนับสนุนเหตุผลโต้แย้งเชิงความตรงของแบบสอบ หลักฐานจากโมเดลราส์ช ได้แก่ ด้านความเป็นเอกมิติ ความสอดคล้องภายใน การกระจายและลำดับชั้นความสามารถของผู้สอบ การกระจายและลำดับชั้นความยากของข้อสอบ การทำหน้าที่ของตัวลวง การทำหน้าที่ต่างกันของแบบสอบ และการทำหน้าที่ต่างกันของข้อสอบแบบเอกรูป

Chulalongkorn University. Office of Academic Resources

Address: BANGKOK

Email: cuir@car.chula.ac.th

Name: Jirada Wudthayagorn

Role: advisor

Created: 2013

Modified: 2016-08-17

Issued: 2016-08-17

วิทยานิพนธ์/Thesis

application/pdf

URL: http://cuir.car.chula.ac.th/handle/123456789/42734

eng

DegreeName: Master of Arts

Level: Master's Degree

Descipline: English as an International Language

Grantor: Chulalongkorn University

©copyrights Chulalongkorn University

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5587642120.pdf	6.14 MB	29	2025-10-30 14:23:03

ใช้เวลา

0.030166 วินาที