การวิเคราะห์เปรียบเทียบโมเดลประเมินคุณภาพการจัดการศึกษาวิทยาศาสตร์: การประยุกต์ใช้โมเดลมูลค่าเพิ่มพหุระดับที่มีการวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบและแบบสอบ

A COMPARATIVE ANALYSIS OF QUALITY ASSESSMENT MODELS OF SCIENCE INSTRUCTIONAL MANAGEMENT: AN APPLICATION OF MULTILEVEL VALUE-ADDED MODEL WITH DIFFERENTIAL ITEM FUNCTIONING AND TEST FUNCTIONING ANALYSES

Name: พนัส จันทร์เปล่ง

ThaSH: วิทยาศาสตร์ -- ข้อสอบ

ThaSH: ประกันคุณภาพการศึกษา

Abstract: การวิจัยครั้งนี้มีจุดมุ่งหมายเพื่อ 1) เพื่อศึกษาผลการทำหน้าที่ต่างกันของข้อสอบ (DIF) ที่มีการตรวจให้คะแนนทวิวิภาคและพหุวิภาค และการทำหน้าที่ต่างกันของแบบทดสอบ (DTF) ใน แบบทดสอบการประเมินการรู้เรื่องวิทยาศาสตร์ 2) เพื่อเปรียบเทียบประสิทธิภาพของโมเดลประเมินคุณภาพการจัดการศึกษาวิทยาศาสตร์เมื่อใช้โมเดลมูลค่าเพิ่มพหุระดับ 2 โมเดล คือ โมเดลที่ไม่ได้พิจารณาการทำหน้าที่ต่างกันของข้อสอบและแบบสอบ (โมเดลที่ 1) กับโมเดลที่มีการพิจารณาการทำหน้าที่ต่างกันของข้อสอบและแบบสอบโดยการตัดข้อสอบที่มีการทำหน้าที่ต่างกันของข้อสอบและการทำหน้าที่ต่างกันเป็นขั้นที่แตกต่างกัน (โมเดลที่ 2) ซึ่งในการเปรียบเทียบประสิทธิภาพของโมเดลประเมินคุณภาพการจัดการศึกษาวิทยาศาสตร์ มีวัตถุประสงค์ย่อยสองข้อ คือ 2.1) เพื่อศึกษาความสัมพันธ์ระหว่างคะแนนมูลค่าเพิ่มกับ 3 ตัวแปร คือ เศรษฐานะของครอบครัว แหล่งทรัพยากรการศึกษาที่บ้าน และความมั่งคั่งของครอบครัว ทั้งก่อนและหลังตัดข้อสอบที่ทำหน้าที่ต่างกัน และ 2.2) เพื่อเปรียบเทียบความสอดคล้องของการจัดอันดับคุณภาพและการจัดกลุ่มคุณภาพของโมเดลมูลค่าเพิ่มพหุระดับทั้ง 2 โมเดล ข้อมูลที่ใช้ในการวิจัยครั้งนี้เป็นข้อมูลทุติยภูมิจากโครงการประเมินผลนักเรียนนานาชาติเกี่ยวกับการรู้เรื่องวิทยาศาสตร์ (PISA) ปี ค.ศ. 2009 จำนวน 9 ฉบับ ของกลุ่มตัวอย่างในประเทศไทย ซึ่งประกอบด้วยนักเรียนจำนวน 4,292 คน จากสถานศึกษา 230 แห่ง ผลการวิจัยที่สำคัญพบว่า 1) การวิเคราะห์การทำหน้าที่ต่างกันของข้อสอบ พบว่า มีข้อสอบที่เอนเอียงเข้าข้างนักเรียนหญิง (3 ข้อ), นักเรียนที่เรียนพิเศษวิทยาศาสตร์นอกสถานศึกษา (1 ข้อ), นักเรียนที่มาจากครอบครัวที่มีเศรษฐานะต่ำ (2 ข้อ), นักเรียนที่มาจากครอบครัวที่มีแหล่งทรัพยากรที่บ้านสูง (5 ข้อ), และนักเรียนที่มาจากครอบครัวที่มีความมั่งคั่งสูง (2 ข้อ) ค่าความเที่ยงของแบบทดสอบในโมเดลที่ 2 ลดลงเมื่อข้อสอบที่ตรวจพบว่าทำหน้าที่ต่างกันถูกตัดออก ส่วนผลการวิเคราะห์การทำหน้าที่ต่างกันของแบบสอบ พบว่า ขนาดอิทธิพลการทำหน้าที่ต่างกันของแบบสอบ 2 ฉบับ ลดลงหลังจากตัดข้อสอบที่ตรวจพบการทำหน้าที่ต่างกันออกไป ส่วนแบบสอบอีก 7 ฉบับมีขนาดอิทธิพลการทำหน้าที่ต่างกันของแบบสอบไม่เปลี่ยนแปลง และหลังจากตัดข้อสอบบางข้อที่ตรวจพบการทำหน้าที่ต่างกันออกไปในโมเดลที่ 2 พบว่า ผลการวิเคราะห์องค์ประกอบเชิงยืนยันทั้งแบบสอบรวมและแยกรายฉบับมีความตรงเชิงโครงสร้างที่ยอมรับได้ 2) ผลการศึกษาสัมประสิทธิ์การทำนาย (R2) พบว่า โมเดลที่ 1 มีประสิทธิภาพการทำนายมากกว่าโมเดลที่ 2 โดยที่สัมประสิทธิ์การทำนาย (R2) ของโมเดลที่ 1 เท่ากับ .49946 ซึ่งสูงกว่า โมเดลที่ 1 (R2 เท่ากับ .49507) 2.1) ผลการศึกษาความสัมพันธ์ระหว่างคะแนนมูลค่าเพิ่มกับ 3 ตัวแปรควบคุม พบว่า คะแนนมูลค่าเพิ่มกับทั้ง 3 ตัวแปรมีความสัมพันธ์กันอย่างมีนัยสำคัญทางสถิติที่ระดับ .05 และคะแนนมูลค่าเพิ่มกับทั้ง 3 ตัวแปรภายหลังตัดข้อสอบที่ตรวจพบการทำหน้าที่ต่างกันออกไปแล้วในการวิเคราะห์มูลค่าเพิ่มมีขนาดลดลงเมื่อเปรียบเทียบกับการวิเคราะห์ที่ไม่ได้ตัดข้อสอบที่ตรวจพบการทำหน้าที่ต่างกันออกไป 2.2) ผลการเปรียบเทียบความสอดคล้องของการจัดอันดับคุณภาพโรงเรียนจากคะแนนมูลค่าเพิ่มโดยสถิติทดสอบ Wilcoxon Signed Ranks พบว่า โมเดลที่ 1 และโมเดลที่ 2 มีการจัดอันดับคุณภาพคะแนนมูลค่าเพิ่มไม่สอดคล้องกัน ส่วนผลการเปรียบเทียบความสอดคล้องของการจัดกลุ่มคุณภาพโรงเรียน 5 กลุ่ม ตามคะแนนมูลค่าเพิ่ม พบว่า โมเดลที่ 1 กับโมเดลที่ 2 มีการจัดกลุ่มคุณภาพโรงเรียนที่สอดคล้องกันอย่างมีนัยสำคัญทางสถิติ (Cohen’s Kappa = .865, p<.05)

Abstract: The purposes of this research were to 1) examine the differential item functioning (DIF) and differential test functioning (DTF) of dichotomous and polytomously scored science literacy items, 2) compare the efficiency of the two value-added models between the model without the inclusion of differential item functioning and differential test functioning (Model1) and the model with the inclusion of differential item functioning and differential test functioning (Model 2). For the Model 2, DIF and DTF analyses were used to identify flawed items and subsequently items identified as DIF or differential step functioning (DSF) were deleted and not used in the value-added model. The efficiency of the models was evaluated by the correlation between value-added values provided by Model1 and Model2 and the three control variables: socioeconomic status, home educational resources, and family wealth, the consistency between rankings of value-added values from the two models and the consistency of school classifications based on the value-added values from the two models. Data used in this study were the secondary data of Thailand’s 2009 student literacy assessment which were from Programme for International Students Assessment (PISA). Data were consisted of 9 booklets and responses of 4,292 students in 230 schools throughout Thailand were used. The major research findings were found as follows: 1) The differential item functioning analysis indicated that there were items identified as DIF items favoring females (3 items), tutoring students beyond science classrooms (1 item), low-socioeconomic status students (2 items), students with high home educational resources (5 items), and students from high wealth family (2 items). The reliability coefficient from Model 2 decreased as the DIF items were deleted. Differential test functioning (DTF) analysis of the data for the two booklets showed that the magnitude of DTF decreased as DIF items were deleted, while the magnitudes of DTF were unchanged for other seven booklets. After some DIF items in the Model 2 were removed, confirmatory factor analysis was applied to the total test and to individual booklet, and it was found that construct validity evidences were acceptable. 2) Model 1 was more efficient than Model 2 in terms of proportion of variance explained (R2); R2 for Model 1 was .49946 which was higher than R2 for Model2 (.49507). 2.1) The correlation between value-added measures and three control variables were statistically significant at .05 and getting smaller as DIF items were deleted in the value-added estimation process compared with when DIF items were not deleted. 2.2) The Wilcoxon Signed Ranks Test applied to two school ranking data based on the ranking of school value-added measures from the Model 1 and the Model 2 was not statistically significant. However; when schools were classified into five grades based on their value-added measures from Model 1 and Model 2, there was a statistically consistent between school classifications provided by the two model (Cohen’s Kappa = .865, p <.05).

จุฬาลงกรณ์มหาวิทยาลัย. สำนักงานวิทยทรัพยากร

Address: กรุงเทพมหานคร

Email: cuir@car.chula.ac.th

Name: ณัฏฐภรณ์ หลาวทอง

Role: ที่ปรึกษา

Name: สังวรณ์ งัดกระโทก

Role: ที่ปรึกษา

Created: 2557

Modified: 2559-04-17

Issued: 2559-04-17

วิทยานิพนธ์/Thesis

application/pdf

tha

DegreeName: ครุศาสตรดุษฎีบัณฑิต

Level: ปริญญาเอก

Descipline: การวัดและประเมินผลการศึกษา

Grantor: จุฬาลงกรณ์มหาวิทยาลัย

©copyrights จุฬาลงกรณ์มหาวิทยาลัย

ลำดับที่.	ชื่อแฟ้มข้อมูล	ขนาดแฟ้มข้อมูล	จำนวนเข้าถึง	วัน-เวลาเข้าถึงล่าสุด
1	5384236327.pdf	9.69 MB	233	2026-05-26 18:16:01

ใช้เวลา

0.037567 วินาที