-
1. 문항변별도(item discrimination)
가. 문항변별도의 의미
(1) 문항변별도란 ‘그 문항이 무엇을 측정하고 있느냐, 그 문항이 측정해야 할 것을 측정 하고 있느냐, 그 문항이 학생의 능력을 변별하는 힘이 있느냐’를 묻는 것으로, 문항타 당도(item validity)와 동의어이다.
예) 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 나누었을 때, 어떤 문항의 정답률이 상위집단이 하위집단보다 월등히 높았다면 그 문항은 문항변별력이 높은 것이다. 또 만약에 어떤 문항의 정답률이 상․하집단간에 전혀 차이가 없었다면 그 문항은 문항변별력이 전혀 없는 것이다. 그리고 만약에 어떤 문항의 정답률이 하 위집단이 하위집단보다 월등히 높았다면 그 문항은 어딘가 심하게 잘못된 것이다. 문항추측을 많이 할수록 변별력은 떨어지며 극단적으로 문항이 어렵거나 문항이 쉬 운 경우도 문항변별력은 떨어진다.
(2) 절대기준평가에 있어서는 개인차를 변별하는 데 목적이 있는 것이 아니라, 교육목표 의 달성도를 측정하는 데 목적이 있으므로 그 문항이 주어진 교육목표를 타당하게 측 정해 두기만 한다면 문항변별도에는 크게 신경쓸 필요가 없다. 상대평가에 있어서 문 항변별도는 문항의 양호도를 판단하는 기본적인 준거가 되므로 문항변별도 지수가 최 저 .20이어야 하고, .30 이상이면 만족스러운 수준이라고 보고 있다.
나. 문항변별도의 특징
(1) 검사의 총점이라는 내적 준거에 의해 문항타당도를 고려한다.
(2) 변별도 지수(rt)는 +부호를 가지면서 그 값이 크게 나와야 바람직하다. rt가 양수(+)이 면 정적 변별력을 갖고, rt가 0에 가까우면 변별력이 거의 없다는 것을 의미한다 (+.30~+.70까지가 가장 바람직한 분포이다). rt가 음수(-)인 경우는 하위집단이 상위 집단보다 더 높은 점수를 얻은 경우로써 이는 어딘가 심하게 잘못되어 있음을 의미한 다.
(3) 변별도 지수는 상관계수와 마찬가지로 -1.00~+1.00에 분포된다.
(4) 상대평가(규준지향평가)와 절대평가(목표지향평가) 모두에 유용하게 쓰인다.
(5) 학습의 실패자와 서공자의 변별이 잘 되는 교육목표가 어느 것인지를 확인하는 데 중 요한 정보를 제공한다.
다. 문항변별도 계산
(1) rt=(2(RH-RL)/N RH:상위집단의 정답자수, RL:하위집단의 정답자수, N:전체 반응자수
예) [문항1]
오답
정답
상위집단
90
60
150
하위집단
50
100
150
160
140
300=N
rt = (2(60-100)/300)=-40/150=-0.27
∴ 이 문항은 변별도가 좋지 못한 문항이라고 판정된다.
[문항2]
오답
정답
상위집단
40
110
150
하위집단
120
30
150
160
140
300=N
rt = (2(110-30)/300)/300=80/150=0.53
∴ 이 문항은 변별도가 좋은 문항이라고 판정된다.
(2) 부분 점수를 부여하는 경우(논문형과 같은 서답형의 경우)
rt = (SH-SL)/NH(Xmax-Xmin)
SH : 상위집단의 피검자들이 얻은 점수의 총계
SL : 하위집단의 피검자들이 얻은 점수의 총계
NH :상위집단의 피검자 수
Xmax : 그 문항에서 받을 수 있는 최고점수
Xmin : 그 문항에서 받을 수 있는 최하점수
2. 문항곤란도(item difficulty)
가. 문항곤란도의 의미
(1) 문항곤란도란 어떤 문항의 어려움의 정도를 나타내는 지수(보통P로 나타냄)으로서, 한 문항에 있어서의 전체 반응자수에 대한 정답자의 비율을 백분율로 나타낸 수치이 다.
(2) 문항곤란도가 일반적으로 평균 50% 정도일 때 검사는 개인차를 변별하는 데 최대의 기능을 발휘한다. 따라서 개인차의 변별을 목적으로 하는 상대평가의 경우에는 문항 곤란도가 20%~80%인 문항을 안배하여 문항곤란도의 평균치가 50% 정도가 되도록 하는 것이 좋다. 반면에 절대기준평가에서의 문항곤란도는 교육목표 달성도에 관한 정보를 준다는 이외에 다른 어떤의미도 갖지 않는다. 그러므로 절대기준평가에서는 평가후에 문항곤란도를 계산해 보는 경우를 예상할 수 있다.
나. 문항곤란도의 특징
(1) P는 0~100%에 이르기까지 변산되어 있다. P는 표준편차와 평균에 의해 결정된다.
(2) P의 값은 20<P<80이 적절하다(상대평가에서).
※ 상대평가에서는 P=100이거나 P=0일 때 문항이 어딘가 잘못되어 있다고 보는 반면, 절대평가에서는 P=100이면 교수-학습이 성공한 증거로 보고, P=0이면 목표달성을 위해 교수-학습과정을 개선해야 할 증거로 본다.
(3) 한 문항에서 정답을 한 사람의 수가 많을수록 P값이 커진다. P가 크면 클수록 더 쉬 운 문항이다.
(4) P는 문항정답률과 유사한 개념이다.
다. 문항곤란도
(1) P=(R/N)*100
(2) 미달항이 많을 경우
P=(R/(N-NR))*100
(3)추측요인이 강하게 작용했을 경우
P=(((R-(W/n-1))/(N-NR))*100
R: 해당문항에 대한 정답자수, N:전체 반응자수, NR:해당문항의 미달항자수,
W: 해당문항의 오답자수, n: 해당문항의 답자수
예) 60명의 학급학생 중 1번 문항에 45명이 정답을 했다면, 이 문항의 곤란도 지수는?
(풀이) (45/60)*100=75 (답) 75%
예) 4지 선다형의 경우
① 40 ① 10
② 150 ※(정답) ② 15
③ 20 ③ 30 ※(정답)
④ 60 ④ 5
NR 30 N=60N=300
P=((150-(120/(4-1)))/(300-30))*100 P=((30-(30/(4-1)))/(60-0)*100
=((150-40)/270)*100≒41(%) =((30-10)/60)*100≒33.3(%)
예)배합형의 경우
답지 전체
1
2
3
a
10
※75
40
b
※80
15
5
c
10
10
※55
計
100
100
100
전체 1의 P=((80-(20/(3-1)))/(100-0))*100=(70/100)*100=70(%)
전체 2의 P=((75-(25/(3-1)))/(100-0))*100=((75-12.5)/100)*100=62.5(%)
전체 3의 P=((55-(45/(3-1)))/(100-0))*100=((55-22.5)/100)*100=32.5(%)
(4)부분점수를 부여하는 경우(논문형과 같은 서답형 검사에서)
P=(SH+SL-NXmin)/N(Xmax-Xmin)*100
SH : 상위집단의 피검자들이 얻은 점수의 총계
SL : 하위집단의 피검자들이 얻은 점수의 총계
Xmax : 그 문항에서 받을 수 있는 최고점수
Xmin : 그 문항에서 받을 수 있는 최하점수
N :상․하집단을 합한 피검사자의 수
라. 문항변별도와 문항곤란도의 관계
(1) 문항변별도 지수는 문항곤란도에 크게 영향을 받는다는 단점을 지닌다. 즉 문항곤란 도가 50%일 때는 rt=1.00이 될 가능성이 있지만, 문항곤란도가 50%에서 멀어질수록 값은 .80밖에 안 된다.
(2) 문항곤란도가 서로 다른 문항들의 문항변별도 지수를 비교할 때는 각 문항의 문항곤 란도의 수준에 따른 최대값의 차이를 고려해야 한다. 문항곤란도와 문항변별도간의 관계는 다음과 같다.
[문항곤란도와 문항변별도의 관계에 관한 예]문항곤란도(%)
rt의 최대값
rt의 최소값
문항곤란도(%)
rt의 최대값
rt의 최소값
0
10
20
30
40
50
.00
.20
.40
.60
.80
1.00
.00
-.20
-.40
-.60
-.80
-1.00
60
70
80
90
100
.80
.60
.40
.20
.00
-.80
-.60
-.40
-.20
-.00
※ 문항곤란도와 문항변별도는 분석 단위가 문항이다. 즉 한 문항이 얼마나 어려운가 쉬운가, 혹은 한 문항이 얼마나 학생의 능력을 변별하는 데 예민한가 하는 것을 분석하고 있다.