난이도와 변별도

1. 문항변별도(item discrimination)

가. 문항변별도의 의미

(1) 문항변별도란 ‘그 문항이 무엇을 측정하고 있느냐, 그 문항이 측정해야 할 것을 측정 하고 있느냐, 그 문항이 학생의 능력을 변별하는 힘이 있느냐’를 묻는 것으로, 문항타 당도(item validity)와 동의어이다.

예) 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 나누었을 때, 어떤 문항의 정답률이 상위집단이 하위집단보다 월등히 높았다면 그 문항은 문항변별력이 높은 것이다. 또 만약에 어떤 문항의 정답률이 상․하집단간에 전혀 차이가 없었다면 그 문항은 문항변별력이 전혀 없는 것이다. 그리고 만약에 어떤 문항의 정답률이 하 위집단이 하위집단보다 월등히 높았다면 그 문항은 어딘가 심하게 잘못된 것이다. 문항추측을 많이 할수록 변별력은 떨어지며 극단적으로 문항이 어렵거나 문항이 쉬 운 경우도 문항변별력은 떨어진다.

(2) 절대기준평가에 있어서는 개인차를 변별하는 데 목적이 있는 것이 아니라, 교육목표 의 달성도를 측정하는 데 목적이 있으므로 그 문항이 주어진 교육목표를 타당하게 측 정해 두기만 한다면 문항변별도에는 크게 신경쓸 필요가 없다. 상대평가에 있어서 문 항변별도는 문항의 양호도를 판단하는 기본적인 준거가 되므로 문항변별도 지수가 최 저 .20이어야 하고, .30 이상이면 만족스러운 수준이라고 보고 있다.

나. 문항변별도의 특징

(1) 검사의 총점이라는 내적 준거에 의해 문항타당도를 고려한다.

(2) 변별도 지수(rt)는 +부호를 가지면서 그 값이 크게 나와야 바람직하다. rt가 양수(+)이 면 정적 변별력을 갖고, rt가 0에 가까우면 변별력이 거의 없다는 것을 의미한다 (+.30~+.70까지가 가장 바람직한 분포이다). rt가 음수(-)인 경우는 하위집단이 상위 집단보다 더 높은 점수를 얻은 경우로써 이는 어딘가 심하게 잘못되어 있음을 의미한 다.

(3) 변별도 지수는 상관계수와 마찬가지로 -1.00~+1.00에 분포된다.

(4) 상대평가(규준지향평가)와 절대평가(목표지향평가) 모두에 유용하게 쓰인다.

(5) 학습의 실패자와 서공자의 변별이 잘 되는 교육목표가 어느 것인지를 확인하는 데 중 요한 정보를 제공한다.

다. 문항변별도 계산

(1) rt=(2(RH-RL)/N RH:상위집단의 정답자수, RL:하위집단의 정답자수, N:전체 반응자수

예) [문항1]

	오답	정답
상위집단	90	60	150
하위집단	50	100	150
	160	140	300=N

rt = (2(60-100)/300)=-40/150=-0.27

∴ 이 문항은 변별도가 좋지 못한 문항이라고 판정된다.

[문항2]

	오답	정답
상위집단	40	110	150
하위집단	120	30	150
	160	140	300=N

rt = (2(110-30)/300)/300=80/150=0.53

∴ 이 문항은 변별도가 좋은 문항이라고 판정된다.

(2) 부분 점수를 부여하는 경우(논문형과 같은 서답형의 경우)

rt = (SH-SL)/NH(Xmax-Xmin)

SH : 상위집단의 피검자들이 얻은 점수의 총계

SL : 하위집단의 피검자들이 얻은 점수의 총계

NH :상위집단의 피검자 수

Xmax : 그 문항에서 받을 수 있는 최고점수

Xmin : 그 문항에서 받을 수 있는 최하점수

2. 문항곤란도(item difficulty)

가. 문항곤란도의 의미

(1) 문항곤란도란 어떤 문항의 어려움의 정도를 나타내는 지수(보통P로 나타냄)으로서, 한 문항에 있어서의 전체 반응자수에 대한 정답자의 비율을 백분율로 나타낸 수치이 다.

(2) 문항곤란도가 일반적으로 평균 50% 정도일 때 검사는 개인차를 변별하는 데 최대의 기능을 발휘한다. 따라서 개인차의 변별을 목적으로 하는 상대평가의 경우에는 문항 곤란도가 20%~80%인 문항을 안배하여 문항곤란도의 평균치가 50% 정도가 되도록 하는 것이 좋다. 반면에 절대기준평가에서의 문항곤란도는 교육목표 달성도에 관한 정보를 준다는 이외에 다른 어떤의미도 갖지 않는다. 그러므로 절대기준평가에서는 평가후에 문항곤란도를 계산해 보는 경우를 예상할 수 있다.

나. 문항곤란도의 특징

(1) P는 0~100%에 이르기까지 변산되어 있다. P는 표준편차와 평균에 의해 결정된다.

(2) P의 값은 20<P<80이 적절하다(상대평가에서).

※ 상대평가에서는 P=100이거나 P=0일 때 문항이 어딘가 잘못되어 있다고 보는 반면, 절대평가에서는 P=100이면 교수-학습이 성공한 증거로 보고, P=0이면 목표달성을 위해 교수-학습과정을 개선해야 할 증거로 본다.

(3) 한 문항에서 정답을 한 사람의 수가 많을수록 P값이 커진다. P가 크면 클수록 더 쉬 운 문항이다.

(4) P는 문항정답률과 유사한 개념이다.

다. 문항곤란도

(1) P=(R/N)*100

(2) 미달항이 많을 경우

P=(R/(N-NR))*100

(3)추측요인이 강하게 작용했을 경우

P=(((R-(W/n-1))/(N-NR))*100

R: 해당문항에 대한 정답자수, N:전체 반응자수, NR:해당문항의 미달항자수,

W: 해당문항의 오답자수, n: 해당문항의 답자수

예) 60명의 학급학생 중 1번 문항에 45명이 정답을 했다면, 이 문항의 곤란도 지수는?

(풀이) (45/60)*100=75 (답) 75%

예) 4지 선다형의 경우

① 40 ① 10

② 150 ※(정답) ② 15

③ 20 ③ 30 ※(정답)

④ 60 ④ 5

NR 30 N=60

N=300

P=((150-(120/(4-1)))/(300-30))*100 P=((30-(30/(4-1)))/(60-0)*100

=((150-40)/270)*100≒41(%) =((30-10)/60)*100≒33.3(%)

예)배합형의 경우

답지 전체	1	2	3
a	10	※75	40
b	※80	15	5
c	10	10	※55
計	100	100	100

전체 1의 P=((80-(20/(3-1)))/(100-0))*100=(70/100)*100=70(%)

전체 2의 P=((75-(25/(3-1)))/(100-0))*100=((75-12.5)/100)*100=62.5(%)

전체 3의 P=((55-(45/(3-1)))/(100-0))*100=((55-22.5)/100)*100=32.5(%)

(4)부분점수를 부여하는 경우(논문형과 같은 서답형 검사에서)

P=(SH+SL-NXmin)/N(Xmax-Xmin)*100

SH : 상위집단의 피검자들이 얻은 점수의 총계

SL : 하위집단의 피검자들이 얻은 점수의 총계

Xmax : 그 문항에서 받을 수 있는 최고점수

Xmin : 그 문항에서 받을 수 있는 최하점수

N :상․하집단을 합한 피검사자의 수

라. 문항변별도와 문항곤란도의 관계

(1) 문항변별도 지수는 문항곤란도에 크게 영향을 받는다는 단점을 지닌다. 즉 문항곤란 도가 50%일 때는 rt=1.00이 될 가능성이 있지만, 문항곤란도가 50%에서 멀어질수록 값은 .80밖에 안 된다.

(2) 문항곤란도가 서로 다른 문항들의 문항변별도 지수를 비교할 때는 각 문항의 문항곤 란도의 수준에 따른 최대값의 차이를 고려해야 한다. 문항곤란도와 문항변별도간의 관계는 다음과 같다.

문항곤란도(%)	rt의 최대값	rt의 최소값	문항곤란도(%)	rt의 최대값	rt의 최소값
0 10 20 30 40 50	.00 .20 .40 .60 .80 1.00	.00 -.20 -.40 -.60 -.80 -1.00	60 70 80 90 100	.80 .60 .40 .20 .00	-.80 -.60 -.40 -.20 -.00

[문항곤란도와 문항변별도의 관계에 관한 예]

※ 문항곤란도와 문항변별도는 분석 단위가 문항이다. 즉 한 문항이 얼마나 어려운가 쉬운가, 혹은 한 문항이 얼마나 학생의 능력을 변별하는 데 예민한가 하는 것을 분석하고 있다.