평가도구의 양호도

교실이나 학교 현장에서는 여러 가지 유형의 시험과 검사를 사용하여 학생들의 성취도를 검사하고 사정한다. 교육 현장에서 학생들의 성취도검사를 할 때 간과하기 쉬운 것이 측정 도구의 양호도에 관한 것이다. 검사의 측정치는 학생의 장래에 지대한 영향을 미치는 자료로 이용되는 일이 많기 때문에 잘못 제작한 도구로 학생의 특성을 측정하는 것은 심각한 문제를 야기할 수도 있다. 따라서 검사 제작 담당자들은 검사지의 양호도에 관해 특별한 관심을 기울여야 한다. 타당도(validity)란 측정하고자 하는 것을 검사가 진짜로 측정하고 있는가의 문제와 관련 있는 개념이다. 타당도는 검사의 가장 중요한 양호도에 관한 측정치고, 한 검사가 검사 목적을 성취할 수 있는 정도를 의미한다. 교육 측정·평가·연구·통계 용어사전에서도 이를 검사 도구가 측정하고자 하는 능력이나 특성을 충실하게 측정하는 정도라고 정의한다. 예를 들어, 사회 교과의 시험 문항이 난이도의 문제가 아니라 문제 자체를 해석하기가 어려워서, 즉 국어 교과에서 측정하는 독해력이나 어휘력의 문제 때문에 학생들이 문제를 해결하는 데 어려움을 겪는다면, 이는 타당도에 문제가 있는 문항이 된다. 타당도는 내용 타당도, 예언타당도, 공인타당도, 구인타당도로 구분할 수 있다. 내용타당도는 흔히 안면 타당도, 교과 타당도라고도 한다. 내용 타당도란 교수-학습 과정에서 설정하였던 교육 목표를 평가도구가 얼마나 충실히 측정하고 있느냐는 것을 결정할 때 쓰이는 타당도의 개념이다. 교수-학습 과정을 거친 다음 학생에게 실시하는 검사가 타당한 평가도구가 되기 위해서는 가르치려고 하였던 내용을 충실히 측정해야 한다. 교육에서 의도하는 궁극적 목적은 보다 고차적인 것에 있지만 평가도구의 직접적 목표는 교육 목표, 교과과정, 교재의 내용을 잘 측정하고 있는가로 요약할 수 있다. 이 같은 학습 목표 및 교수 목표를 얼마나 잘 대표하고 충실히 측정하고 있는가의 정도에 비례해서 성취도검사의 타당도는 높아진다. 타당도의 분석에서 검사의 타당한 정도를 알아보는 준거는 교육 목표이기 때문에 이미 제시되어 있는 목표에 근거하여 분석하는 것이다. 내용타당도는 미리 정의된 내용 및 목표에 대한 내용 분석을 한 후 논리적으로 사고하여 검사 문항의 적합도를 판단하기 때문에 수리적인 절차와 분석은 없다. 따라서 타당도의 정도는 수량적으로 표시되지 않는다. 예언타당도란 검사 결과가 미래의 행동이나 특성을 예측하는 정도를 의미한다. 따라서 타당도의 준거는 그 학생의 미래에 나타날 특성이 된다. 이와 같은 예측 가능성은 교육학이나 심리학에서 사용하는 대부분의 측정 도구에서 요구된다. 특히, 적성검사는 예언타당도를 가장 높은 수준으로 요구하는 측정 도구다. 학생의 학업 성취도를 측정하는 일반적인 시험 역시 학생이 현재 가지고 있는 지적 성취 수준뿐만 아니라 잠재적인 미래의 성취까지 예측하는 자료로 활용하려는 목적이 있다. 예를 들어, 대학 입학시험은 단순히 고등학교까지의 학업 성취도를 측정하고자 하는 것이 아니라 대학에 입학하여 수월하게 공부할 수 있는 능력을 갖춘 학생을 고르기 위한 잠재적인 목적을 가진 것이다. 예언타당도를 밝히는 통계적인 방법은 먼저 시행한 측정 결과와 나중에 시행한 측정 결과 간의 상관관계를 산출하는 것이다. 그러나 예언타당도를 산출하기 위하여 피험자의 미래 행적을 추적하여 다시 측정하는 일은 그리 쉽지 않기 때문에 예언타당도를 정확히 검증할 수 있는 측정 도구는 많지 않다. 공인타당도란 이미 타당도를 인정받은 측정 도구와 그 측정 결과가 일치하는 정도를 말한다. 이때의 준거는 이미 공인되어 비교되는 도구의 측정 결과가 되는데, 예언타당도와는 달리 준거가 미래에 있는 것이 아니라 현재에 있다. 공인타당도는 예언이 아니라 공통부분을 알아보는 것이다. 즉, A라는 검사를 새로 제작하였다면, 검사 A가 이미 같은 특성을 재는 검사로서 타당도를 인정받는 검사 B와 어느 정도 공통된 요인을 지니고 있는가, 혹은 검사 A가 검사 B를 대체할 수 있는가의 정도가 바로 공인타당도다. 예를 들어, 새로운 지능검사의 타당도를 검증하기 위해 이미 타당도를 공인받은 지능검사와 새로운 지능검사 사이의 상관관계를 산출해 보는 것이다. 구인타당도란 측정하고자 하는 심리적 특성의 구성 요인을 이론적으로 타당 화하여 그 측정 결과를 정당화하는 정도를 의미한다. 한 검사 도구가 측정하고자 하는 특성을 정의하고 상호 관련이 있는 구인과의 관계를 명료화함으로써 구인의 존재를 정당화하며, 이를 바탕으로 실질적으로 구인을 측정하는 정도를 판단하여 검사의 구인타당도를 활용한다. 이것은 측정 도구 자체의 적절성보다는 하나의 새로운 이론이나 법칙을 정립하려는 것으로, 준거의 검증과 이론을 형성하기 위한 타당화라고도 할 수 있다. 구인타당도는 측정하고자 하는 구인을 정의하고 가설을 세워 경험적인 자료를 토대로 검증하는 것이다. 구인타당화의 과정은 이론을 제기하고 정립해 나가는 과정인 이론 형성 과정과 다를 바가 없다. 따라서 구인타당도를 밝히는 통계적인 방법은 요인분석, 상관분석, 차이 검증, 문항 분석 등의 모든 방법이 사용될 수 있다.