서술·논술형 평가 강화한다지만
객관성 낮고 피드백 한계로 난항
AI 채점 땐 교사부담 최대 95%↓
정확성 높아 당국 연내 개발 검토
"개인정보 보호 정책 등 마련 필요"
지난 3월 28일 열린 인공지능(AI) 기반 서·논술형 평가 시범 운영 연구회 교원 설명회에서 경기도교육청 관계자가 발언하고 있다.
 사진제공=경기도교육청
[서울경제]
교육 당국이 인공지능(AI) 기반 서·논술형 평가 도구 개발을 적극 추진하고 있다.
 공교육 경쟁력을 높일 수 있는 방안으로 주목 받고 있는 서·논술형 평가가 평가 신뢰성, 교사 업무 부담 가중 등의 이유로 확대에 제동이 걸렸기 때문이다.
 교사의 채점 부담을 최대 95%까지 줄일 수 있다는 연구 결과가 나오는 등 효용성이 크다는 평가가 나오지만 비용 문제, 개인정보 유출 우려 등도 있어 현장에 도입되기까지는 상당한 시간이 걸릴 것으로 전망된다.

1일 교육계에 따르면 서울시교육청은 교육청 산하 교육연구정보원과 함께 AI 기반 서·논술형 평가 도구 개발 관련 논의를 진행 중이다.
 개발에 앞서 진행한 연구 용역 결과에서 평가 도구 개발이 공교육 경쟁력 강화에 도움이 될 수 있다는 결론이 나오자 개발을 위한 후속 절차를 밟는 모양새다.
 서울시교육청의 의뢰로 연구를 진행한 하민수 서울대교수팀은 최근 공개한 ‘중등학교 서·논술형 평가 지원을 위한 AI 기반 평가 지원 도구 개발 타당성 연구’ 보고서에서 “(평가 도구가) 평가의 객관성과 신뢰성을 높이며, 학생 맞춤형 피드백을 가능하게 함으로써 서·논술형 평가 활성화와 교육의 질 향상에 이바지할 것으로 기대된다”고 밝혔다.

실제 보고서에 따르면 서·논술형 문항을 AI로 채점한 결과와 인간이 채점한 결과의 일치도가 84~98%로 매우 높은 수준을 보였다.

특히 AI 기반 채점은 교사의 평가 업무 부담을 크게 덜어주는 것으로 나타났다.
 AI 채점 시스템을 활용하면 과목에 따라 교사의 채점 부담을 최대 95%까지 줄일 수 있는 것으로 조사됐다.
 국어과 개념설명 유형 문항의 경우 교사는 학생 1명이 쓴 100자 분량의 응답을 읽고 키워드를 분석하는 데 평균 20초가 걸리는 반면 AI는 10초면 충분했다.

서울시교육청 관계자는 “연구 보고서는 의미가 있다"며 "개발 일정이 아직 확정된 것은 아니지만, 연구정보원 등과 연계해 적합성이 높은 평가도구를 올해 만드는 방안을 검토 중인 것은 맞고, 관련 예산도 확보했다”고 밝혔다.

경기도교육청 역시 올해 일반 학교 교원 4000명에게 AI 기반 서·논술형 평가 연수를 운영할 계획을 밝히는 등 평가 도구 개발에 적극적인 행보를 보이고 있다.
 창의성·비판적 사고력 등 고차원적 사고 역량을 키워주는 서·논술형 평가가 필요하지만, 평가 도구 개발 없이는 확대가 쉽지 않다는 판단이 작용했다는 분석이 나온다.
 실제 지난 2023년 교육부가 공교육 경쟁력 제고 방안을 발표하며 서·논술형 문항만으로 평가 가능하도록 근거를 마련했고, 이후 지난해 학교생활기록 작성 및 관리지침이 개정됐지만 2024학년도 기준 대부분의 시도교육청은 학기 단위 성적의 20~40%를 서·논술형 평가로 반영하도록 권장하고 있다.
 그러나 채점 부담, 일관성 유지 어려움, 피드백 제공의 한계 등으로 학교 현장에서 서·논술형 평가 활용도는 권장 수준보다 높지 않은 것으로 알려졌다.
 AI 평가 도구가 개발될 경우 평가 확대에 도움이 될 가능성이 크지만, 과제도 산적하다.
 연구팀은 “AI 평가 시스템의 성공적 도입을 위해서는 학생 개인정보 보호와 데이터 보안에 관한 명확한 가이드라인이 필요하다”며 “교사 평가 역량 강화를 위한 체계적 연수 프로그램을 구성하고, 교사들이 서·논술형 평가와 피드백에 집중할 수 있도록 행정업무 부담을 줄여주는 정책적 지원도 필요하다”고 짚었다.