역대 모든 모의고사와 10년간 기출을 분석한 AI가 문제를 만듭니다

지난 글에서 문제를 한 번 풀고 끝내는 공부의 한계를 이야기했습니다. 같은 유형을 레벨별로 반복해야 비로소 문제 보는 눈이 생긴다는 것을요.

그렇다면 그 반복을 위한 문제는 어디서 올까요.

“AI가 뚝딱 만들어 주는 거 아닌가요?” 학부모님들이 가끔 물으십니다. 맞습니다, AI가 만듭니다. 그런데 그 AI가 어떤 AI인지를 오늘 말씀드리려고 합니다.

AI가 먼저 공부했습니다

베토영어가 사용하는 AI는 처음부터 문제를 만들도록 설계된 것이 아닙니다. 먼저 공부를 시켰습니다.

역대 수능·모의고사 기출 전체, 그리고 지난 10년간 각 학교 내신 기출. 이 데이터를 토대로 AI에게 묻고 또 물었습니다.

이 유형의 정답은 어떤 기준으로 결정되는가. 오답 선지는 어떤 방식으로 매력적으로 만들어지는가. 레벨이 높아질수록 무엇이 달라지는가. 어떤 지문이 어떤 유형과 어울리는가.

이 질문들에 대한 답을 쌓은 것이 현재 AI의 출발점입니다. 현재 18개 유형별 설계서가 있습니다. 하나의 설계서 분량이 평균 22,000자입니다. A4 용지로 10페이지가 넘습니다.

여기에는 단순한 지시가 없습니다. 기출을 분석한 출제 원칙, 레벨별 난이도 기준, 오답이 갖춰야 할 조건, 검수에서 반복 지적된 개선 사항이 모두 담겨 있습니다.

선생님이 7,731번 고쳤습니다

AI가 만든 문제는 바로 학생에게 가지 않습니다. 생성 직후에는 ‘미검수’ 상태로 강사 큐에 올라옵니다. 강사가 문제 본문, 선지, 해설을 하나씩 확인하고 승인·수정·거부를 결정합니다.

거부할 때는 이유를 분류해서 남깁니다.

거부 사유	의미
복수 정답	정답이 두 개가 될 수 있는 경우
선지 매력도 부족	오답이 너무 쉽게 걸러지는 경우
해설 부족	풀이 과정이 충분하지 않은 경우
레벨 부적합	해당 단계에 비해 너무 쉽거나 어려운 경우
중복	이미 나온 문제와 내용이 겹치는 경우

이 거부 사유들은 사라지지 않습니다. 패턴을 분석해서 다음 설계서에 반영합니다. 그렇게 지금까지 검수를 마친 문항이 7,731개입니다.

6번 돌면서 무엇이 달라졌나

AI와 강사의 피드백 루프는 지금까지 6회전을 돌았습니다.

1회전 — 266건 검수 후, 오답 선지의 매력도가 가장 큰 문제임을 확인했습니다. 정답은 맞는데 오답이 너무 쉽게 보이는 문제들이 걸렸습니다.

4회전 — 오답이 정답과 미묘하게 달라야 진짜 실력을 측정할 수 있다는 기준을 세웠습니다. 비슷한 뜻의 단어, 방향만 살짝 다른 표현 등 4가지 방식으로 오답을 설계하는 원칙을 추가했습니다.

5회전 — 325건 검수에서 비슷한 문제가 중복으로 나오는 경우 33건이 발견됐습니다. 중복 검사 기준을 강화했습니다.

6회전 — 어법·빈칸 유형의 가장 쉬운 단계가 실질적 의미가 없다는 판단이 나왔습니다. 해당 단계를 폐지하고 그 위 단계부터 시작하도록 구조를 바꿨습니다.

하나의 사례를 들면, 요약문 완성 유형은 초기에 강사 수정률이 42.9%였습니다. 문제 두 개 중 하나 꼴로 손이 갔다는 뜻입니다. 4회전에서 오답 설계 원칙을 추가한 이후 이 수치가 의미 있게 낮아졌습니다.

6개 학교 기출로 대조했습니다

AI가 만든 문제가 실제 학교 시험과 같은 수준인지 확인하기 위해 별도 검증을 진행했습니다. 6개 학교의 최근 내신 기출을 가져와 AI 생성 문제와 나란히 놓고 비교했습니다.

72건 검증에서 100% 합격이었습니다. 기출과 구별이 되지 않는 수준이어야 한다는 기준을 세웠고, 그 기준을 통과했습니다.

자주 묻는 질문

Q1. AI가 만든 문제가 진짜 학교 시험과 비슷한가요?

6개 학교 기출과 나란히 대조해서 72건 전수 검증했습니다. 선지 구성, 오답 매력도, 해설 논리 모두 기출 수준 이상을 기준으로 판정했습니다.

Q2. 강사 검수 없이 AI 문제가 학생에게 가는 경우는 없나요?

없습니다. 생성 직후 문제는 ‘미검수’ 상태로 분류되어 강사 확인 전까지 배정되지 않습니다.

Q3. 같은 문제가 반복해서 나올 수 있나요?

5회전 피드백에서 중복 33건을 발견한 이후 중복 검사 기준을 강화했습니다. 동일 지문 내 유사 문항이 배정되지 않도록 시스템으로 차단합니다.

Q4. 18개 유형이면 어떤 것들인가요?

수능·내신에서 반복 출제되는 유형 전체입니다. 주제·요지, 빈칸 추론, 어법, 순서 배열, 문장 삽입, 요약문 완성, 제목, 심경, 함의 추론 등이 포함됩니다.

Q5. 앞으로도 계속 개선되나요?

네. 강사 검수가 누적될수록 피드백이 쌓이고, 그 데이터가 다음 설계서에 반영됩니다. 7회전, 8회전으로 계속 돌아갑니다.

다음 글에서는 학부모님이 자녀의 학습 상태를 어떻게 확인할 수 있는지 안내합니다.