2026년 2분기 정기 구술평가 · ○○사단 ○○대대
채점 엔진 정상 예외 검토 3건 확정 12/15
국방 AI 아이디어 제안 장병 기본훈련 평가 효율화 운용 화면 프로토타입

반복은 AI에게,
판단은 평가관에게

AI 기반 교육훈련 구술평가 보조체계 — 정신전력 · 전투부상자처치 · 핵 및 화생방 구술평가를 음성인식 기반으로 자동 채점하고, 평가관은 저신뢰 · 경계선 · 이의제기 건만 확인해 최종 확정합니다.

현장 부하
2~3 : 100+
평가관 2~3명이 평가 대상 장병 50~100명 이상을 전담
AI 담당
1차 채점 100%
답변 청취 · 점수 부여 · 평가표 기록 · 미흡자 분류 · 결과 정리
평가관 담당
예외 3종
저신뢰 · 합격 경계선 · 이의제기만 재검토 후 최종 확정
01 · 제안 배경

평가관 1인이 모두 수행하는 일

대상자가 많을수록 시간 증가 · 피로 누적
01

답변 청취

한 명씩 직접 듣고 답변의 포함 요소를 판단

02

점수 부여

평가표 기준에 따라 문항별 점수를 부여

03

평가표 기록

수기로 평가표에 점수와 특기사항을 기재

04

미흡자 분류

보충교육 대상자를 기억과 체크표로 선별

05

결과 정리

평가 종료 후 취합·통계·부대 보고 자료 작성

대상자가 많을수록 평가 시간이 늘고 피로가 누적되어 일관성과 효율이 함께 저하됩니다. 평가표와 기준 답안은 이미 존재하지만, 채점은 매번 사람의 귀에 의존합니다.
01 · 제안 배경

평가할 사람은 줄고, 평가할 일은 그대로입니다

2019 → 2025
상비병력
56.3만→45만

2019 → 2025.7
6년간 약 11만 명 감소 · 육군 병사만 약 10만 명 감소

부사관 선발률
93.5%→51.2%

2019 → 2024 · 계획 대비
42.3%p 하락 · 평가를 맡을 간부 확보 난항

장기복무 간부 희망전역
역대 최다·2,869명

2025년 상반기 신청
2021년 상반기의 2.1배 · 86%가 부사관·위관장교

출처: 중앙일보(국방부 국회 제출 자료, 2025.8) · 조선일보(2025.8.11) · 일요서울(2025)

01 · 제안 배경

기준 답안이 있는데도, 채점은 매번 사람의 귀에 의존합니다

01

반복·정형 업무

평가표와 기준 답안이 이미 존재하지만, 평가관이 모든 답변을 직접 듣고 판단합니다.

02

피로 누적 → 편차

평가관 숙련도·피로도·주관에 따라 같은 답변도 점수가 달라질 수 있습니다.

03

사후 행정 부담

결과 취합과 보충교육 대상 선별을 평가표 체크와 평가관의 기억에 의존합니다.

연구 근거 — 말하기 응답 약 14,000건 · 채점자 72명 실험에서 근무 형태(채점 시간 구성)에 따라 채점 정확도와 일관성에 차이가 확인되었습니다. Ling, Mollaun & Xi (2014), Language Testing 31(4)
02 · 제안 필요성

AI가 보조하면 네 가지가 달라집니다

첫째

평가 인력 부족 해소

여러 장병이 녹음으로 동시에 응시하고, 평가관은 저신뢰·경계선·이의제기 건 중심으로 확인합니다.

둘째

평가의 표준화·공정성

동일한 평가표와 채점 기준을 규칙 기반으로 적용해 평가관 간 편차를 축소합니다.

셋째

즉각 피드백·보충교육 연계

평가 직후 점수·미흡 항목·보충 방법을 자동 제시하고, 개인별·부대별 취약 분야를 즉시 확인합니다.

넷째

실습평가·AI 교육체계로 확장

구술평가에서 시작해 모션 캡처·영상 분석 기반 실습평가와 데이터 중심 평가체계로 발전합니다.

05 · 실현 가능성

필요한 기술과 선례는 이미 현장에 있습니다

교육 현장

경기도교육청 AI 서술·논술형 평가

교사가 설계한 평가 기준으로 답안을 자동 채점하고 맞춤형 피드백을 제공합니다.

해외 군

미 육군대학원 연구 (2026)

상용 AI 4종이 구술 종합시험을 통과 — 단, 판단은 대체 불가·인간 감독 필요로 결론지었습니다.

정책 방향

국방혁신 4.0

교육훈련 혁신 · ‘과학적 훈련체계 구축’ 과제와 직접 연계됩니다.

음성인식 정확도(CER) 비교와 운용 계획은 에서 확인할 수 있습니다.

국방 AI 아이디어 제안 · 장병 기본훈련 평가 효율화반복 채점은 AI에게, 판단은 평가관에게
02 · 장병 응시

지정 장소에서 과목을 선택하고, 녹음으로 응시합니다

여러 장병이 동시에 응시하고, AI가 1차 채점합니다. 아래는 실제 응시 흐름을 1/40로 압축한 시연입니다.

응시자김○훈
소속○○대대 ○○중대
회차2026-2분기 정기
응시 방식녹음 (비대면)
채점 엔진규칙 기반 v2026.2
응시 과목 선택
평가표와 기준 답안은 이미 체계에 등록되어 있습니다. 응시자는 말로 답변만 하면 되고, 점수 부여와 기록은 AI가 수행합니다.
TERMINAL · ORA-03 마이크 연결됨 대기
문항 1 / 5 · 정신전력
안보관 확립
답변에 포함해야 할 핵심 요소를 기준 답안과 비교해 자동 채점합니다.
00:00/ 문항당 60초
녹음 STT 변환 채점 결과
버튼을 누르면 5문항 답변 녹음이 시작됩니다. 시연은 실제 응시 시간을 1/40로 압축하며, “자동 진행” 구간에서는 문항이 빠르게 넘어갑니다.
종합 점수
— / 100
문항별 배점 20점 × 5문항
판정
—
화면 예시 판정 기준
보충교육 권고
—
미흡 문항 자동 분류
평가관 검토 필요
—
저신뢰 · 경계선 · 이의제기
03 · 자동 채점

말한 답변이 점수와 데이터가 됩니다

단순 키워드 일치를 넘어 유사 표현·문장 의미·답변 맥락까지 고려해, 배점·핵심 요소·필수 키워드·절차 이해도·완성도를 규칙 기반으로 산출합니다.

채점 파이프라인
INPUT → STT → SCORING → OUTPUT
구술 답변 녹음 → 음성·문자 변환 → 기준답안·평가표 비교 채점 → 자동 기록·보충교육 대상 분류
채점 격자

정신전력 · 김○훈

AI 1차 채점 완료
SCORING GRID 문항 5 · 배점 100

셀을 누르면 해당 문항의 근거를 확인할 수 있습니다. 빨간 셀은 미흡 또는 저신뢰 판정 항목입니다.

문항별 상세

기준 답안 대비 포함 요소와 보충 방향

화면 예시 데이터
문항 · 키워드 · 점수는 화면 동작을 보여주기 위한 예시 데이터입니다.보충교육 권고는 평가관 확정 후 교육훈련 계획에 반영됩니다.
04 · 평가관 검토

평가관은 ‘전원 채점’에서 ‘예외 검토’로 이동합니다

AI가 전 인원 1차 채점과 자동 기록, 취약점 분석·보충교육 대상 분류를 수행합니다. 평가관은 예외 건을 재검토하고 최종 결과를 승인·확정하며 교육적 조치에 집중합니다.

응시 완료
15
2026-2분기 정기 · ○○대대 1개 중대
AI 1차 채점
15
전 인원 자동 채점 완료
예외 검토 대기
3
저신뢰 · 경계선 · 이의제기
확정 완료
12
평가관 승인 후 확정
평가관 처리 부하
3 / 15건
전원 채점 대비 20%만 직접 확인 (화면 예시)
예외 큐

평가관에게 넘어오는 3가지 검토 대상

3건 대기
역할 분담

무엇을 AI가 하고, 무엇을 평가관이 하는가

AI · 반복·정형 업무

1차 채점과 자동 기록

  • 전 인원 1차 채점 — 문항별 배점·핵심 요소·필수 키워드·절차 이해도·완성도
  • 평가 결과 자동 기록 — 개인별 점수, 과목별 평균, 문항별 취약점
  • 취약점 분석·보충교육 대상 분류 — 부대 전체 미흡 항목 집계
평가관 · 판단·교육적 조치

최종 판단과 확정

  • 예외 건 재검토 — A 저신뢰 · B 경계선 점수 · C 장병 이의제기
  • 최종 결과 승인·확정 — 필요 시 직접 청취 후 점수 조정
  • 보충교육 등 교육적 조치 — 반복 미흡 분야를 훈련 계획에 반영
AI는 평가관을 대체하지 않습니다 — 정형화된 채점을 먼저 수행하고, 평가관은 최종 판단과 교육적 조치에 집중합니다.
운용 개념

응시부터 확정까지 5단계

마지막 결정은 평가관
STEP 1

장병 평가

지정 장소에서 과목 선택 후 녹음으로 응시

STEP 2

AI 답변 분석

음성을 문자로 변환, 핵심 요소 포함 여부·완성도를 의미·맥락까지 분석

STEP 3

점수 산출

문항별 점수를 산출하고 우수·미흡 부분으로 분류

STEP 4

피드백 제공

보충교육이 필요한 항목을 자동 제시

STEP 5

평가관 확인

대시보드에서 예외 건 재검토 → 승인 후 최종 확정

예외 검토 화면의 인원·점수는 화면 동작을 보여주기 위한 예시 데이터입니다.승인 시 상태값이 확정으로 전환됩니다.
05 · 분석과 운용 계획

평가가 끝나면 데이터가 남습니다

개인별 점수, 문항별 취약점, 과목별 평균, 부대 전체 미흡 항목이 자동 산출되어 보충교육과 훈련 계획에 바로 연결됩니다.

응시 인원
100
3개 과목 · 중대 단위 시범 적용
평균 점수
78.1 / 100
과목별 편차 12.8점
보충교육 대상
33명
1순위 12명 · 2순위 21명
예외 검토율
3.0%
100건 중 3건만 평가관 직접 확인
과목별 평균

어느 과목이 약한가

화면 예시 데이터
정신전력84.2/100
전투부상자처치78.6/100
핵 및 화생방71.4/100
부대 전체 미흡 항목

반복해서 미흡한 지점

응시자 대비 미흡 비율
핵·화생방 · 제독 절차38%
TCCC · 기도 확보31%
정신전력 · 적 위협 인식27%
TCCC · 저체온 방지22%
핵·화생방 · 보고 체계19%
미흡 비율 30% 미만 우선 보충교육 대상

막대 길이는 값에 비례해 표시했습니다. 반복 미흡 분야는 교육훈련 계획에 자동 반영 대상으로 표시됩니다.

실현 가능성

한국어 음성인식 문자 오류율(CER)

공개 데이터셋 평균 · 낮을수록 정확
리턴제로5.91%
네이버 클로바7.52%
ETRI10.19%
OpenAI Whisper11.39%
Google STT v211.50%
환경별 편차가 약 3.5~32%로 크게 나타납니다. 군 용어 학습과 소음 대응이 선행되어야 하며, 그래서 저신뢰 건을 평가관이 확인하는 구조가 함께 설계되어야 합니다.

출처: rtzr/Awesome-Korean-Speech-Recognition (GitHub)

07 · 기대 효과

평가 현장은 이렇게 달라집니다

구분기존 구술평가AI 보조체계
평가 진행평가관이 1명씩 직접 청취여러 명이 녹음으로 동시 응시
채점숙련도·피로도에 따라 편차동일 평가표·규칙 기반 일관 채점
평가관 역할청취·채점·기록·분류·정리 전담예외 검토·최종 승인·교육적 조치
결과 정리평가표 수기 취합자동 기록·개인/과목/부대별 통계
보충교육평가 종료 후 체크표·기억으로 선별평가 직후 미흡 항목·보충 방법 제시
06 · 운용 계획

작게 검증하고, 효과가 확인되면 넓힙니다

1시범 적용
중대 · 소규모 대대
  • AI 평가 단말기에서 구술평가 응시
  • AI 1차 채점 → 평가관 최종 확인
  • 평가관 수기 기록 병행으로 정확도 비교·검증
2확대 적용
여단 · 사단급
  • 정기 평가 · 훈련생 평가 · 보충교육 대상자 재평가
  • 부대별 취약 분야 분석 → 지휘관 제공
  • 반복 미흡 분야를 교육훈련 계획에 반영
3전 분야 연계
실습평가까지
  • 전투부상자처치·핵 및 화생방 실습평가 우선
  • 모션 캡처 · 영상 분석 · 자세 인식
  • 개인·부대 맞춤형 보충교육 연계
최종 목표 — 육군 교육훈련 평가체계를 AI 기반 맞춤형·데이터 중심 평가체계로 발전시킵니다.
분석 수치는 화면 동작을 보여주기 위한 예시이며, CER만 공개 자료 출처를 표기했습니다.국방 AI 아이디어 제안 · 장병 기본훈련 평가 효율화