과제 전형 채점 기준표: 수백 명을 같은 기준으로 평가할 수 있을까?

과제 전형은 서류와 면접보다 무엇을 더 보여 주나요?

과제 전형에서는 서류와 면접에서 말로만 듣던 일하는 방식을 결과물로 직접 확인할 수 있습니다. 다만 과제 하나에 판단을 모두 맡기기보다, 과제로 확인할 것과 구조화 면접에서 확인할 것을 나눠 두기를 권합니다.

연구에서 작업 표본(work sample)의 예측력(상관계수, 1에 가까울수록 예측이 정확)은 .54(1998)에서 재분석 뒤 .33(2005·2022)으로 낮아졌지만, 구조화 면접(.42)보다는 낮고 비구조화 면접(.19)보다는 높아 선발 방법 가운데 여전히 상위권입니다.^[1][2][3] 다만 .33의 바탕이 된 연구 54개 가운데 53개는 지원자가 아닌 재직자를 대상으로 했습니다.^[3] 이 글은 과제로 일하는 방식을 보고, 과제에서 근거가 비는 기준은 구조화 면접에서 확인하는 순서를 권합니다. CoSprint 리포트도 기록에 근거가 없는 기준을 면접 질문으로 넘깁니다.

지원자 수백 명을 같은 기준으로 채점하려면 무엇부터 정하나요?

과제보다 채점 기준을 먼저 정합니다. 제출물을 읽고 나서 기준을 만들면, 먼저 읽은 제출물이 기준의 출발점이 될 수 있습니다. 채점자마다 먼저 읽은 제출물이 다르다면 출발점도 달라집니다.

같은 기준으로 보는 조건은 면접 연구에 정리되어 있습니다. 선발 면접의 평가자 간 신뢰도 계수 111개를 분석한 연구에서 질문의 표준화, 답을 평가하는 방식의 표준화, 여러 점수를 합치는 방식의 표준화가 평가자 간 신뢰도를 달라지게 하는 요인으로 나타났습니다. 여러 점수는 정해진 공식으로 합쳤을 때 쓸모가 있었고, 평가자가 주관적으로 합쳤을 때는 그런 근거가 없었습니다.^[4]

면접 연구에서는 여러 면접관이 함께 본 패널 면접의 평가자 간 신뢰도가 .74, 면접관이 각자 따로 진행한 면접이 .44였다는 분석도 있습니다(신뢰도 계수 125개, 표본 32,428명).^[5] 두 연구 모두 면접을 다뤄 과제 채점에 그대로 옮길 수는 없지만, 같은 기준표라도 채점자마다 해석이 갈릴 수 있다는 점은 같습니다.

채점 전에 정할 네 가지

1. 기준 4~5개: 입사 후 첫 몇 달 동안 그 직무에서 실제로 하는 판단에서 뽑음
2. 수준별 행동 지표: ‘논리적이다’ 대신 제출물에서 보이는 행동으로 수준마다 한 줄
3. 근거 칸: 점수마다 제출물의 어느 대목을 보고 매겼는지 적는 자리. 찾지 못하면 빈칸
4. 합치는 방식: 기준별 가중치를 미리 정하고 계산으로 합침. 회의에서 총점을 손으로 고치지 않음

이렇게 정해 두면 채점은 같아지지만 시간은 줄지 않습니다. 제출물 한 건마다 기준 다섯 개의 근거 대목을 찾아 옮겨 적어야 하고, 지원자가 수백 명이면 이 일을 수백 번 반복합니다. CoSprint는 팀이 실제로 겪은 문제로 실무형 과제를 만들고, 지원자가 과제를 푸는 과정 전체를 기록해, 같은 기준으로 근거를 인용한 리포트와 면접에서 확인할 질문을 만듭니다. 다음 단계로 넘길지는 채용팀이 정합니다.

과제 전형 채점 기준표는 어떻게 만드나요?

기준마다 수준별 행동 지표를 한 줄씩 적고, 별도로 근거 칸이 있는 채점 기록지를 둡니다. 아래는 그로스 마케터 공고에 “9월 들어 주문 전환율이 떨어졌다. 주차별 퍼널 데이터와 주간회의 메모를 보고 원인과 다음 주에 할 일을 정리하라”는 과제를 낸 경우의 예시입니다.

채점 기준표 (예시: 그로스 마케터 과제)

AI 활용 행은 3단계 칸의 행동이 대부분 보이면 3, 빠짐없이 보이면 4로 봅니다. AI 활용 기준은 AI 사용을 허용한 과제에만 둡니다. 단계별로 무엇을 보는지는 AI 역량 평가 기준표와 면접 질문에 따로 정리했습니다.

채점 기록지 (지원자 1명 예시)

근거 대목을 찾지 못한 기준은 점수를 추측하지 말고 비워 둡니다. 빈칸은 감점이 아니라 면접에서 확인할 항목입니다. ‘한 단계 위가 아닌 이유’ 칸은 채점자끼리 기준 해석이 다를 때 어디서 갈렸는지 바로 보여 주고, 불합격 피드백을 쓸 때도 그대로 쓸 수 있어요.

본 채점 전에는 채점자 전원이 같은 제출물 3~5건을 각자 채점하고, 수준이 갈린 칸만 함께 봅니다. 이 회의 방식은 인사평가 캘리브레이션 회의 운영법에서 다룬 보정 회의와 같은 원리입니다. 근거를 먼저 읽고, 바꾼 해석은 기준표에 한 줄로 보탭니다.

CoSprint에서는 채용 공고나 회사 문서를 올리면 이런 기준이 그 문서에서 만들어지고, 기준마다 어느 문서의 어느 문장에서 왔는지 함께 보입니다.

과제는 어떻게 설계해야 채점이 쉬워지나요?

채점할 기준이 제출물에 드러나도록 과제를 만듭니다. 답이 하나로 정해진 과제라면 정답 여부 말고는 볼 것이 적고, 범위가 넓은 과제라면 지원자마다 다른 것을 해 와 같은 표에 놓기 어려울 수 있습니다.

과제 설계 체크리스트

분량 상한(4번)이 있으면 지원자는 무엇을 뺄지 골라야 하고, 그 선택이 과정 기록 칸(6번)에 남아 우선순위 판단의 근거가 됩니다. CoSprint는 팀이 실제로 겪은 문제와 자료로 실무형 과제 초안을 만들고, 지원자가 과제를 푸는 동안 나눈 대화를 그대로 기록해 6번의 과정이 결과물과 함께 남습니다.

과제가 지원자에게 무급 노동이 되지 않으려면 어떻게 하나요?

실제 서비스에 바로 쓸 결과물을 요구하지 않고, 범위에 상한을 두고, 결과물을 채용 심사에만 쓴다고 미리 알립니다. 과제 전형은 지원자의 시간을 쓰는 전형이라 이 문제를 피해 갈 수 없습니다.

이 논란은 여러 번 화제가 됐습니다. 시사IN은 2022년 기획자에게 지원 회사의 서비스 개선안을, 디자이너에게 운영 중인 서비스의 디자인 개편 시안을 요구하는 사전 과제 사례를 다루며 ‘무급 노동’ 문제를 짚었습니다.^[6] 쿠팡은 2025년 UX 디자이너 채용에서 5일 과제 전형을 없애고 현직 디자이너와 1시간 이내로 진행하는 전형으로 바꿨다고 발표했습니다.^[7]

법도 선을 정해 두었습니다. 채용절차법은 채용을 가장해 아이디어 수집 등을 목적으로 거짓 채용광고를 내는 것과, 구직자에게 채용서류 및 관련 지식재산권을 회사에 귀속하도록 강요하는 것을 금지합니다. 채용서류에는 작품집·연구실적물처럼 구직자의 실력을 알아볼 수 있는 자료(심층심사자료)도 포함되고, 이 법은 상시 30명 이상 사업장에 적용됩니다.^[8] 과제 안내문과 결과물 처리 방식은 노무 전문가의 검토를 받아 두세요.

채점 기준표는 이 문제에도 도움이 됩니다. 기준이 다섯 개라면 그 다섯 가지가 드러날 만큼만 과제를 내면 되고, 그보다 큰 과제는 채점하지 않을 부분을 지원자에게 시키는 셈입니다.

제출물이 수백 건이면 채점은 어디서 막히나요?

기준표를 갖춰도 손으로 하면 세 곳에서 멈춥니다.

• 근거 칸 채우기: 수준은 금방 정해도, 그 수준을 받칠 대목을 찾아 옮기는 데는 제출물 한 건마다 시간이 듭니다. 지원자가 수백 명이면 그 시간이 그대로 곱해집니다.
• 결과물만 남는 과제: 제출물에는 최종본만 남고, 무엇을 먼저 보고 무엇을 버렸는지는 지원자가 적어 준 만큼만 보입니다. 결과물을 AI로 다듬었다면 그 과정은 더 보이지 않습니다. 한 칼럼은 올해 하반기 채용에서 기업들이 AI 결과물을 비판적으로 다시 짜는 역량을 실무 시나리오로 본다고 소개했습니다.^[9]
• 면접 질문 정리: 지원자마다 비어 있는 기준이 달라서, 면접 전에 기록지를 다시 읽고 질문을 따로 만들어야 합니다.

과제 전형이 잘 돌아가려면 수백 건 모두에 같은 형식의 근거 칸이 채워지고, 빈칸이 면접 질문으로 넘어가야 합니다. 지원자가 늘어도 이 두 가지가 유지되는지가 채점 방식을 고르는 기준입니다.

CoSprint는 과제 전형에서 무엇을 대신하나요?

CoSprint는 결과물이 아니라 과제를 푸는 과정을 확인합니다. 팀이 다루는 문제를 설명하고 회의 메모나 데이터 파일을 올리면 브리프·협력자·평가 역량 초안이 만들어지고, 채용팀은 검토와 수정만 하면 됩니다. 채용 공고나 회사 문서를 올리면 직무 역량과 회사 적합도 기준이 그 문서에서 만들어지고, 모든 지원자 리포트가 그 기준으로 작성됩니다.

지원자는 가상 동료·AI와 대화하며 과제를 풀고, 대화와 결과물이 모두 기록됩니다. 평가마다 근거가 된 문장을 그대로 인용하고, 기록에 근거가 없는 항목은 추측 대신 빈칸으로 둡니다. AI 사용은 막지 않고, 무엇을 AI에 맡기고 어디서 AI의 오류를 잡았는지를 AI 활용 역량으로 평가합니다. 위 채점 기록지의 근거 칸과 빈칸이 지원자마다 같은 형식으로 채워지는 셈입니다.

모든 제출물을 분석해 순서대로 정리하고, 채용팀은 쇼트리스트부터 검토합니다. 쇼트리스트 밖 지원자도 언제든 열람하고 직접 추가할 수 있어요. 리포트마다 당락을 가를 빈틈만 골라 면접 질문으로 정리하고, 질문마다 근거 대목과 답변 판정 기준이 붙습니다. 이력서의 자격요건 일치 여부도 과제 기록과 나란히 표시됩니다. AI는 근거 정리와 검토 순서까지만 맡고, 다음 단계·보류·불합격 결정은 채용팀 몫입니다. 면접 단계는 면접 평가표에서 이어서 볼 수 있습니다.

모든 채용에 맞지는 않습니다. 지원자가 수십 명이고 채점자가 한두 명이라면 위의 기준표와 기록지로 직접 채점하는 편이 빠릅니다. 용접이나 장비 정비처럼 손으로 하는 실기를 봐야 하는 직무, 짧은 코딩 테스트로 확인할 것이 충분한 직무도 CoSprint보다 기존 방식이 맞습니다.