[25수능 수학] 척도 평가(공통)

일단, 총평은 공통 수학에 대해서만 진행하기로 하였다.

 

요청이 있다면 가능한 선에서 추가 해설을 할 수는 있으므로

내 해설이 도움이 된다면 댓글로 알려주었으면 좋겠다.

 

나는, 서문에서 문제 평가 척도의 설계에 대해 말했었다.

 

다만, 시험 문제를 직접 풀어보는 과정에서

몇 가지 모호한 부분이 없지 않아 있었다.

 

이 단락에서는 이 부분에 대해 일부 해명할 것이다.

 

척도에 대한 예외처리

 

첫째로, 요구하는 능력이 마땅한 평가기준으로 나타나지 않은 경우

해당 항목이 존재하지만 평가기준이 애매하다면

상/중/하의 평가기준 및 교과서를 모두 보고

"이 수준보단 높을 것"이라고 타당하게 생각되는 지점으로 평가하였다.

 

둘째로, 계산 능력이 "전형적인 알고리즘"을 포함하는 능력이므로

하나의 계산에 일일이 점수를 부과할 것인지에 대한 부분에서는

 

만약, 그 흐름이 다음 흐름으로 이어질 것이 명백하다면

이는 하나의 알고리즘으로 보았고,

 

조건 대입이나 다른 평가기준이 중간에 개입되거나

연관되는 개념이 아닌 확고히 다른 개념을 참조하여서 이어가야 할 경우

독립적인 알고리즘으로 보았다.

 

마찬가지로, 상위 능력에 대해서

하위 능력을 요구하는 방향이 하나의 흐름으로 필연적으로 이어진다면

하위 능력으로 채점되어야 할 부분도 하나의 상위 능력으로 포함하였다.

 

그리고, 평가기준이 존재하는 모든 공식 대입은

모두 별개로 채점하였다.

 

셋째로, 평가기준 "상"에 대응되는 부분이 절차가 아닌 경우,

대부분 그 지점까지 계산을 하였다면 "상" 수준의 연산을 수행할 수 있으리라 기대하여

1점 그대로 채점하였다.

 

각각의 순간에서 최대 효율을 낼 수 있으리라 기대하는 방식을 추구하였고

이 답이 정답일 것이라 확신할 수 있는 가장 이상적인 풀이로만 준비하였다.

 

그리고, 단언컨대 채점의 타당성을 위주로 하였고

실제 오답률에 맞추려는 시도는 하지 않았다.

---

척도 평가

 

이제부터는, 이 척도의 유용함을 판단하기 위하여

각 집단별 실제 정답률과 척도를 비교할 것이다.

 

오답률은 메가스터디 사이트로부터 얻었다.

 

척도와 실제 오답률 비교

 

이 척도를 미적분 집단에 피팅하였기 때문에

실제 오답률도 미적분 집단에 매우 가까움을 알 수 있다.

 

그러나, 집단간의 체감 난이도가 비슷해서인지

문제 간의 난이도 변화를 추측하는 척도로 적절하다.

 

미적, 확통, 기하 집단의 오답률에 대해

척도의 공분산은 각각 0.785, 0.825, 0.781로

척도 간의 상관관계를 충분히 보이고 있다.

 

그럼에도 특이한 점은

미적분 집단의 오답률이

척도의 오답률보다 낮은 경우도 있다는 것이다.

 

이는, 집단이 상향평준화 되어 있어서

그저 감각으로 디테일한 부분들을 생략하는 것이 아닐까

조심스레 생각해본다.

 

척도 상으로는

가장 오답률이 높은 문항으로 15번을 예상했지만

실제 정답률은 22번이 가장 높게 나타났다.

 

15번 문제는 이전 기출과 유사한 형태를 띠므로

푸는 데 더 수월한 것도 고려해볼 수 있을 것이다.

 

난이도와 별개로

수식(절차) 또는 명제가 등장할 때마다 매겨진 절차 수에 따르면

 

15번과 22번이 각각 21, 22를 얻었다.

 

이런 부분에서도

15번과 22번은 사실 비슷한 수준으로 출제된 것이지만

이렇게 높은 정답률 차이가 일어나는 하나의 이유로

객관식과 주관식의 차이가 있다.

 

첫째로, 운이 좋아서 맞힌 학생들을 고려해보자.

못 맞힌 학생들 중 20%가 찍어서 맞혔다고 하면

 

오답률은 51%까지 오른다.

 

그럼, 객관식에 대해 잘 들어맞는 게

잘못된 것이 아니냐고 말할 수 있지만

객관식 오답률을 기준으로 만든 척도이므로

오히려 정확하다.

 

그렇다면,

주관식은 실질적인 오답자의 20% 반영을 배제하여야 한다.

 

이를 적용하면

$0.8p=(오답률)$이 성립한다.

 

따라서, 이를 토대로 그래프를 재작성하면 아래와 같다:

공분산 또한

각각 0.860, 0.873, 0.850으로

더 높은 상관관계를 보인다는 것을 확인할 수 있다.

 

그러나,

이러한 경우에도 여전히 문제는 존재한다.

 

따라서, 풀이 시간 또한 고려를 하여야 하는데

아래 내용은 그리 정확한 내용은 아니므로 참고만 하자.

 

일단, 이상적인 집단으로

문제 풀이를 난이도 순서대로 하였다고 하자.

 

그렇다면, 개개인의 역량을 기준으로 채점해볼 수 있다.

 

일단, 총점 75점 중

평균을 그 절반 가량인 33점

1등급 기준을 한 문제 틀린 71점으로 하고,

 

그 학생의 역량을 척도로 한다면

(10점짜리 문제는 학생의 역량이 10 이상 되어야 함)

 

25수능은

표준편차가 108이고, 평균이 69인 정규분포를 따른다.

(총 척도를 구하고, $\mu+1.75\sigma$를 1등급 컷으로 삼음)

이때, pdf가 가장 급격하게 변화하는 지점을 cut-off로 삼으면

 

그 위치는 대략 $69+108=177$이므로

 

총 척도를 계산해보면

이는 14번, 15번, 21번, 22번을 못 푸는 수준이 된다.

 

이 계산을 토대로 해서

만약 14번, 15번을 먼저 풀고

20번을 먼저 풀지 않았다면

 

이때도 총 척도는 177을 초과하는 213이므로

20번 이후로 급격히 등급이 붕괴하였을 가능성이 크다.

 

만약, 14번 문제를 포기하고 15번 문제를 푼다면

(20번 이후 문제도 포기하였다고 가정)

이때의 총 척도는 182로,

cut-off를 조금 넘어서면서 오차가 다소 발생하였다.

 

이로써, 14번과 20번 이후를 제외한 오답률은

척도와 높은 상관관계를 보이고 있다.

 

모쪼록, cut-off보다 해당 문제까지의 총 척도가 커질수록

점차 척도가 부정확해지는 것을 확인할 수 있는데

 

이 오차를 기반으로

상위권에 얼마나 집중되었는지를 가늠해볼 수 있다.

 

즉, 25수능을 응시한 집단은

중상위권의 영역이

탄탄하지는 못한 시험이었음을 알 수 있다.

 

왜냐하면

그 사이가 탄탄했다면

cut-off 이후로 이렇게 급격한 변동이

발생하진 않았을 것이기 때문이다.

 

즉, 현역의 감소와 N수생의 집중화 현상이

두드러지는 부분이라 볼 수 있다.

---

척도의 개선

 

아직 척도가 완전하지 않으므로

약간의 오차를 수반하는 것도 사실이다.

 

따라서, 채점기준을

조금 더 명확하게 나타내고자 한다.

 

일단, 평가기준을 참고로 하되

평가기준에서 정확하게 어디까지를 범위로 짚었는지를 판단한다.

 

"문제를 해결한다"라는 표현은

문제 해결 능력을 말하는 것으로 간주하며

이는 같은 수준에서 여러 개념을 차용하는 것을 의미하므로

"수학"의 내용은 문제 해결로 취급하지 않는다.

 

또한, 이는 채점에 남용될 수 있으므로

큰 문제를 해결하는 것에 채점하는 것이 아닌

부분 문제에 대한 명제의 참/거짓을 판단한 경우에만 채점하며

 

문제에 명시적으로 해당 주제에 대한 키워드가 주어진 경우에도

문제 해결 능력으로 삼지 않는다.

 

평가기준 "상"이 절차를 평가하지 않는 경우,

개별 식에 3점을 부과한다.

(개별 식으로 나타난 "중"에 비해 형평성이 떨어짐)

 

평가기준 "중"이 절차를 평가하는 경우,

절차에 가산점 2점을 부과한다.

(이런 유형은 특히 계산량이 매우 많거나 매우 적으므로

"상"보다 점수를 높게 주어야 보완될 수 있다고 판단하였다.)

 

"설명할 수 있다"라는 표현은

교과서에 명백한 공식으로 명시되지 않은 부분에 대해

예제 등을 들어서 설명하여야 하는 것들에 해당된다.

 

"간단한 문제"라는 표현은

교과서에서 하나의 범주로 묶인 공식 또는 통일된 방법으로 풀리는 문제로 취급한다.

 

만약, 적합한 평가기준이 없는 경우

적합하다고 생각하는 성취기준으로부터 최소한 이보다 높은 기준이어야 하는지 대조하여 그것을 삼는다.

 

어떤 상위 문제에 대한 하위 문제일지라도

사용되는 개념이 다르다면

무조건 개별 점수로 매긴다.

 

경우의 수가 특히 문제인데,

경우의 수를 통해 문제를 해결하는 것은

평가기준에서 "중" 수준에 해당하므로

일단, 절차에 대해 "중"의 가산점을 부여한다.

 

그러나, 분기를 모두 구하였다는 것은

탐색해야 할 동치 명제를 만든 것과 같으므로

각 분기마다 이해 능력으로 "중"을 부여한다.

 

만약, 하위에 분기가 발생하였을 때는

이 분기를 나누는 기준이 상위 분기와 같은 방법론이라면

굳이 분기를 명시하지 않더라도 일관되게 풀 수 있으므로

이에 대한 추가 점수를 부과하지 않을 것이다.

 

다만, 각 분기에 수반되는 계산은 하나의 계산 능력으로 평가한다.

---

 

개별 능력에 대해 평가기준과 분리하여 매기는 경우, 다음을 따라야 한다:

 

하위 계산 능력: 다항식을 간단히 정리, 수의 계산

(교육과정상 계산 능력에 해당함)

 

계산 능력: 풀이 과정, 문제에 명시적으로 나타난 조건의 대입 ($a$는 양수 등 즉각적으로 분별 가능하여야 함),

2차 방정식 풀이, 그 외 중학교 수학 수준의 내용

 

이해 능력: "하나의 목적을 가지고" 작성한 식 또는 대입, 다른 동치 명제로의 변환, 그래프 또는 표로 나타냄

 

이를 테면 키워드가 존재하는 조건에 대한 식 또는 대입 또한,

특정 공식에 대입하고자 하는 목적이 있으므로 이해 능력에 해당된다.

 

추론 능력: "미지의 문제"에 대해 하나의 교과 수준의 원리를 참고하여

참/거짓을 명확히 분별한 경우(단일 이해 능력 수준에서 해결되면 안 됨)

참/거짓 분별에서 나열, 세어보기, 관찰 등이 나타나는 경우

 

문제 해결 능력: "동등한 수준의 서로 다른 두 개 이상의 암묵적인" 개념을 활용하여

"하나의 문제"에 참/거짓을 밝혀낸 경우

(단일 추론 능력 수준에서 해결되면 안 되며,

절차식으로 푸는 것이 아닌 수평적으로 하나의 문제를 해결여야 함)

 

이렇게 위계성을 두도록 한다.

 

또한, 이해 능력과 계산 능력은 여러 단계를 포함하는 절차로 평가되는 것이(가산점제) 아니므로

이해 능력으로부터 수반되는 하나의 계산 절차는 위계성에 의하여 이해 능력으로 편입된다.

(예컨대, 목적에 따라 이차방정식을 작성하고 이를 전개하여 간단히 하는 것까지 이해 능력이다.)

 

한 번이라도 중간에 동등한 위계의 다른 양식의 계산이 등장하면

다른 계산이 나타나기 전까지만 채점한다.

 

다만, 계산 능력으로 수반되는 하위 계산 능력은 하나의 계산 능력으로 통일하며,

다른 양식이 중첩되어도 상관 없다.

(하위 계산 능력은, 이 식의 의미를 명확히 하는 능력이므로

하위 계산을 하였다고 식이 추가적인 의미를 가지지는 않는다.)

---

생각보다 글 쓰는 게 지루하고 힘들고

내 스케쥴을 많이 차지하다 보니

 

문제만 몇 달 전에 다 풀어놓고

방치하고 있었다.

 

일단, 이 해설을 쓴 이유는

출제하는 방식과 그 평가 척도를 개발하기 위함이니

 

그 부분에선 꽤나 성공적인 결과라 볼 수 있다.

 

출제하고자 하는 사람들도

많은 도움이 되었기를 바란다.