처음이어도 괜찮아요 · 그림부터 시작해요
mutant와 negative control로 test를 test한다
target defect를 나타내는 small mutant·known-bad implementation을 주입해 suite가 올바른 이유로 실패하는지 검증한다. 이 판단을 생략하면 통과한 test와 많은 log가 있어도 결함을 놓치거나 잘못된 수정을 승인할 수 있습니다.
아직 답을 몰라도 괜찮아요. 아래 작은 예시를 보고 먼저 예상해 보세요.01 · 가볍게 시작하기
정답을 보기 전에 먼저 골라볼까요?
synthetic td43 fixture · secret 없는 고정 입력 · exact Python 3.14.6- 1먼저 골라보기
틀려도 괜찮아요. 지금 생각한 답 하나를 정해요.
- 2그림으로 확인하기
움직이는 순서와 달라지는 곳만 천천히 찾아요.
- 3내 말로 다시 말하기
한 문장으로 말해 보면 내가 이해한 곳을 확인할 수 있어요.
02 · 그림으로 보기
그림이 움직이는 순서를 직접 확인해요
- 01관찰mutation testing · mutant · negative control · kill
- 02추론mutant는 비교 연산·경계·return·effect 같은 실제 defect model을 한 번에 하나 바꿔 suite의 탐지력을 측정한다. surviving mutant는 test 또는 oracle gap 후보이며 equivalent mutant 가능성을 별도 판정한다. mutation score만 최적화하지 말고 고위험 계약과 연결된 mutant를 우선하고 failure reason을 확인한다.
- 03검증mutant와 negative control로 test를 test한다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다. `<`를 `<=`로 바꾼 mutant가 산다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다. known-good는 통과하고 각 non-equivalent target mutant는 지정된 contract assertion에서 실패을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
처음 보는 말도 책 읽듯 풀어봐요
이 수업은 쉬운 뜻과 생활 예를 아직 함께 준비하지 못했어요. 설명 없는 정확한 이름은 먼저 보여 주지 않을게요.
그림에서 찾을 쉬운 규칙
- 01mutant는 비교 연산·경계·return·effect 같은 실제 defect model을 한 번에 하나 바꿔 suite의 탐지력을 측정한다.
- 02surviving mutant는 test 또는 oracle gap 후보이며 equivalent mutant 가능성을 별도 판정한다.
- 03mutation score만 최적화하지 말고 고위험 계약과 연결된 mutant를 우선하고 failure reason을 확인한다.
03 · 같이 풀어보기
한 단계씩 따라가면 어렵지 않아요
입사 코딩과제의 test 품질 평가에서 mutant와 negative control로 test를 test한다 계약을 적용한다.
synthetic td43 fixture · secret 없는 고정 입력 · exact Python 3.14.604 · 이제 내가 해볼 차례
여기까지 오면 이런 일을 할 수 있어요
target defect를 나타내는 small mutant·known-bad implementation을 주입해 suite가 올바른 이유로 실패하는지 검증한다.
- mutant와 negative control로 test를 test한다의 예상 결과·관찰 결과·판정 oracle을 실행 전에 분리해 기록한다.
- `<`를 `<=`로 바꾼 mutant가 산다.에서 최초 불일치 지점과 근본 원인을 재현 가능한 evidence로 국소화한다.
- known-good는 통과하고 각 non-equivalent target mutant는 지정된 contract assertion에서 실패을 정상·경계·실패 fixture에 적용하고 false green·false red가 없는지 검증한다.
05 · 자주 헷갈리는 지점
틀린 답도 이유를 알면 다음에는 맞힐 수 있어요
01mutant가 하나라도 살아남으면 production 코드가 반드시 틀렸다.
한 번 더 생각해 볼 질문mutant와 negative control로 test를 test한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요mutant는 비교 연산·경계·return·effect 같은 실제 defect model을 한 번에 하나 바꿔 suite의 탐지력을 측정한다.
02mutation score 100%면 모든 실제 defect를 잡는다.
한 번 더 생각해 볼 질문mutant와 negative control로 test를 test한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요surviving mutant는 test 또는 oracle gap 후보이며 equivalent mutant 가능성을 별도 판정한다.
03test가 mutant에서 실패하기만 하면 어떤 assertion이 실패했는지는 중요하지 않다.
한 번 더 생각해 볼 질문mutant와 negative control로 test를 test한다의 최소 fixture에서 이 주장을 깨는 관찰값과 판정 근거를 각각 한 줄로 쓰세요.
이렇게 고쳐 생각해요mutation score만 최적화하지 말고 고위험 계약과 연결된 mutant를 우선하고 failure reason을 확인한다.
06 · 더 궁금할 때만 보기
선생님과 검토자를 위한 믿을 만한 원문
원문과 어디까지 참고했는지 펼쳐 보기처음 배우는 동안에는 열지 않아도 괜찮아요.
discovery, assertion introspection, parametrization, markers, raises, warning·capture·debugging과 import 경계
statement·branch source/destination pair, partial branch, exclusion과 report 계약. correctness 증명이 아님
testing purpose·error/defect/failure, types·levels·process, coverage·refactoring, debugging·assertions·logging·white/black-box objective
correct·incorrect implementation을 구분하는 test suite와 mutant-like test-the-tests practice