mutation-testing skill
✓ 공식변이 테스트 캠페인을 구성하고, 살아남은 변이(mutant)를 분석하며, 테스트 공백으로 인해 노출된 버그를 식별합니다.
- GitHub 스타
- 8,136
- 파일
- 12
- 마지막 커밋
- 2026년 11월 11일
- 라이선스
- CC-BY-SA-4.0
- 허용된 도구
- 4
mutation-testing skill은 무엇을 하나요?
변이 테스트 캠페인을 구성하고, 살아남은 변이(mutant)를 분석하며, 테스트 공백으로 인해 노출된 버그를 식별합니다.
skill의 SKILL.md에서 생성된 요약입니다.
mutation-testing skill 정보
이 SKILL은 변이 테스트를 통해 테스트 공백을 식별함으로써 테스트 스위트의 효과를 개선할 수 있도록 지원합니다. 개발자는 mewt 또는 muton을 사용하여 변이 캠페인을 구성하고 관리하며, 의도적인 코드 변경을 테스트가 얼마나 잘 감지하는지 분석할 수 있습니다. 이 SKILL은 캠페인 설정, 테스트되지 않은 코드에서 버그 찾기, 또는 살상률(kill rate) 및 살아남은 변이를 기반으로 한 공식 분석 보고서 생성 등 특정 워크플로우로 사용자를 안내합니다.
에이전트가 이 SKILL을 로드하면 Bash, Grep, Read, Write와 같은 도구를 사용하여 커맨드 라인과 상호작용할 수 있습니다. 또한 전문 레퍼런스에 대한 접근을 제공하여 실제 테스트 공백과 동등한 변이(equivalent mutants)를 구분할 수 있도록 돕습니다. Rust, JavaScript, Move를 포함한 다양한 언어를 지원하며, Solidity 또는 Solana Rust를 위한 특정 블록체인 패턴도 처리할 수 있습니다. Error Replacement 또는 Negation Removal과 같은 변이 심각도를 해석하는 구조화된 가이드를 제공하여, 어떤 코드 영역에 더 나은 어설션(assertion)이 필요한지 우선순위를 정할 수 있게 합니다합니다.
agent가 수행할 수 있는 작업
- 1변이 캠페인 구성새로운 변이 테스트 프로젝트를 설정하고 캠페인 속도를 최적화합니다.
- 2살아남은 변이 분석감지되지 않은 변이를 검토하여 테스트 공백인지 또는 동등한 코드인지 판단합니다.
- 3소스 코드에서 버그 찾기완료된 변이 테스트 결과를 사용하여 코드베이스 내의 버그를 찾아냅니다.
- 4공식 분석 보고서 생성변이 테스트 결과를 심각도 분류가 포함된 구조화된 보고서로 변환합니다.
skill의 SKILL.md를 기반으로 작성되었습니다. 모든 사용 사례는 해당 문서의 인용구와 대조 확인되었습니다.
mutation-testing skill 설치 방법
각 명령은 skill 폴더를 클라이언트의 skills 디렉터리에 복사합니다. 클라이언트를 재시작하거나 새 세션을 시작하여 로드하세요.플러그인에 mutation-testing skill 설치
/plugin marketplace add trailofbits/skills /plugin install mutation-testing@trailofbits
Claude Code에 mutation-testing skill 설치
~/.claude/skills/mutation-testing/SKILL.md
$ npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing ~/.claude/skills/mutation-testingClaude Code (project)에 mutation-testing skill 설치
.claude/skills/mutation-testing/SKILL.md
$ npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing .claude/skills/mutation-testingCodex에 mutation-testing skill 설치
~/.agents/skills/mutation-testing/SKILL.md
$ npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing ~/.agents/skills/mutation-testingGemini CLI에 mutation-testing skill 설치
~/.gemini/skills/mutation-testing/SKILL.md
$ npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing ~/.gemini/skills/mutation-testingClaude.ai에 mutation-testing skill 설치
npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing mutation-testing && zip -r mutation-testing.zip mutation-testing # claude.ai → Customize → Skills → + → Create skill → Upload a skill → mutation-testing.zip
자동 검사
2026년 11월 15일에 실행됨전체 보고서 →아직 검증되지 않았습니다. 스킬은 점수 80, 심각한 발견 없음, 검사에 충분한 데이터가 필요합니다. 검사 방식 · 점수를 높이기 위해 수정할 항목
- 소스 저장소 연결 및 접근 가능trailofbits/skills/plugins/mutation-testing/skills/mutation-testing is public and reachablegithub.com/trailofbits/skills/tree/HEAD/plugins/mutation-tes ↗통과
- 오픈 소스 라이선스 (OSI)CC-BY-SA-4.0 is not OSI-approvedspdx.org/licenses/CC-BY-SA-4.0.html ↗결함 발견
- 최근 1년 내 커밋 또는 릴리스Last commit 2026-11-11github.com/trailofbits/skills/commits ↗통과
- 스크립트에 다운로드 후 실행이나 자격 증명 탈취가 없음No scripts in the skill folder통과
- SKILL.md에 숨겨진 지침 없음No override phrases, safeguard switches, credential requests or hidden charactersgithub.com/trailofbits/skills/blob/HEAD/plugins/mutation-tes ↗통과
- 사전 허용 도구가 제한됨Bash lets the agent run any shell command without askinggithub.com/trailofbits/skills/blob/HEAD/plugins/mutation-tes ↗결함 발견
- SKILL.md가 Agent Skills 형식을 따름Valid name and description; says when to use it; 110 linesgithub.com/trailofbits/skills/blob/HEAD/plugins/mutation-tes ↗통과
SKILL.md
GitHub에서 보기Mutation Testing (mewt/muton)
Routes to the right mutation testing workflow and loads the references that workflow needs.
Note: muton and mewt share identical interfaces. Examples use
mewt; substitutemutonand its file names (muton.toml,muton.sqlite) for muton projects.
mewt --help and mewt <subcommand> --help are the source of truth for command-line behavior. Examples below reflect the mewt 4.x API; run --help when a flag looks unfamiliar or a command fails.
When to Use
Use this skill when the user:
- Mentions "mewt", "muton", or "mutation testing"
- Wants to configure, scope, or speed up a mutation testing campaign
- Wants to analyze mutation results — surviving/uncaught mutants, equivalent mutants, kill rate
- Wants to use mutation results to find bugs in the source code
When NOT to Use
Do not use this skill when the user asks about tests or line coverage without any mutation testing context.
Routing
Pick the workflow, then load it together with the references listed for it. Workflows and references do not load each other — that decision belongs here.
Setting up, scoping, or speeding up a campaign → workflows/configuration.md → Also load references/optimization-strategies.md when the campaign estimate is long enough to need trimming, or the user asks to make it faster.
Campaign finished, hunting for bugs in untested code → workflows/bug-hunter.md
Turning results into a formal analysis report → workflows/analyzing-results.md, plus:
- references/equivalent-mutants.md — equivalence catalog and verification procedure
- references/severity-classification.md — severity tier criteria
- references/report-template.md — report structure
- references/blockchain-patterns.md — only for Solidity, Move, FunC/Tolk, Cairo, or Solana Rust targets
- references/input-formats.md — unless the results came from mewt or muton. Foreign tool output may not be self-describing; this covers the parsing anchors for slither-mutate, mull, and dextool-mutate
Anything else → run mewt --help or mewt <subcommand> --help, then assist directly.
Essential Commands
# Set up and run
mewt init # Create config and database
mewt mutate [paths] # Generate mutants without testing them
mewt run [paths] # Generate mutants and run the campaign
# Read results
mewt status # Overview with per-file breakdown
mewt results # Uncaught mutants (default view)
mewt results --all # Every outcome, not just uncaught
mewt results --format json # json | sarif | ids | table
# Narrow down (these filters work on both `results` and `print mutants`)
mewt results --target 'src/auth/**' # Quote globs so the shell does not expand them
mewt results --severity high,medium
mewt results --mutation-types ER,CR
mewt results --status Uncaught # Uncaught | TestFail | Skipped | Timeout
mewt results --line 42
# Investigate and re-test
mewt print mutant --id [id] # View the mutated code
mewt test --ids [ids] # Re-test specific mutants
mewt test --ids-file uncaught_ids.txt # Re-test IDs from a file, or '-' for stdin
# Inspect configuration
mewt print config # Effective config
mewt print targets # Files actually mutated
mewt print mutations --language [lang] # Mutations and severities for a language
Language labels are canonical family or family/dialect values in mewt 4.x — for example rust, javascript/ts, move/sui, move/iota.
What Results Mean
- Caught/TestFail: tests detected the mutation (good)
- Uncaught: tests did not detect the change. Inspect the code to distinguish a testing gap from an equivalent mutation.
- Timeout: tests took too long — inconclusive, not evidence of coverage
- Skipped: a less severe mutant was skipped because a more severe mutant on the same line was uncaught
Interpreting Mutation Types
mewt print mutations --language [lang] lists every mutation slug, description, and severity for a language, and is authoritative — the operator set grows with each release. What that output does not tell you is what a survivor means, which is where prioritization comes from:
| Severity | Representative slugs | What an uncaught mutant tells you |
|---|---|---|
| High | ER (Error Replacement) |
Tests tolerate the injected error. Investigate whether the path executes, whether error handling masks the change, and whether assertions check the outcome. |
| Medium | CR (Comment Replacement) |
Removing the statement does not fail the tests. Check whether its effects matter and whether assertions observe them. |
| Medium | IF/IT (If False/True), NR (Negation Removal) |
Tests do not distinguish the changed condition. Both constant replacements surviving can indicate an unexecuted condition or weak assertions on the branch outcomes. |
| Low | Operator shuffles (AOS, COS, LOS, BOS, shift/assignment variants), BL, AS, LC, WF |
Check boundary inputs, arithmetic assertions, and semantic equivalence. The mutation result alone does not establish whether the code executed. |
Severity ranks the mutation, not the risk. A low-severity survivor in a fee calculation matters more than a high-severity survivor in a log line — weigh what the mutated code does. Filter with --severity to work through the results in priority order.
이 스킬의 파일
12mutation-testing skill 질문
Claude Code에 mutation-testing skill을 어떻게 설치하나요?
npx degit trailofbits/skills/plugins/mutation-testing/skills/mutation-testing ~/.claude/skills/mutation-testing를 실행합니다. Claude Code는 ~/.claude/skills(모든 프로젝트) 또는 .claude/skills(한 프로젝트)에서 skills를 로드하며, 설명이 작업과 일치할 때 skill을 사용합니다.
mutation-testing skill을 사용할 수 있는 클라이언트는 무엇인가요?
Agent Skills 형식을 읽는 모든 클라이언트(Claude Code, Codex, Gemini CLI, claude.ai(ZIP으로 업로드))가 사용할 수 있습니다. skill 내 스크립트는 클라이언트가 코드 실행을 허용하는 경우에만 실행됩니다.
심각도별로 변이 테스트 결과를 필터링할 수 있나요?
mewt results 명령에 --severity 플래그를 사용하여 우선순위에 따라 결과를 필터링할 수 있습니다.