qa-llm-evaluation Plugin
LLM and prompt evaluation with Promptfoo, DeepEval and Ragas, Giskard vulnerability scans, Langfuse tracing, and golden-dataset regression suites. Audits eval suites for methodology errors. Agents (prompt-eval-reviewer, llm-red-team-planner) review an eval suite and plan adversarial probe campaigns across the OWASP LLM Top 10.
So installierst du das qa-llm-evaluation Plugin
Führe beide Befehle in Claude Code aus. Der erste fügt den Marketplace einmalig hinzu; der zweite installiert das Plugin.
/plugin marketplace add testland/qa
/plugin install qa-llm-evaluation@testland-qaWas ist in qa-llm-evaluation enthalten
9 Teile wurden aus den eigenen Dateien des Plugins gelesen.
Agents 2
Aufrufen als @agent-qa-llm-evaluation:name- @agent-qa-llm-evaluation:llm-red-team-plannersonnet
Use proactively whenever an LLM app needs a red-team campaign beyond default scanner presets. Enumerates attack classes (jailbreaks, indirect prompt injection, data exfiltration, OWASP LLM Top 10), maps each to a Giskard detector or promptfoo red-team plugin and writes the scan scripts and configs.
- @agent-qa-llm-evaluation:prompt-eval-reviewersonnet
Use proactively whenever an LLM eval suite (Promptfoo, OpenAI Evals, DeepEval, Ragas, Giskard or custom) is added or changed. Flags too few cases, one provider only, missing model-graded or semantic checks, no baseline diff, no cost or latency cap, unpinned models and no adversarial cases.
Skills 7
Claude lädt es, wenn die Aufgabe passt- deepeval-evaluation
Keine Beschreibung in der Datei gefunden.
- giskard-llm
Keine Beschreibung in der Datei gefunden.
- langfuse-tracing
Keine Beschreibung in der Datei gefunden.
- llm-eval-anti-patterns
Keine Beschreibung in der Datei gefunden.
- llm-regression-suite-author
Keine Beschreibung in der Datei gefunden.
- promptfoo-evaluation
Keine Beschreibung in der Datei gefunden.
- ragas-evaluation
Keine Beschreibung in der Datei gefunden.
Verwendung von qa-llm-evaluation in Claude Code
Frage nach einem Agent per Name:
@agent-qa-llm-evaluation:llm-red-team-planner
@agent-qa-llm-evaluation:prompt-eval-reviewerSkills benötigen keinen Command. Claude liest sie, wenn deine Anfrage dem entspricht, was sie beschreiben.
Aktualisieren, deaktivieren oder entfernen
- Plugin aktualisieren (shell)
- claude plugin update qa-llm-evaluation@testland-qa
- marketplace aktualisieren
- /plugin marketplace update testland-qa
- Vorerst deaktivieren
- /plugin disable qa-llm-evaluation@testland-qa
- Entfernen
- /plugin uninstall qa-llm-evaluation@testland-qa
Fragen zum qa-llm-evaluation Plugin
Wie installiere ich das qa-llm-evaluation Plugin?
Führe in Claude Code /plugin marketplace add testland/qa aus, dann /plugin install qa-llm-evaluation@testland-qa.
Was enthält das qa-llm-evaluation Plugin?
qa-llm-evaluation bündelt 2 Agents, 7 Skills.
Welche Agents sind bei qa-llm-evaluation dabei?
llm-red-team-planner, prompt-eval-reviewer. Rufe einen mit @agent-qa-llm-evaluation:llm-red-team-planner auf.
Wie aktualisiere oder entferne ich das qa-llm-evaluation Plugin?
Aktualisiere es mit claude plugin update qa-llm-evaluation@testland-qa in deiner shell oder über den Installed-Tab von /plugin. Entferne es mit /plugin uninstall qa-llm-evaluation@testland-qa.
Unter welcher Lizenz steht das qa-llm-evaluation Plugin?
MIT, wie im Manifest des Plugins angegeben.