eval-harness-first
Construir a estrutura de avaliação que controla cada execução de fine-tuning: conjuntos de referência (golden sets), avaliadores por modo de falha, calibração do juiz e linhas de base do modelo base. Usar ao iniciar um esforço de…
- Skills
- Geral
- 0
Para que serve e como usar
Uma skill que ensina o Claude Code a executar bem tarefas de geral. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.
- Instale a skill (comando acima).
- No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
- Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.
Instalar (Claude Code)
mkdir -p .claude/skills/wshobson-agents__eval-harness-first && curl -fsSL https://doutorai.pt/data/lib/skills__wshobson-agents__eval-harness-first.md -o .claude/skills/wshobson-agents__eval-harness-first/SKILL.mdCole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.
Conteúdo
---
name: eval-harness-first
description: Build the evaluation harness that gates every fine-tuning run - golden sets, per-failure-mode graders, judge calibration, and base-model baselines. Use when starting a fine-tuning effort, when converting traces into an eval set, or when calibrating a judge against human labels.
---
# Eval Harness First
The Phase 0 gate for the whole plugin:
`finetuning-method-selection` and every downstream
skill assume this harness exists before a training
config gets written. The harness is not a run-end
side artifact - it is the data-curation engine. The
same labe
- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -Precisa de ajuda com o Claude Code?
Pergunte ao Dr AI - explica em simples.
Precisa de uma solução à medida?
Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.
Poupe horas todas as semanas com IA, sem complicações
O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.