evaluating-llms-harness

Avalia LLMs em mais de 60 benchmarks académicos (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Utilizar ao fazer benchmarking de qualidade do modelo, comparar modelos, reportar resultados académicos ou acompanhar o progresso do treino.…

Skills
Investigação em IA
4

Para que serve e como usar

Uma skill que ensina o Claude Code a executar bem tarefas de investigação em ia. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.

Instale a skill (comando acima).
No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.

Instalar (Claude Code)

mkdir -p .claude/skills/evaluating-llms-harness && curl -fsSL https://doutorai.pt/data/lib/skills__evaluating-llms-harness.md -o .claude/skills/evaluating-llms-harness/SKILL.md

Cole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.

Conteúdo

ENPT

---
name: evaluating-llms-harness
description: Evaluates LLMs across 60+ academic benchmarks (MMLU, HumanEval, GSM8K, TruthfulQA, HellaSwag). Use when benchmarking model quality, comparing models, reporting academic results, or tracking training progress. Industry standard used by EleutherAI, HuggingFace, and major labs. Supports HuggingFace, vLLM, APIs.
version: 1.0.0
author: Orchestra Research
license: MIT
tags: [Evaluation, LM Evaluation Harness, Benchmarking, MMLU, HumanEval, GSM8K, EleutherAI, Model Quality, Academic Benchmarks, Industry Standard]
dependencies: [lm-eval, transformers, vll

- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -

Precisa de ajuda com o Claude Code?

Pergunte ao Dr AI - explica em simples.

Precisa de uma solução à medida?

Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.

Poupe horas todas as semanas com IA, sem complicações

O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.

Ver planos