dpo-variants

Guia completo das variantes de perda de Direct Preference Optimization em TRL.

Skills
Investigação em IA
3

Para que serve e como usar

Uma skill que ensina o Claude Code a executar bem tarefas de investigação em ia. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.

Instale a skill (comando acima).
No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.

Instalar (Claude Code)

mkdir -p .claude/skills/dpo-variants && curl -fsSL https://doutorai.pt/data/lib/skills__dpo-variants.md -o .claude/skills/dpo-variants/SKILL.md

Cole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.

Conteúdo

ENPT

# DPO Variants

Complete guide to Direct Preference Optimization loss variants in TRL.

## Overview

DPO optimizes models using preference data (chosen/rejected pairs). TRL supports 10+ loss variants for different scenarios.

## Loss Types

### 1. Sigmoid (Standard DPO)

**Formula**: `-log(sigmoid(β * logits))`

**When to use**: Default choice, general preference alignment

**Config**:
```python
DPOConfig(
    loss_type="sigmoid",
    beta=0.1,  # KL penalty
    per_device_train_batch_size=64,
    learning_rate=1e-6
)
```

### 2. IPO (Identity Policy Optimization)

**Formula**: `(logits - 1/(2

- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -

Precisa de ajuda com o Claude Code?

Pergunte ao Dr AI - explica em simples.

Precisa de uma solução à medida?

Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.

Poupe horas todas as semanas com IA, sem complicações

O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.

Ver planos