algorithms

Comparação entre BPE e Unigram e regularização de subpalavras.

Skills
Investigação em IA
2

Para que serve e como usar

Uma skill que ensina o Claude Code a executar bem tarefas de investigação em ia. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.

Instale a skill (comando acima).
No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.

Instalar (Claude Code)

mkdir -p .claude/skills/algorithms && curl -fsSL https://doutorai.pt/data/lib/skills__algorithms.md -o .claude/skills/algorithms/SKILL.md

Cole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.

Conteúdo

ENPT

# Tokenization Algorithms

BPE vs Unigram comparison and subword regularization.

## BPE (Byte-Pair Encoding)

### Algorithm

1. Initialize vocabulary with characters
2. Count frequency of adjacent token pairs
3. Merge most frequent pair
4. Repeat until vocabulary size reached

### Example

**Corpus**:
```
low: 5
lower: 2
newest: 6
widest: 3
```

**Iteration 1**:
- Most frequent pair: 'e' + 's' (9 times)
- Merge → 'es'
- Vocabulary: [chars] + ['es']

**Iteration 2**:
- Most frequent: 'es' + 't' (9 times)
- Merge → 'est'
- Vocabulary: [chars] + ['es', 'est']

**Result**: `newest` → `new|est`, `

- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -

Precisa de ajuda com o Claude Code?

Pergunte ao Dr AI - explica em simples.

Precisa de uma solução à medida?

Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.

Poupe horas todas as semanas com IA, sem complicações

O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.

Ver planos