tokenizers
Os tokenizadores convertem texto em representações numéricas (tokens) que os modelos conseguem processar. Tratam de tokens especiais, preenchimento (padding), truncamento e máscaras de atenção.
- Skills
- Científico
- 0
Para que serve e como usar
Uma skill que ensina o Claude Code a executar bem tarefas de científico. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.
- Instale a skill (comando acima).
- No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
- Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.
Instalar (Claude Code)
mkdir -p .claude/skills/tokenizers && curl -fsSL https://doutorai.pt/data/lib/skills__tokenizers.md -o .claude/skills/tokenizers/SKILL.mdCole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.
Conteúdo
# Tokenizers
## Overview
Tokenizers convert text into numerical representations (tokens) that models can process. They handle special tokens, padding, truncation, and attention masks.
## Loading Tokenizers
### AutoTokenizer
Automatically load the correct tokenizer for a model:
```python
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")
```
Load from local path:
```python
tokenizer = AutoTokenizer.from_pretrained("./local/tokenizer/path")
```
## Basic Tokenization
### Encode Text
```python
# Simple encoding
text = "Hello, how are yo
- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -Precisa de ajuda com o Claude Code?
Pergunte ao Dr AI - explica em simples.
Precisa de uma solução à medida?
Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.
Poupe horas todas as semanas com IA, sem complicações
O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.