Cookies

Com a sua autorização, usamos cookies do Google Analytics para medir as visitas e melhorar o site. Os cookies necessários ficam sempre ativos. Pode mudar a escolha ou retirar o consentimento quando quiser, no rodapé, em Definições de cookies. Política de Cookies

Saltar para o conteúdo
PTEN
Começar

sentencepiece

Tokenizador independente de idioma que trata o texto como Unicode puro. Suporta algoritmos BPE e Unigram. Rápido (50 mil frases/seg), leve (6 MB de memória), vocabulário determinista. Usado por T5, ALBERT, XLNet, mBART. Treinar em texto…

  • Skills
  • Investigação em IA
  • 0

Para que serve e como usar

Uma skill que ensina o Claude Code a executar bem tarefas de investigação em ia. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.

  1. Instale a skill (comando acima).
  2. No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
  3. Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.

Instalar (Claude Code)

mkdir -p .claude/skills/sentencepiece && curl -fsSL https://doutorai.pt/data/lib/skills__sentencepiece.md -o .claude/skills/sentencepiece/SKILL.md

Cole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.

Conteúdo

Idioma do conteúdo
---
name: sentencepiece
description: Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory), deterministic vocabulary. Used by T5, ALBERT, XLNet, mBART. Train on raw text without pre-tokenization. Use when you need multilingual support, CJK languages, or reproducible tokenization.
version: 1.0.0
author: Orchestra Research
license: MIT
tags: [Tokenization, SentencePiece, Language-Independent, BPE, Unigram, Multilingual, CJK Languages, Unicode, Deterministic, Google]
dependencies: [sentencepiece, transf

- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -

Precisa de ajuda com o Claude Code?

Pergunte ao Dr AI - explica em simples.

Precisa de uma solução à medida?

Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.

Poupe horas todas as semanas com IA, sem complicações

O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.

Ver planos