float8

O treino em Float8 proporciona acelerações substanciais para modelos em que as GEMMs são suficientemente grandes para que a aceleração dos tensorcores em FP8 supere o custo adicional de quantização dinâmica.

Skills
Investigação em IA
0

Para que serve e como usar

Uma skill que ensina o Claude Code a executar bem tarefas de investigação em ia. É conhecimento empacotado que o modelo passa a usar sempre que for relevante.

Instale a skill (comando acima).
No Claude Code, descreva o que precisa - a skill ativa-se sozinha quando o contexto encaixa.
Não precisa de decorar comandos: fala em linguagem natural e a skill faz o resto.

Instalar (Claude Code)

mkdir -p .claude/skills/float8 && curl -fsSL https://doutorai.pt/data/lib/skills__float8.md -o .claude/skills/float8/SKILL.md

Cole este comando no terminal, na pasta do seu projeto, e o componente é instalado automaticamente.

Conteúdo

ENPT

# Float8 Training in TorchTitan

Float8 training provides substantial speedups for models where GEMMs are large enough that the FP8 tensorcore speedup outweighs dynamic quantization overhead.

## Hardware Requirements

- NVIDIA H100 or newer GPUs (FP8 Tensor Cores)
- Blackwell GPUs for MXFP8 training

## Installation

```bash
USE_CPP=0 pip install git+https://github.com/pytorch/ao.git
```

## Usage: Tensorwise Scaling

Standard Float8 with tensorwise dynamic scaling:

```bash
CONFIG_FILE="./torchtitan/models/llama3/train_configs/llama3_8b.toml" ./run_train.sh \
  --model.converters="quantize.l

- 🔒 Conteúdo completo no plano Pro (7,99€/mês) -

Precisa de ajuda com o Claude Code?

Pergunte ao Dr AI - explica em simples.

Precisa de uma solução à medida?

Não sabe por onde começar a usar IA no seu negócio? Receba uma avaliação gratuita e um plano à medida - sem compromisso.

Poupe horas todas as semanas com IA, sem complicações

O Doutor AI dá-lhe 1859 prompts de IA prontos a copiar, por indústria e em português simples - mais uma biblioteca técnica completa para quem quer ir mais longe.

Ver planos