Roda Local

Modelos / DeepSeek R1

DeepSeek R1 32B

Destilado de 32B, o mais forte da linha que ainda cabe em 24 GB.

Parâmetros
32.8B
Contexto máximo
128K
Placa mínima
24 GB de VRAM
Mac mínimo
32 GB

DeepSeek · licença mit · mínimos com Q4_K_M e 8K de contexto

Rodar no Ollama

  • Q4_K_M
    ollama run deepseek-r1:32b
  • Q8_0
    ollama run deepseek-r1:32b-qwen-distill-q8_0
  • FP16
    ollama run deepseek-r1:32b-qwen-distill-fp16

Quanta memória precisa

Total com pesos, KV cache e runtime, por quantização e contexto.

Quantização4K8K32K128K
Q4_K_M21,4 GB22,6 GB29,6 GB57,9 GB
Q5_K_M24,7 GB25,9 GB32,9 GB61,2 GB
Q8_036,1 GB37,3 GB44,3 GB72,6 GB
FP1666,7 GB67,9 GB74,9 GB103,2 GB

Placas que rodam

Macs

  • M5a partir de 32 GB · ≈ 5,4 tok/s
  • M5 Proa partir de 48 GB · ≈ 11 tok/s
  • M5 Maxa partir de 36 GB · ≈ 13 tok/s
  • M4a partir de 32 GB · ≈ 4,2 tok/s
  • M4 Proa partir de 48 GB · ≈ 9,6 tok/s
  • M4 Maxa partir de 36 GB · ≈ 11 tok/s

Arquitetura

  • 64 camadas, 8 cabeças de KV de 128 dimensões.
  • Cada token de contexto ocupa cerca de 256 KB de KV cache em F16.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026

Mesma família

DeepSeek R1 8B · DeepSeek R1 14B