Qwen 3 8B

Rodar no Ollama

• Q4_K_M
  ollama run qwen3:8bCopiar
• Q8_0
  ollama run qwen3:8b-q8_0Copiar
• FP16
  ollama run qwen3:8b-fp16Copiar

Quanta memória precisa

Total com pesos, KV cache e runtime, por quantização e contexto.

Placas que rodam

• RTX 5060 Ti 8 GB 8 GBApertado≈ 58 tok/s
• RTX 5060 8 GBApertado≈ 58 tok/s
• RTX 5050 8 GBApertado≈ 42 tok/s
• RTX 4060 Ti 8 GB 8 GBApertado≈ 37 tok/s
• RTX 4060 8 GBApertado≈ 35 tok/s
• Radeon RX 7600 8 GBApertado≈ 30 tok/s
• RTX 5070 12 GBRoda bem≈ 87 tok/s
• RTX 4070 Super 12 GBRoda bem≈ 66 tok/s
• RTX 4070 12 GBRoda bem≈ 66 tok/s
• RTX 3060 12 GB 12 GBRoda bem≈ 47 tok/s
• Radeon RX 7700 XT 12 GBRoda bem≈ 45 tok/s
• Arc B580 12 GBRoda bem≈ 44 tok/s
• RTX 5080 16 GBRoda bem≈ 125 tok/s
• RTX 5070 Ti 16 GBRoda bem≈ 117 tok/s
• RTX 4080 Super 16 GBRoda bem≈ 96 tok/s
• RTX 4070 Ti Super 16 GBRoda bem≈ 87 tok/s
• Radeon RX 9070 XT 16 GBRoda bem≈ 67 tok/s
• Radeon RX 9070 16 GBRoda bem≈ 67 tok/s
• Radeon RX 7800 XT 16 GBRoda bem≈ 66 tok/s
• RTX 5060 Ti 16 GB 16 GBRoda bem≈ 58 tok/s
• RTX 4060 Ti 16 GB 16 GBRoda bem≈ 37 tok/s
• Radeon RX 9060 XT 16 GB 16 GBRoda bem≈ 34 tok/s
• Radeon RX 7600 XT 16 GBRoda bem≈ 30 tok/s
• Radeon RX 7900 XT 20 GBRoda bem≈ 84 tok/s
• RTX 4090 24 GBRoda bem≈ 131 tok/s
• RTX 3090 24 GBRoda bem≈ 122 tok/s
• Radeon RX 7900 XTX 24 GBRoda bem≈ 101 tok/s
• RTX 5090 32 GBRoda bem≈ 233 tok/s

Macs

• M5a partir de 16 GB · ≈ 20 tok/s
• M5 Proa partir de 24 GB · ≈ 41 tok/s
• M5 Maxa partir de 36 GB · ≈ 48 tok/s
• M4a partir de 16 GB · ≈ 16 tok/s
• M4 Proa partir de 24 GB · ≈ 37 tok/s
• M4 Maxa partir de 36 GB · ≈ 43 tok/s

Arquitetura

• 36 camadas, 8 cabeças de KV de 128 dimensões.
• Cada token de contexto ocupa cerca de 144 KB de KV cache em F16.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026