Mistral Nemo 12B

Rodar no Ollama

• Q4_K_M
  ollama run mistral-nemo:12b-instruct-2407-q4_K_MCopiar
• Q5_K_M
  ollama run mistral-nemo:12b-instruct-2407-q5_K_MCopiar
• Q8_0
  ollama run mistral-nemo:12b-instruct-2407-q8_0Copiar
• FP16
  ollama run mistral-nemo:12b-instruct-2407-fp16Copiar

Quanta memória precisa

Total com pesos, KV cache e runtime, por quantização e contexto.

Placas que rodam

• RTX 5070 12 GBRoda bem≈ 59 tok/s
• RTX 4070 Super 12 GBRoda bem≈ 45 tok/s
• RTX 4070 12 GBRoda bem≈ 45 tok/s
• RTX 3060 12 GB 12 GBRoda bem≈ 32 tok/s
• Radeon RX 7700 XT 12 GBRoda bem≈ 31 tok/s
• Arc B580 12 GBRoda bem≈ 30 tok/s
• RTX 5080 16 GBRoda bem≈ 85 tok/s
• RTX 5070 Ti 16 GBRoda bem≈ 79 tok/s
• RTX 4080 Super 16 GBRoda bem≈ 65 tok/s
• RTX 4070 Ti Super 16 GBRoda bem≈ 59 tok/s
• Radeon RX 9070 XT 16 GBRoda bem≈ 46 tok/s
• Radeon RX 9070 16 GBRoda bem≈ 46 tok/s
• Radeon RX 7800 XT 16 GBRoda bem≈ 45 tok/s
• RTX 5060 Ti 16 GB 16 GBRoda bem≈ 40 tok/s
• RTX 4060 Ti 16 GB 16 GBRoda bem≈ 25 tok/s
• Radeon RX 9060 XT 16 GB 16 GBRoda bem≈ 23 tok/s
• Radeon RX 7600 XT 16 GBRoda bem≈ 21 tok/s
• Radeon RX 7900 XT 20 GBRoda bem≈ 57 tok/s
• RTX 4090 24 GBRoda bem≈ 89 tok/s
• RTX 3090 24 GBRoda bem≈ 83 tok/s
• Radeon RX 7900 XTX 24 GBRoda bem≈ 69 tok/s
• RTX 5090 32 GBRoda bem≈ 158 tok/s

Macs

• M5a partir de 16 GB · ≈ 14 tok/s
• M5 Proa partir de 24 GB · ≈ 28 tok/s
• M5 Maxa partir de 36 GB · ≈ 33 tok/s
• M4a partir de 16 GB · ≈ 11 tok/s
• M4 Proa partir de 24 GB · ≈ 25 tok/s
• M4 Maxa partir de 36 GB · ≈ 29 tok/s

Arquitetura

• 40 camadas, 8 cabeças de KV de 128 dimensões.
• Cada token de contexto ocupa cerca de 160 KB de KV cache em F16.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026