VRAM / 12 GB
Quais LLMs rodam com 12 GB de VRAM
Numa placa de 12 GB, 18 dos 44 modelos do catálogo cabem em Q4_K_M com 8K de contexto. Os maiores que rodam com folga: Gemma 3 12B, Mistral Nemo 12B e Gemma 4 12B.
A conta já desconta cerca de 1 GB para o sistema e o monitor. "Contexto máx." é o maior contexto que ainda cabe na placa.
Modelos que cabem
- Gemma 3 12BRoda bem9,4 GB16K de contexto
ollama run gemma3:12b - Mistral Nemo 12BRoda bem9,5 GB8K de contexto
ollama run mistral-nemo:12b-instruct-2407-q4_K_M - Gemma 4 12BRoda bem8,5 GB64K de contexto
ollama run gemma4:12b - Qwen 3.5 9BRoda bem7,3 GB64K de contexto
ollama run qwen3.5:9b - Ministral 3 8BRoda bem7,6 GB16K de contexto
ollama run ministral-3:8b - Qwen 3 8BRoda bem6,9 GB16K de contexto
ollama run qwen3:8b - DeepSeek R1 8BRoda bem6,9 GB16K de contexto
ollama run deepseek-r1:8b - Llama 3.1 8BRoda bem6,5 GB32K de contexto
ollama run llama3.1:8b - Gemma 4 E4BRoda bem7 GB64K de contexto
ollama run gemma4:e4b - Qwen 2.5 7BRoda bem5,6 GB32K de contexto
ollama run qwen2.5:7b - Qwen 2.5 Coder 7BRoda bem5,6 GB32K de contexto
ollama run qwen2.5-coder:7b - Qwen 3.5 4BRoda bem4 GB128K de contexto
ollama run qwen3.5:4b - Gemma 3 4BRoda bem4 GB128K de contexto
ollama run gemma3:4b - Gemma 3 Gaia PT-BR 4BRoda bem3,2 GB128K de contexto
ollama run hf.co/mradermacher/Gemma-3-Gaia-PT-BR-4b-it-GGUF:Q4_K_M - Qwen 3 4BRoda bem4,2 GB32K de contexto
ollama run qwen3:4b - Phi-4 Mini 3.8BRoda bem4 GB32K de contexto
ollama run phi4-mini:3.8b - Llama 3.2 3BRoda bem3,4 GB32K de contexto
ollama run llama3.2:3b - Ministral 3 14BApertado10,9 GB8K de contexto
ollama run ministral-3:14b
Placas com 12 GB
Mesma memória, velocidades diferentes. Estimativa com o Qwen 3 8B em Q4_K_M.
- RTX 5070672 GB/s · ≈ 87 tok/s
- RTX 4070 Super504 GB/s · ≈ 66 tok/s
- Arc B580456 GB/s · ≈ 44 tok/s
- RTX 4070504 GB/s · ≈ 66 tok/s
- Radeon RX 7700 XT432 GB/s · ≈ 45 tok/s
- RTX 3060 12 GB360 GB/s · ≈ 47 tok/s
Não cabem em 12 GB
DeepSeek R1 14B, Qwen 2.5 14B, Qwen 2.5 Coder 14B, Qwen 3 14B, Phi-4 14B, Phi-4 Reasoning 14B, gpt-oss 20B, Magistral Small 24B, Mistral Small 3.2 24B, Devstral Small 2 24B, Qwen 3.5 27B, Qwen 3.8 27B, Qwen 3.6 27B, Gemma 3 27B, Gemma 4 26B-A4B, Qwen 3 30B-A3B, Qwen 3 Coder 30B-A3B, GLM-4.7 Flash, Gemma 4 31B, DeepSeek R1 32B, Qwen 3.5 35B-A3B, Qwen 3 32B, Qwen 3.6 35B-A3B, Llama 3.3 70B, gpt-oss 120B, Llama 4 Scout.
Num Mac, a mesma memória útil pede pelo menos 16 GB de memória unificada, porque o macOS libera cerca de 75% para a GPU. Veja os Macs ou use a calculadora para mudar contexto e quantização.