VRAM / 16 GB
Quais LLMs rodam com 16 GB de VRAM
Numa placa de 16 GB, 25 dos 44 modelos do catálogo cabem em Q4_K_M com 8K de contexto. Os maiores que rodam com folga: Qwen 2.5 14B, Qwen 2.5 Coder 14B e Qwen 3 14B.
A conta já desconta cerca de 1 GB para o sistema e o monitor. "Contexto máx." é o maior contexto que ainda cabe na placa.
Modelos que cabem
- Qwen 2.5 14BRoda bem11,1 GB16K de contexto
ollama run qwen2.5:14b - Qwen 2.5 Coder 14BRoda bem11,1 GB16K de contexto
ollama run qwen2.5-coder:14b - Qwen 3 14BRoda bem11,1 GB16K de contexto
ollama run qwen3:14b - DeepSeek R1 14BRoda bem11,1 GB16K de contexto
ollama run deepseek-r1:14b - Phi-4 14BRoda bem11,2 GB16K de contexto
ollama run phi4:14b - Phi-4 Reasoning 14BRoda bem13,3 GB8K de contexto
ollama run phi4-reasoning:14b - Ministral 3 14BRoda bem10,9 GB16K de contexto
ollama run ministral-3:14b - Gemma 3 12BRoda bem9,4 GB64K de contexto
ollama run gemma3:12b - Mistral Nemo 12BRoda bem9,5 GB32K de contexto
ollama run mistral-nemo:12b-instruct-2407-q4_K_M - Gemma 4 12BRoda bem8,5 GB128K de contexto
ollama run gemma4:12b - Qwen 3.5 9BRoda bem7,3 GB128K de contexto
ollama run qwen3.5:9b - Ministral 3 8BRoda bem7,6 GB32K de contexto
ollama run ministral-3:8b - Qwen 3 8BRoda bem6,9 GB40K de contexto
ollama run qwen3:8b - DeepSeek R1 8BRoda bem6,9 GB32K de contexto
ollama run deepseek-r1:8b - Llama 3.1 8BRoda bem6,5 GB32K de contexto
ollama run llama3.1:8b - Gemma 4 E4BRoda bem7 GB128K de contexto
ollama run gemma4:e4b - Qwen 2.5 7BRoda bem5,6 GB32K de contexto
ollama run qwen2.5:7b - Qwen 2.5 Coder 7BRoda bem5,6 GB32K de contexto
ollama run qwen2.5-coder:7b - Qwen 3.5 4BRoda bem4 GB128K de contexto
ollama run qwen3.5:4b - Gemma 3 4BRoda bem4 GB128K de contexto
ollama run gemma3:4b - Gemma 3 Gaia PT-BR 4BRoda bem3,2 GB128K de contexto
ollama run hf.co/mradermacher/Gemma-3-Gaia-PT-BR-4b-it-GGUF:Q4_K_M - Qwen 3 4BRoda bem4,2 GB64K de contexto
ollama run qwen3:4b - Phi-4 Mini 3.8BRoda bem4 GB64K de contexto
ollama run phi4-mini:3.8b - Llama 3.2 3BRoda bem3,4 GB64K de contexto
ollama run llama3.2:3b - gpt-oss 20BApertado14,5 GB16K de contexto
ollama run gpt-oss:20b
Placas com 16 GB
Mesma memória, velocidades diferentes. Estimativa com o Qwen 3 8B em Q4_K_M.
- RTX 5080960 GB/s · ≈ 125 tok/s
- RTX 5070 Ti896 GB/s · ≈ 117 tok/s
- RTX 5060 Ti 16 GB448 GB/s · ≈ 58 tok/s
- Radeon RX 9070 XT640 GB/s · ≈ 67 tok/s
- Radeon RX 9070640 GB/s · ≈ 67 tok/s
- Radeon RX 9060 XT 16 GB320 GB/s · ≈ 34 tok/s
- RTX 4080 Super736 GB/s · ≈ 96 tok/s
- RTX 4070 Ti Super672 GB/s · ≈ 87 tok/s
- Radeon RX 7600 XT288 GB/s · ≈ 30 tok/s
- RTX 4060 Ti 16 GB288 GB/s · ≈ 37 tok/s
- Radeon RX 7800 XT624 GB/s · ≈ 66 tok/s
Não cabem em 16 GB
Magistral Small 24B, Mistral Small 3.2 24B, Devstral Small 2 24B, Qwen 3.5 27B, Qwen 3.8 27B, Qwen 3.6 27B, Gemma 3 27B, Gemma 4 26B-A4B, Qwen 3 30B-A3B, Qwen 3 Coder 30B-A3B, GLM-4.7 Flash, Gemma 4 31B, DeepSeek R1 32B, Qwen 3.5 35B-A3B, Qwen 3 32B, Qwen 3.6 35B-A3B, Llama 3.3 70B, gpt-oss 120B, Llama 4 Scout.
Num Mac, a mesma memória útil pede pelo menos 24 GB de memória unificada, porque o macOS libera cerca de 75% para a GPU. Veja os Macs ou use a calculadora para mudar contexto e quantização.