Modelos / Qwen 3.5
Qwen 3.5 35B-A3B
MoE com 3B ativos. Rápido, mas os 35B precisam caber na memória.
- Parâmetros
- 36B (3B ativos)
- Contexto máximo
- 256K
- Placa mínima
- 24 GB de VRAM
- Mac mínimo
- 32 GB
Alibaba · licença apache-2.0 · mínimos com Q4_K_M e 8K de contexto
Rodar no Ollama
- Q4_K_M
ollama run qwen3.5:35b-a3b - Q8_0
ollama run qwen3.5:35b-a3b-q8_0 - FP16
ollama run qwen3.5:35b-a3b-bf16
Quanta memória precisa
Total com pesos, KV cache, visão e runtime, por quantização e contexto.
| Quantização | 4K | 8K | 32K | 128K |
|---|---|---|---|---|
| Q4_K_M | 22,6 GB | 22,8 GB | 23,7 GB | 27,6 GB |
| Q5_K_M | 26,1 GB | 26,3 GB | 27,3 GB | 31,2 GB |
| Q8_0 | 38,3 GB | 38,5 GB | 39,4 GB | 43,3 GB |
| FP16 | 70,9 GB | 71,1 GB | 72,1 GB | 75,9 GB |
Placas que rodam
- RTX 4090 24 GBApertado≈ 233 tok/s
- RTX 3090 24 GBApertado≈ 217 tok/s
- Radeon RX 7900 XTX 24 GBApertado≈ 180 tok/s
- RTX 5090 32 GBRoda bem≈ 415 tok/s
Macs
- M5a partir de 32 GB · ≈ 36 tok/s
- M5 Proa partir de 48 GB · ≈ 73 tok/s
- M5 Maxa partir de 36 GB · ≈ 86 tok/s
- M4a partir de 32 GB · ≈ 29 tok/s
- M4 Proa partir de 48 GB · ≈ 65 tok/s
- M4 Maxa partir de 36 GB · ≈ 77 tok/s
Arquitetura
- 40 camadas, 2 cabeças de KV de 256 dimensões.
- 30 camadas usam atenção linear, com estado fixo; só 10 guardam KV.
- MoE com 256 especialistas, 8 ativos por token.
- Cada token de contexto ocupa cerca de 20 KB de KV cache em F16.
Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026