Локальные LLM 🏠
Локальные LLM 🏠
Запуск LLM на собственном железе — приватность, бесплатность, полный контроль.
Инструменты
| Инструмент | Назначение |
|---|
| Ollama | Простейший запуск моделей (одна команда) |
| llama.cpp | Базовый движок, GGUF-формат |
| GGUF | Формат квантованных моделей (Q4_K_M, Q8_0) |
Требования к железу
| Модель | RAM | VRAM |
|---|
| 7-8B (Q4) | 8-16 GB | 6-8 GB |
| 32B+ (Q4) | 32-64 GB | 24 GB |
| 70B (Q4) | 64+ GB | — |
Рекомендации
- Для агентных задач (Agentic Systems) — 32B+ модель
- Через API (OmniRoute, DeepSeek) — железо не нужно, модель на сервере
- Vault любого размера не влияет на локальную модель — данные читаются по запросу
Связанное