本地 LLM 實測:作者下載 448.2 GiB 模型,仍未能完成編碼智能體任務
Скачал полтерабайта локальных LLM — но без GPU жизни нет
作者整理了 111 個 GGUF 模型(448.2 GiB),並用 LocalAI 測試本地編碼智能體;CPU 伺服器未能完成工程任務。在 RTX 4070 Laptop 8 GiB 上,Ministral‑3‑3B、Gemma‑3‑4B、Qwen3.5‑4B Agentic 和 Qwen2.5‑Coder‑7B 嘗試把 Lua 轉成 Forth,結果均逾時或失敗。
Скачал полтерабайта локальных LLM — но без GPU жизни нет
Летом мне отдали старый сервер IBM в полуразобранном состоянии. Потребовалось время, чтобы провести его ревизию, чистку, обновить, докупить процессоры и память: сейчас это 2× Intel Xeon E5-2697 v2 (24 ядра / 48 потоков) и 64 GiB DDR3 ECC.
Сервер поднят и увезён туда, где уже стоит известный ранее XEON — тот самый, который 6 часов искал факториал на 2× E5440 в чисто CPU‑режиме на DeepSeek‑R1‑Distill‑Qwen‑32B (q4_k_m). Ядер стало много, памяти столько же. Для исследований решил скачать модели разных размеров — всё в Q4_K_M. GPU по‑прежнему нет. В итоге парк раздут почти до половины терабайта (111 GGUF ≈ 448 GiB). Оба сервера собраны в кластер LocalAI, чуть позже туда добавлен ноутбук — потому что в нём есть GPU. Результат отрицательный: локального инструментария для разработки кода получить не удалось. Дальше — подробности не столько «итога», сколько самурайского пути.
Немного моего контекста
Если посмотреть более ранние статьи, видно, что с помощью ИИ я делаю работы по программированию на Elixir, HDL, Forth. Последний очень тяжело даётся любой современной модели.
Во всех делах помогал Cursor — для меня до сих пор эталон того, как должен работать ИИ‑харнесс.
Есть опыт с CodeWhale:
в принципе он даже что‑то может, будучи подключённым к OpenRouter, но без «правильной» модели работа длится часами и ночами, часто с нулевым результатом. Бесплатные модели на OpenRouter через LocalAI (cloud-proxy) радуют самим фактом существования, но задачи почти не решают. У меня сейчас подключены:
| LocalAI id | Upstream (:free) |
Заметка |
|---|---|---|
openrouter-nemotron-lightning |
nvidia/nemotron-3.5-lightning |
ок |
openrouter-nemotron-super-vl |
nvidia/nemotron-3.5-super-vl |
ок / VL |
openrouter-nemotron-ultra |
nvidia/nemotron-3-ultra-550b-a55b |
тяжёлый |
Платные модели на OR по деньгам выходят соизмеримо с подпиской на Cursor — экономии нет. Отдельно опробованы MiMo (Xiaomi через OR: mimo-v2.6-flash / -pro, mimo-v2.5 / -pro): ощущение приятнее — реально что‑то могут, цена ниже.
Кроме CodeWhale есть Hermes Agent. Как личный консультант в тематических каналах — опыт положительный. Недавно услышал про его использование как агента для разработки: tooling для этого у него есть. Результаты на локали привели к тому, что взял на пробу ещё OpenCode — но об этом ниже.
Показать матрицы парка моделей (Qwen / Mistral / Gemma / Llama / DeepSeek / RU)<
Таблица моделей
На момент написания статьи, папка с моделями (/ibm_bulk/models, 2026-11-16): содержит 111 .gguf, 448.2 GiB. Квант везде Q4_K_M, если не сказано иначе.
Легенда ячеек: ✔ = на диске, − = релиз есть, не скачан, ✖ = такого типа/size нет. Колонки Base / Instruct / Coder / Coder-Instruct — роли модели (разбор в следующем разделе).
Матрица Qwen (наличие на диске, скан 2026-11-16)
Имена на диске: Qwen…-{size}B-…-Q4_K_M.
size — число параметров в миллиардах (B).
Ячейки: ✔ = на диске, − = релиз есть, не скачан, ✖ = такого типа/size нет.
Не DeepSeek-R1-Distill-Qwen, не emb/rerank.
| Линейка | size | Base сырой LM |
Coder база под код |
Instruct чат |
Coder-Instruct код + ассистент |
|---|---|---|---|---|---|
|
Qwen2.5 2024; dense 0.5…72B |
0.5 | ✔ | ✔ | ✔ | ✔ |
| 1.5 | ✔ | ✔ | ✔ | ✔ | |
| 3 | ✔ | ✔ | ✔ | ✔ | |
| 7 | ✔ | ✔ | ✔ | ✔ | |
| 14 | ✔ | ✔ | ✔ | ✔ | |
| 32 | − | − | − | − | |
| 72 | − | − | − | − | |
|
Qwen3 2025; dense 0.6…32B; thinking |
0.6 | ✔ | ✖ | ✖ | ✖ |
| 1.7 | ✔ | ✔ | ✖ | ✖ | |
| 4 | ✖ | ✖ | ✔ | ✖ | |
| 8 | ✖ | ✖ | ✔ | ✖ | |
| 14 | ✖ | ✖ | ✔ | ✖ | |
| 32 | − | ✖ | − | ✖ | |
|
Qwen3.5 2026; dense 0.8…27B |
0.8 | ✔ | ✖ | ✖ | ✖ |
| 2 | ✔ | ✖ | ✖ | ✖ | |
| 4 | ✔ | ✔ | ✖ | ✖ | |
| 9 | ✔ | ✔ | ✖ | ✖ | |
| 27 | − | ✖ | ✖ | ✖ | |
|
Qwen3.8 ветка 3.8; 9B = distill |
9 | ✔ | ✖ | ✖ | ✖ |
| 27 | − | ✖ | ✖ | ✖ |
Coder 3.5 4B = …-Agentic-Coding. Qwen3 1.7B Coder — community.
Матрица Mistral / Ministral (наличие на диске, скан 2026-11-16)
Линейки Mistral AI на диске. size в B (Nemo = 12B).
Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.
| Линейка | size | Base | Instruct чат |
Coder Codestral |
RU Saiga и т.п. |
|---|---|---|---|---|---|
|
Ministral 3 Ministral 3 (компакт) |
3 | ✔ | ✔ | ✖ | ✖ |
| 8 | ✔ | ✔ | ✖ | ✖ | |
| 14 | ✔ | ✔ | ✖ | ✖ | |
|
Nemo Mistral Nemo 12B |
12 | ✔ | ✔ | ✖ | ✔ |
|
Small Mistral Small |
22 | ✖ | ✖ | ✖ | ✖ |
| 24 | ✔ | ✔ | ✖ | ✖ | |
|
Codestral Codestral (код) |
22 | ✖ | ✖ | ✔ | ✖ |
saiga_nemo_12b → RU на Nemo 12B.
Матрица Gemma (наличие на диске, скан 2026-11-16)
Google Gemma. size: B или E2B/E4B. EmbeddingGemma — не здесь.
Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.
| Линейка | size | Base | IT instruct / -it |
RU Saiga |
|---|---|---|---|---|
|
Gemma 2 Gemma 2 |
2 | ✔ | ✔ | ✖ |
| 9 | ✔ | ✔ | ✖ | |
| 27 | − | − | ✖ | |
|
Gemma 3 Gemma 3 |
1 | ✔ | ✔ | ✖ |
| 4 | ✔ | ✔ | ✖ | |
| 12 | ✔ | ✔ | ✔ | |
| 27 | − | − | ✖ | |
| 9 | − | − | ✔ | |
|
Gemma 3n Gemma 3n |
E2B | ✖ | ✔ | ✖ |
|
Gemma 4 Gemma 4 |
E2B | ✖ | ✔ | ✖ |
| E4B | ✖ | ✔ | ✖ | |
| 12 | ✔ | ✔ | ✖ | |
| 31 | − | − | ✖ |
saiga_gemma3_12b → RU на Gemma 3 12B.
Матрица Llama (наличие на диске, скан 2026-11-16)
Meta Llama (+ CodeLlama, TinyLlama). size в B.
Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.
| Линейка | size | Base | Instruct | Code CodeLlama |
|---|---|---|---|---|
|
Llama 3.1 Llama 3.1 |
8 | ✔ | ✔ | ✖ |
| 70 | − | − | ✖ | |
| 405 | − | − | ✖ | |
|
Llama 3.2 Llama 3.2 |
1 | ✔ | ✔ | ✖ |
| 3 | ✔ | ✔ | ✖ | |
| 11 | ✖ | ✔ | ✖ | |
|
Llama 3.3 Llama 3.3 |
70 | − | − | ✖ |
|
Code Llama Code Llama |
7 | ✖ | ✖ | ✔ |
| 13 | ✖ | ✖ | ✔ | |
| 34 | ✖ | ✖ | − | |
|
TinyLlama TinyLlama |
1.1 | ✔ | ✔ | ✖ |
Матрица DeepSeek (наличие на диске, скан 2026-11-16)
DeepSeek Coder / V2-Lite / R1-Distill. Крупные MoE V3 не в строках.
Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.
| Линейка | size | Base | Coder код |
R1-Distill reasoning |
|---|---|---|---|---|
|
Coder DeepSeek-Coder (1.x) |
1.3 | ✔ | ✔ | ✖ |
| 6.7 | ✔ | ✔ | ✖ | |
| 33 | − | − | ✖ | |
|
Coder V2 Coder V2 Lite |
Lite | ✖ | ✔ | ✖ |
|
R1←Qwen R1 distill ← Qwen |
1.5 | ✖ | ✖ | ✔ |
| 7 | ✖ | ✖ | ✔ | |
| 14 | ✖ | ✖ | ✔ | |
| 32 | ✖ | ✖ | ✔ | |
|
R1←Llama R1 distill ← Llama |
8 | ✖ | ✖ | ✔ |
| 70 | ✖ | ✖ | − |
Coder V2 Lite — одна строка size=Lite (не классический XB).
RU-чат / локальные линейки
| Линейка | Модель (id без .gguf) |
≈GiB | На диске | Заметка |
|---|---|---|---|---|
| Saiga | saiga_gemma3_12b.Q4_K_M |
6.8 | ✔ | Gemma 3 12B |
| Saiga | saiga_nemo_12b.Q4_K_M |
7.0 | ✔ | Nemo 12B |
| Saiga | saiga_gemma2_9b.Q4_K_M |
5.4 | ✔ | |
| Saiga | saiga_yandexgpt_8b.Q4_K_M |
4.6 | ✔ | |
| t-tech | T-lite-it-2.1-Q4_K_M |
4.7 | ✔ | |
| t-tech | T-pro-it-2.1-Q4_K_M |
18.4 | ✔ | тяжёлый на CPU |
| Vikhr | QVikhr-3-4B-Instruction-Q4_K_M |
2.3 | ✔ | |
| Vikhr | QVikhr-3-8B-Instruction-Q4_K_M |
4.7 | ✔ | |
| Vikhr | QVikhr-3-1.7B-Instruction-noreasoning-Q4_K_M |
1.0 | ✔ | |
| Vikhr | Vikhr-Nemo-12B-Instruct-R-21-09-24-Q4_K_M |
7.0 | ✔ | |
| Vikhr | Vikhr-Llama3.1-8B-Instruct-R-21-09-24-Q4_K_M |
4.6 | ✔ | |
| Vikhr | Vikhr-Llama-3.2-1B-Q4_K_M |
0.8 | ✔ | |
| Vikhr | Vikhr-Qwen-2.5-1.5B-Instruct-Q4_K_M |
0.9 | ✔ | |
| Vikhr | Vikhr-Gemma-2B-instruct-Q4_K_M |
1.6 | ✔ | |
| Vikhr | Vikhr-YandexGPT-5-Lite-8B-it-Q4_K_M |
4.6 | ✔ | |
| Yandex | YandexGPT-5-Lite-8B-instruct-Q4_K_M |
4.6 | ✔ | |
| Ruadapt | RuadaptQwen3-4B-Instruct-Q4_K_M |
2.3 | ✔ | |
| Ruadapt | RuadaptQwen3-8B-Hybrid-Q4_K_M |
4.7 | ✔ | |
| GigaChat | GigaChat3.1-10B-A1.8B-Q4_K_M |
6.0 | ✔ | MoE |
| GigaChat | GigaChat-20B-A3B-instruct-v1.5-Q4_K_M |
11.6 | ✔ | MoE; тяжёлый на CPU |
OpenRouter :free и MiMo — в разделе контекста выше (cloud-proxy, не GGUF). То есть модели не скачаны, а подключены из OpenRouter через прокси, который поддерживает LocalAI.
Первые озарения — типы моделей
После пары десятков файлов пришлось структурировать парк — и стало видно, что «просто скачать Qwen» недостаточно. У одного семейства бывают разные роли:
| Тип | Что это | Для чего |
|---|---|---|
| Base | «Сырой» LM после предобучения | Продолжает текст; слабо слушается формата «вопрос → ответ» |
Instruct (-it у Gemma) |
Base + дообучение на диалогах/инструкциях | Чат, следование промпту; код — побочный навык |
| Coder (base) | Смещение в код (репозитории, синтаксис, fill‑in) | Скорее «дописывает код», чем ведёт себя как помощник |
| Coder‑Instruct | Coder + инструкционный тюнинг | Обычно лучший выбор под IDE/агента, если в имени есть оба слова |
| Embeddings | Векторное представление текста/кода | Поиск, RAG; не чат и не агент |
| Rerank | Переранжирование кандидатов | Улучшает выдачу поиска; тоже не генератор кода |
Как будто нужна смесь разных ролей и связка между ними — и только тогда может начать получаться «локальный Cursor». Один огромный Instruct на CPU этого не заменяет.
Вторые озарения — минимальный размер контекста
На первый взгляд выбор огромный. Интуиция подсказала: на процессоре нет смысла брать огромную модель (будет слишком медленно), но и слишком маленькая модель задачу не решит. Из всего великолепия моделей, которые реально стоит грузить и с которыми имеет смысл общаться, оказывается не так много. Похоже, я зря столько скачал.
Первым делом я грузил в LM Studio на ноутбуке: почти любая модель сразу отвечает на простые вопросы, скорость ответа в t/s отличная — там GPU. На сервере печальнее, но до ~7 tok/s на моделях 2–4 GiB на ibm всё же внушало оптимизм. По сравнению со старым xeon (E5440) на ibm (E5-2697 v2) генерация примерно в 5–10× быстрее.
Но обычный чат — это это ещё не работа агента. Если подключить модель к OpenCode / Hermes / CodeWhale, их харнесс за счёт system‑промпта, описаний tools и служебных сообщений сразу съедает кусок окна.
Когда я включил консольный Hermes — впечатлился: визуально аккуратнее CodeWhale, показывает инструментарий, плюс нативный коннектор к LM Studio (список моделей / загрузка).
Именно Hermes дал понимание масштаба: на старте агентский контур легко съедает порядка ~40k контекста «на себя». Модели с окном 32k и меньше для такого режима сразу мимо. В парке это почти весь Qwen2.5 / Qwen2.5‑Coder (native 32k), куски Qwen3 с 40k, Codestral / Mistral-Small (32k), старые gemma-2-* (8k) и т.п. — для чата ок, для агент‑Hermes нет.
Практический floor, с которым мы потом жили в конфиге: модели нужно served context ≥ ~64k (нативный GGUF ctx не меньше, YAML не раздувает файл магией). Из лёгких локальных сразу заходили, например:
-
mistralai_Ministral-3-3B-Instruct-2512-Q4_K_M— native 262k, в YAML 64k (проверено с Hermes); - рядом по смыслу семейства — Ministral‑3‑8B (тот же длинный native), плюс кандидаты вроде Phi‑4‑mini / Llama‑3.2‑*Instruct с 128k.
Также еще далеко не все модели умеют работать с инструментами - это сразу видно.
Ещё озарения — почему Cursor не видит домашний LM Studio
Cursor по моим кредам спокойно ходил на OpenRouter, а к локальной LM Studio — нет. Догадка (и она хорошо бьётся с тем, как устроен облачный IDE‑агент): харнесс не живёт целиком на вашем ПК. Тяжёлая часть крутится у них в облаке и ходит на указанные endpoint’ы с их серверов. До вашего localhost:1234 они физически не достучатся, пока endpoint не торчит наружу (туннель, публичный URL, свой gateway). Это не баг «кривого URL в настройках» — это модель доверия и топологии. Домашний «аналог Cursor, но 100 % локально» приходится собирать из других кирпичей: LocalAI / LM Studio + Hermes / OpenCode / CodeWhale на своей машине. Но в целом, если выставить наружу LM Studio, то может быть и заработает.
Практика: задача на Forth
В моей экосистеме на Forth, имеются разные инструменты. Среди них есть транслятор flua. В инструменте происходит преобразование Lua → Forth, решил попробовать обратное направление и оформить это задачей для агента (Phase‑1: decode‑tokens / тесты на gforth).
Зачем это нужно? Ну, просто модели слабо обучены на Форт, но хорошо обучены, например, на Lua. К тому же там прямая запись кода, а не обратная польская. Я решил проверить гипотезу о том, что можно упростить жизнь моделям, спрашивая с них не сразу Форт, а обычный код на Lua с последующим статическим преобразованием в Forth и уже после этого можно немного допилить и будет рабочий код
Гонял задачу обратного преобразования на одной модели, потом на другой — всё долго и медленно на CPU. Либо сразу ломаются, либо работают очень долго, что результата не дождаться. Поэтому решил переключиться на минимальные модели, но которые влезут на GPU, подключив ноутбук к кластеру как worker‑ноду. Но быстро ≠ хорошо.
Не все модели одинаково полезны для программирования
Харнесс агента — это цикл примерно такого вида:
- прочитать задачу / репозиторий;
- вызвать tool (чтение файла, правка, shell, тест);
- получить observation;
- спланировать следующий шаг;
- повторять, пока не будет зелёного критерия (у нас —
gforth+ PASSED) или пока не кончится бюджет.
Toolchain важен: без нормальных tools модель обречена «рассказывать код в чат». Но со слабой моделью хороший toolchain не спасает. Нужны:
- достаточное окно контекста (см. выше);
- умение держать формат tool‑call, а не писать фейковый
tool_codeв markdown; - специализация: Coder‑Instruct / agentic‑coding бьёт «общий Instruct» на длинной инженерной задаче; - скорость шага: на CPU один «подумал → вызвал tool» может стоить минуты; за час агент делает мало итераций.
Чем харнессы отличаются для меня на практике (грубо):
| Сильная сторона | Слабое место на локали | |
|---|---|---|
| Hermes | Богатый agent UX, tools, удобный CLI, связка с LM Studio / custom OpenAI API | Жрёт большой ctx на старте; на слабой модели цикл мёртв |
| OpenCode | Заточен под код/репо | На мелких локальных — стоп без tool‑call, на двух моделях просто начал работу и остановился |
| CodeWhale | Привычный контур | На CPU/слабой модели — часы с нулевым выхлопом |
| Cursor | Эталон цикла | Облачный харнесс; домашний LM Studio «сам по себе» не видит и я не пробовал его натравить на локальные модели |
Дальше — не «ещё один харнесс», а честный прогон одной задачи.
Модели от MiMo (cloud) vs локальные модели
Как и писал ранее, модели на OpenRouter - это был для меня компромисс. Зачем же нужны свои GPU и локальные модели, если не ради экономии денег!? Я решил, что всё же допустимо использовать модели по подписке, если они будут бесплатными! :) Но они не справлялись. Поэтому решил брать платные, но самые дешевые.
На моделях серии MiMo через OpenRouter задача сдвигалась. Модель реально тянет агентский стиль. На локальных CPU «подождать подольше» не сработало: ждать нужно не час, а на столько дольше, что я просто не выдержу. В противовес этому на GPU ноутбука (RTX 4070 Laptop 8 GiB, WSL) — упёрлись в другой потолок: влезают только мелкие 3B–7B, они для чата ок, для agent loop — нет.
Одна и та же Phase‑1 задача, Hermes → LocalAI → laptop CUDA, пробовал переключать GPU между разными моделями, и давал времени до ≤60 мин чтобы попытаться решить задачу. В итоге:
| Модель (laptop) | Исход |
|---|---|
| Ministral‑3‑3B | timeout ~60 мин, решение не прошло тесты |
| Gemma‑3‑4B | fail за секунды |
| Qwen3.5‑4B Agentic | timeout ~60 мин, артефакты кривые под gforth |
| Qwen2.5‑Coder‑7B | fail ~20 мин: compression timeout, файлов нет |
Переключение между Hermes и OpenCode никак не повлияло на результат: на локальных моделях, они оба вели себя одинаково безнадёжно.
Отдельно хочу сказать про LocalAI
LocalAI — удобный опенсорсный OpenAI‑compatible слой над GGUF (и не только). У нас v4.12.1, Distributed Mode: frontend на ibm, workers на ibm + xeon + laptop, координация через Postgres + NATS.
Что реально зашло в быту:
- веб‑UI: списки моделей, веб-чат с моделью, настройки;
- видно, как модель приземляется на ноду и куда ушёл запрос (
X-LocalAI-Node); - единый ендпоинт
/v1для Cursor override / Hermes / CodeWhale / OpenCode; - выбор размещения моделей - placement (
POST /api/nodes/scheduling): например мелкие CUDA‑модели →node.name=laptopпотому что на нем есть GPU, всеopenrouter-*→node.name=ibm(на нем прописан ключ OR, на ноутбук он будет не найден); - ноут включен в swarm, но только пока жив WSL (
Linger=no) — настроил так, чтобы ноутбук не находился в кластере 24/7.
| Нода | Железо | Роль | GPU |
|---|---|---|---|
| ibm | 2× E5‑2697 v2, 64 GiB | frontend + worker, склад /ibm_bulk/models
|
нет (CPU; AVX2 нет) |
| xeon | 2× E5440, ~64 GiB | worker, /xeonstore/models
|
нет |
| laptop | Windows + WSL, RTX 4070 8 GiB | worker по WireGuard | да, единственный реальный CUDA |
Пример pin на ноут:
POST /api/nodes/scheduling
Content-Type: application/json
{
"model_name": "mistralai_Ministral-3-3B-Instruct-2512-Q4_K_M",
"node_selector": "{\"node.name\":\"laptop\"}",
"min_replicas": 0,
"max_replicas": 0
}
На 8 GiB VRAM «хочу 64k ctx» легко ловит OOM — для мелких моделей контекст в YAML приходится резать.
Итог
- LocalAI Distributed - удобный инструмент. Нормально склеивает ibm + xeon + laptop‑WSL, локальные модели и модели от других поставщиков в один API.
- Скачать 100+ GGUF легко; это не заменяет GPU и не делает модель «агентной».
- Без GPU (и без AVX2 на этом железе) OpenCode / Hermes / CodeWhale дают околонуль по полезной разработке — не потому что «нет tools».
- Ноутбучные 8 GiB GPU хватает на мелкие модели; для устойчивого agent loop — этого недостаточно.
- «Подождать на CPU» на инженерной задаче — иллюзия: вы не дождётесь.
- Следующий рычаг — не ещё 50 GGUF, а нормальный десктопный/серверный GPU (или честный cloud‑агент вроде MiMo/Cursor), а локально — embeddings / rerank / черновики.
- Еще один следующий шаг - аренда сервера с GPU типа vast.ai ведь теперь, благодаря LocalAI у меня уже есть понимание как взять в аренду GPU и подключить к своему инструментарию.
Если у вас на CPU с AVX2 агенты живут — напишите железо и модель. У нас на E5 v2 / E5440 + полтерабайта Q4 ответ пока один: диск ≠ интеллект, RAM ≠ GPU.
來源:DEV Community · dev.to








