跳到正文
DEV Community· Alexey Bolshakov·· 8 小時前AI 評分52

本地 LLM 實測:作者下載 448.2 GiB 模型,仍未能完成編碼智能體任務

Скачал полтерабайта локальных LLM — но без GPU жизни нет

AI 導讀

作者整理了 111 個 GGUF 模型(448.2 GiB),並用 LocalAI 測試本地編碼智能體;CPU 伺服器未能完成工程任務。在 RTX 4070 Laptop 8 GiB 上,Ministral‑3‑3B、Gemma‑3‑4B、Qwen3.5‑4B Agentic 和 Qwen2.5‑Coder‑7B 嘗試把 Lua 轉成 Forth,結果均逾時或失敗。

正文

Скачал полтерабайта локальных LLM — но без GPU жизни нет

Летом мне отдали старый сервер IBM в полуразобранном состоянии. Потребовалось время, чтобы провести его ревизию, чистку, обновить, докупить процессоры и память: сейчас это 2× Intel Xeon E5-2697 v2 (24 ядра / 48 потоков) и 64 GiB DDR3 ECC.

Proxmox датацентр

Сервер поднят и увезён туда, где уже стоит известный ранее XEON — тот самый, который 6 часов искал факториал на 2× E5440 в чисто CPU‑режиме на DeepSeek‑R1‑Distill‑Qwen‑32B (q4_k_m). Ядер стало много, памяти столько же. Для исследований решил скачать модели разных размеров — всё в Q4_K_M. GPU по‑прежнему нет. В итоге парк раздут почти до половины терабайта (111 GGUF ≈ 448 GiB). Оба сервера собраны в кластер LocalAI, чуть позже туда добавлен ноутбук — потому что в нём есть GPU. Результат отрицательный: локального инструментария для разработки кода получить не удалось. Дальше — подробности не столько «итога», сколько самурайского пути.

Немного моего контекста

Если посмотреть более ранние статьи, видно, что с помощью ИИ я делаю работы по программированию на Elixir, HDL, Forth. Последний очень тяжело даётся любой современной модели.

Во всех делах помогал Cursor — для меня до сих пор эталон того, как должен работать ИИ‑харнесс.

Есть опыт с CodeWhale:

в принципе он даже что‑то может, будучи подключённым к OpenRouter, но без «правильной» модели работа длится часами и ночами, часто с нулевым результатом. Бесплатные модели на OpenRouter через LocalAI (cloud-proxy) радуют самим фактом существования, но задачи почти не решают. У меня сейчас подключены:

LocalAI id Upstream (:free) Заметка
openrouter-nemotron-lightning nvidia/nemotron-3.5-lightning ок
openrouter-nemotron-super-vl nvidia/nemotron-3.5-super-vl ок / VL
openrouter-nemotron-ultra nvidia/nemotron-3-ultra-550b-a55b тяжёлый

Платные модели на OR по деньгам выходят соизмеримо с подпиской на Cursor — экономии нет. Отдельно опробованы MiMo (Xiaomi через OR: mimo-v2.6-flash / -pro, mimo-v2.5 / -pro): ощущение приятнее — реально что‑то могут, цена ниже.

Кроме CodeWhale есть Hermes Agent. Как личный консультант в тематических каналах — опыт положительный. Недавно услышал про его использование как агента для разработки: tooling для этого у него есть. Результаты на локали привели к тому, что взял на пробу ещё OpenCode — но об этом ниже.

Показать матрицы парка моделей (Qwen / Mistral / Gemma / Llama / DeepSeek / RU)<

Таблица моделей

На момент написания статьи, папка с моделями (/ibm_bulk/models, 2026-11-16): содержит 111 .gguf, 448.2 GiB. Квант везде Q4_K_M, если не сказано иначе.

Легенда ячеек: ✔ = на диске, − = релиз есть, не скачан, ✖ = такого типа/size нет. Колонки Base / Instruct / Coder / Coder-Instruct — роли модели (разбор в следующем разделе).

Матрица Qwen (наличие на диске, скан 2026-11-16)

Имена на диске: Qwen…-{size}B-…-Q4_K_M.

size — число параметров в миллиардах (B).

Ячейки: ✔ = на диске, − = релиз есть, не скачан, ✖ = такого типа/size нет.

Не DeepSeek-R1-Distill-Qwen, не emb/rerank.

Линейка size Base
сырой LM
Coder
база под код
Instruct
чат
Coder-Instruct
код + ассистент
Qwen2.5
2024; dense 0.5…72B
0.5 ✔ ✔ ✔ ✔
1.5 ✔ ✔ ✔ ✔
3 ✔ ✔ ✔ ✔
7 ✔ ✔ ✔ ✔
14 ✔ ✔ ✔ ✔
32 − − − −
72 − − − −
Qwen3
2025; dense 0.6…32B; thinking
0.6 ✔ ✖ ✖ ✖
1.7 ✔ ✔ ✖ ✖
4 ✖ ✖ ✔ ✖
8 ✖ ✖ ✔ ✖
14 ✖ ✖ ✔ ✖
32 − ✖ − ✖
Qwen3.5
2026; dense 0.8…27B
0.8 ✔ ✖ ✖ ✖
2 ✔ ✖ ✖ ✖
4 ✔ ✔ ✖ ✖
9 ✔ ✔ ✖ ✖
27 − ✖ ✖ ✖
Qwen3.8
ветка 3.8; 9B = distill
9 ✔ ✖ ✖ ✖
27 − ✖ ✖ ✖

Coder 3.5 4B = …-Agentic-Coding. Qwen3 1.7B Coder — community.

Матрица Mistral / Ministral (наличие на диске, скан 2026-11-16)

Линейки Mistral AI на диске. size в B (Nemo = 12B).

Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.

Линейка size Base Instruct
чат
Coder
Codestral
RU
Saiga и т.п.
Ministral 3
Ministral 3 (компакт)
3 ✔ ✔ ✖ ✖
8 ✔ ✔ ✖ ✖
14 ✔ ✔ ✖ ✖
Nemo
Mistral Nemo 12B
12 ✔ ✔ ✖ ✔
Small
Mistral Small
22 ✖ ✖ ✖ ✖
24 ✔ ✔ ✖ ✖
Codestral
Codestral (код)
22 ✖ ✖ ✔ ✖

saiga_nemo_12b → RU на Nemo 12B.

Матрица Gemma (наличие на диске, скан 2026-11-16)

Google Gemma. size: B или E2B/E4B. EmbeddingGemma — не здесь.

Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.

Линейка size Base IT
instruct / -it
RU
Saiga
Gemma 2
Gemma 2
2 ✔ ✔ ✖
9 ✔ ✔ ✖
27 − − ✖
Gemma 3
Gemma 3
1 ✔ ✔ ✖
4 ✔ ✔ ✖
12 ✔ ✔ ✔
27 − − ✖
9 − − ✔
Gemma 3n
Gemma 3n
E2B ✖ ✔ ✖
Gemma 4
Gemma 4
E2B ✖ ✔ ✖
E4B ✖ ✔ ✖
12 ✔ ✔ ✖
31 − − ✖

saiga_gemma3_12b → RU на Gemma 3 12B.

Матрица Llama (наличие на диске, скан 2026-11-16)

Meta Llama (+ CodeLlama, TinyLlama). size в B.

Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.

Линейка size Base Instruct Code
CodeLlama
Llama 3.1
Llama 3.1
8 ✔ ✔ ✖
70 − − ✖
405 − − ✖
Llama 3.2
Llama 3.2
1 ✔ ✔ ✖
3 ✔ ✔ ✖
11 ✖ ✔ ✖
Llama 3.3
Llama 3.3
70 − − ✖
Code Llama
Code Llama
7 ✖ ✖ ✔
13 ✖ ✖ ✔
34 ✖ ✖ −
TinyLlama
TinyLlama
1.1 ✔ ✔ ✖

Матрица DeepSeek (наличие на диске, скан 2026-11-16)

DeepSeek Coder / V2-Lite / R1-Distill. Крупные MoE V3 не в строках.

Ячейки: ✔ = на диске, − = не скачан, ✖ = релиза нет.

Линейка size Base Coder
код
R1-Distill
reasoning
Coder
DeepSeek-Coder (1.x)
1.3 ✔ ✔ ✖
6.7 ✔ ✔ ✖
33 − − ✖
Coder V2
Coder V2 Lite
Lite ✖ ✔ ✖
R1←Qwen
R1 distill ← Qwen
1.5 ✖ ✖ ✔
7 ✖ ✖ ✔
14 ✖ ✖ ✔
32 ✖ ✖ ✔
R1←Llama
R1 distill ← Llama
8 ✖ ✖ ✔
70 ✖ ✖ −

Coder V2 Lite — одна строка size=Lite (не классический XB).

RU-чат / локальные линейки

Линейка Модель (id без .gguf) ≈GiB На диске Заметка
Saiga saiga_gemma3_12b.Q4_K_M 6.8 ✔ Gemma 3 12B
Saiga saiga_nemo_12b.Q4_K_M 7.0 ✔ Nemo 12B
Saiga saiga_gemma2_9b.Q4_K_M 5.4 ✔
Saiga saiga_yandexgpt_8b.Q4_K_M 4.6 ✔
t-tech T-lite-it-2.1-Q4_K_M 4.7 ✔
t-tech T-pro-it-2.1-Q4_K_M 18.4 ✔ тяжёлый на CPU
Vikhr QVikhr-3-4B-Instruction-Q4_K_M 2.3 ✔
Vikhr QVikhr-3-8B-Instruction-Q4_K_M 4.7 ✔
Vikhr QVikhr-3-1.7B-Instruction-noreasoning-Q4_K_M 1.0 ✔
Vikhr Vikhr-Nemo-12B-Instruct-R-21-09-24-Q4_K_M 7.0 ✔
Vikhr Vikhr-Llama3.1-8B-Instruct-R-21-09-24-Q4_K_M 4.6 ✔
Vikhr Vikhr-Llama-3.2-1B-Q4_K_M 0.8 ✔
Vikhr Vikhr-Qwen-2.5-1.5B-Instruct-Q4_K_M 0.9 ✔
Vikhr Vikhr-Gemma-2B-instruct-Q4_K_M 1.6 ✔
Vikhr Vikhr-YandexGPT-5-Lite-8B-it-Q4_K_M 4.6 ✔
Yandex YandexGPT-5-Lite-8B-instruct-Q4_K_M 4.6 ✔
Ruadapt RuadaptQwen3-4B-Instruct-Q4_K_M 2.3 ✔
Ruadapt RuadaptQwen3-8B-Hybrid-Q4_K_M 4.7 ✔
GigaChat GigaChat3.1-10B-A1.8B-Q4_K_M 6.0 ✔ MoE
GigaChat GigaChat-20B-A3B-instruct-v1.5-Q4_K_M 11.6 ✔ MoE; тяжёлый на CPU

OpenRouter :free и MiMo — в разделе контекста выше (cloud-proxy, не GGUF). То есть модели не скачаны, а подключены из OpenRouter через прокси, который поддерживает LocalAI.

Первые озарения — типы моделей

После пары десятков файлов пришлось структурировать парк — и стало видно, что «просто скачать Qwen» недостаточно. У одного семейства бывают разные роли:

Тип Что это Для чего
Base «Сырой» LM после предобучения Продолжает текст; слабо слушается формата «вопрос → ответ»
Instruct (-it у Gemma) Base + дообучение на диалогах/инструкциях Чат, следование промпту; код — побочный навык
Coder (base) Смещение в код (репозитории, синтаксис, fill‑in) Скорее «дописывает код», чем ведёт себя как помощник
Coder‑Instruct Coder + инструкционный тюнинг Обычно лучший выбор под IDE/агента, если в имени есть оба слова
Embeddings Векторное представление текста/кода Поиск, RAG; не чат и не агент
Rerank Переранжирование кандидатов Улучшает выдачу поиска; тоже не генератор кода

Как будто нужна смесь разных ролей и связка между ними — и только тогда может начать получаться «локальный Cursor». Один огромный Instruct на CPU этого не заменяет.

Вторые озарения — минимальный размер контекста

На первый взгляд выбор огромный. Интуиция подсказала: на процессоре нет смысла брать огромную модель (будет слишком медленно), но и слишком маленькая модель задачу не решит. Из всего великолепия моделей, которые реально стоит грузить и с которыми имеет смысл общаться, оказывается не так много. Похоже, я зря столько скачал.

Первым делом я грузил в LM Studio на ноутбуке: почти любая модель сразу отвечает на простые вопросы, скорость ответа в t/s отличная — там GPU. На сервере печальнее, но до ~7 tok/s на моделях 2–4 GiB на ibm всё же внушало оптимизм. По сравнению со старым xeon (E5440) на ibm (E5-2697 v2) генерация примерно в 5–10× быстрее.

Но обычный чат — это это ещё не работа агента. Если подключить модель к OpenCode / Hermes / CodeWhale, их харнесс за счёт system‑промпта, описаний tools и служебных сообщений сразу съедает кусок окна.

Когда я включил консольный Hermes — впечатлился: визуально аккуратнее CodeWhale, показывает инструментарий, плюс нативный коннектор к LM Studio (список моделей / загрузка).

Именно Hermes дал понимание масштаба: на старте агентский контур легко съедает порядка ~40k контекста «на себя». Модели с окном 32k и меньше для такого режима сразу мимо. В парке это почти весь Qwen2.5 / Qwen2.5‑Coder (native 32k), куски Qwen3 с 40k, Codestral / Mistral-Small (32k), старые gemma-2-* (8k) и т.п. — для чата ок, для агент‑Hermes нет.

Практический floor, с которым мы потом жили в конфиге: модели нужно served context ≥ ~64k (нативный GGUF ctx не меньше, YAML не раздувает файл магией). Из лёгких локальных сразу заходили, например:

  • mistralai_Ministral-3-3B-Instruct-2512-Q4_K_M — native 262k, в YAML 64k (проверено с Hermes);
  • рядом по смыслу семейства — Ministral‑3‑8B (тот же длинный native), плюс кандидаты вроде Phi‑4‑mini / Llama‑3.2‑*Instruct с 128k.

Также еще далеко не все модели умеют работать с инструментами - это сразу видно.

Ещё озарения — почему Cursor не видит домашний LM Studio

Cursor по моим кредам спокойно ходил на OpenRouter, а к локальной LM Studio — нет. Догадка (и она хорошо бьётся с тем, как устроен облачный IDE‑агент): харнесс не живёт целиком на вашем ПК. Тяжёлая часть крутится у них в облаке и ходит на указанные endpoint’ы с их серверов. До вашего localhost:1234 они физически не достучатся, пока endpoint не торчит наружу (туннель, публичный URL, свой gateway). Это не баг «кривого URL в настройках» — это модель доверия и топологии. Домашний «аналог Cursor, но 100 % локально» приходится собирать из других кирпичей: LocalAI / LM Studio + Hermes / OpenCode / CodeWhale на своей машине. Но в целом, если выставить наружу LM Studio, то может быть и заработает.

Практика: задача на Forth

В моей экосистеме на Forth, имеются разные инструменты. Среди них есть транслятор flua. В инструменте происходит преобразование Lua → Forth, решил попробовать обратное направление и оформить это задачей для агента (Phase‑1: decode‑tokens / тесты на gforth).

Зачем это нужно? Ну, просто модели слабо обучены на Форт, но хорошо обучены, например, на Lua. К тому же там прямая запись кода, а не обратная польская. Я решил проверить гипотезу о том, что можно упростить жизнь моделям, спрашивая с них не сразу Форт, а обычный код на Lua с последующим статическим преобразованием в Forth и уже после этого можно немного допилить и будет рабочий код

Гонял задачу обратного преобразования на одной модели, потом на другой — всё долго и медленно на CPU. Либо сразу ломаются, либо работают очень долго, что результата не дождаться. Поэтому решил переключиться на минимальные модели, но которые влезут на GPU, подключив ноутбук к кластеру как worker‑ноду. Но быстро ≠ хорошо.

Не все модели одинаково полезны для программирования

Харнесс агента — это цикл примерно такого вида:

  1. прочитать задачу / репозиторий;
  2. вызвать tool (чтение файла, правка, shell, тест);
  3. получить observation;
  4. спланировать следующий шаг;
  5. повторять, пока не будет зелёного критерия (у нас — gforth + PASSED) или пока не кончится бюджет.

Toolchain важен: без нормальных tools модель обречена «рассказывать код в чат». Но со слабой моделью хороший toolchain не спасает. Нужны:

  • достаточное окно контекста (см. выше);
  • умение держать формат tool‑call, а не писать фейковый tool_code в markdown; - специализация: Coder‑Instruct / agentic‑coding бьёт «общий Instruct» на длинной инженерной задаче; - скорость шага: на CPU один «подумал → вызвал tool» может стоить минуты; за час агент делает мало итераций.

Чем харнессы отличаются для меня на практике (грубо):

Сильная сторона Слабое место на локали
Hermes Богатый agent UX, tools, удобный CLI, связка с LM Studio / custom OpenAI API Жрёт большой ctx на старте; на слабой модели цикл мёртв
OpenCode Заточен под код/репо На мелких локальных — стоп без tool‑call, на двух моделях просто начал работу и остановился
CodeWhale Привычный контур На CPU/слабой модели — часы с нулевым выхлопом
Cursor Эталон цикла Облачный харнесс; домашний LM Studio «сам по себе» не видит и я не пробовал его натравить на локальные модели

Дальше — не «ещё один харнесс», а честный прогон одной задачи.

Модели от MiMo (cloud) vs локальные модели

Как и писал ранее, модели на OpenRouter - это был для меня компромисс. Зачем же нужны свои GPU и локальные модели, если не ради экономии денег!? Я решил, что всё же допустимо использовать модели по подписке, если они будут бесплатными! :) Но они не справлялись. Поэтому решил брать платные, но самые дешевые.

На моделях серии MiMo через OpenRouter задача сдвигалась. Модель реально тянет агентский стиль. На локальных CPU «подождать подольше» не сработало: ждать нужно не час, а на столько дольше, что я просто не выдержу. В противовес этому на GPU ноутбука (RTX 4070 Laptop 8 GiB, WSL) — упёрлись в другой потолок: влезают только мелкие 3B–7B, они для чата ок, для agent loop — нет.

Одна и та же Phase‑1 задача, Hermes → LocalAI → laptop CUDA, пробовал переключать GPU между разными моделями, и давал времени до ≤60 мин чтобы попытаться решить задачу. В итоге:

Модель (laptop) Исход
Ministral‑3‑3B timeout ~60 мин, решение не прошло тесты
Gemma‑3‑4B fail за секунды
Qwen3.5‑4B Agentic timeout ~60 мин, артефакты кривые под gforth
Qwen2.5‑Coder‑7B fail ~20 мин: compression timeout, файлов нет

Переключение между Hermes и OpenCode никак не повлияло на результат: на локальных моделях, они оба вели себя одинаково безнадёжно.

Отдельно хочу сказать про LocalAI

LocalAI — удобный опенсорсный OpenAI‑compatible слой над GGUF (и не только). У нас v4.12.1, Distributed Mode: frontend на ibm, workers на ibm + xeon + laptop, координация через Postgres + NATS.

Что реально зашло в быту:

  • веб‑UI: списки моделей, веб-чат с моделью, настройки;
  • видно, как модель приземляется на ноду и куда ушёл запрос (X-LocalAI-Node);
  • единый ендпоинт /v1 для Cursor override / Hermes / CodeWhale / OpenCode;
  • выбор размещения моделей - placement (POST /api/nodes/scheduling): например мелкие CUDA‑модели → node.name=laptop потому что на нем есть GPU, все openrouter-* → node.name=ibm (на нем прописан ключ OR, на ноутбук он будет не найден);
  • ноут включен в swarm, но только пока жив WSL (Linger=no) — настроил так, чтобы ноутбук не находился в кластере 24/7.

Нода Железо Роль GPU
ibm 2× E5‑2697 v2, 64 GiB frontend + worker, склад /ibm_bulk/models нет (CPU; AVX2 нет)
xeon 2× E5440, ~64 GiB worker, /xeonstore/models нет
laptop Windows + WSL, RTX 4070 8 GiB worker по WireGuard да, единственный реальный CUDA

Пример pin на ноут:

POST /api/nodes/scheduling
Content-Type: application/json

{
  "model_name": "mistralai_Ministral-3-3B-Instruct-2512-Q4_K_M",
  "node_selector": "{\"node.name\":\"laptop\"}",
  "min_replicas": 0,
  "max_replicas": 0
}

На 8 GiB VRAM «хочу 64k ctx» легко ловит OOM — для мелких моделей контекст в YAML приходится резать.

Итог

  1. LocalAI Distributed - удобный инструмент. Нормально склеивает ibm + xeon + laptop‑WSL, локальные модели и модели от других поставщиков в один API.
  2. Скачать 100+ GGUF легко; это не заменяет GPU и не делает модель «агентной».
  3. Без GPU (и без AVX2 на этом железе) OpenCode / Hermes / CodeWhale дают околонуль по полезной разработке — не потому что «нет tools».
  4. Ноутбучные 8 GiB GPU хватает на мелкие модели; для устойчивого agent loop — этого недостаточно.
  5. «Подождать на CPU» на инженерной задаче — иллюзия: вы не дождётесь.
  6. Следующий рычаг — не ещё 50 GGUF, а нормальный десктопный/серверный GPU (или честный cloud‑агент вроде MiMo/Cursor), а локально — embeddings / rerank / черновики.
  7. Еще один следующий шаг - аренда сервера с GPU типа vast.ai ведь теперь, благодаря LocalAI у меня уже есть понимание как взять в аренду GPU и подключить к своему инструментарию.

Если у вас на CPU с AVX2 агенты живут — напишите железо и модель. У нас на E5 v2 / E5440 + полтерабайта Q4 ответ пока один: диск ≠ интеллект, RAM ≠ GPU.

來源:DEV Community · dev.to