Локальные нейросети: заметки
Как запускать языковые модели на собственном оборудовании и зачем это нужно.
Зачем запускать модель локально
- Приватность. Код и документы не покидают ваш компьютер.
- Контроль. Вы сами выбираете модель, версию и параметры генерации.
- Стоимость. Нет платы за токены, есть только электричество и амортизация железа.
- Автономность. Работает без интернета и не зависит от изменений чужого API.
Что понадобится
Память решает всё. Размер модели в квантованном виде должен помещаться в
видеопамять (или в оперативную, если смириться с меньшей скоростью).
Для моделей на 7-14 млрд параметров обычно хватает 8-16 ГБ.
Популярные инструменты
- llama.cpp: быстрый движок на C++ с форматом GGUF и OpenAI-совместимым сервером.
- Ollama: простой запуск моделей одной командой.
- LM Studio: графический интерфейс для подбора и запуска моделей.
Квантизация
Квантизация уменьшает точность весов (например, до 4 бит), сокращая размер модели в несколько раз при умеренной потере качества. Для повседневных задач 4-6 бит часто оптимальны.
Типичные применения
- Помощник по коду в редакторе.
- Поиск и суммаризация по личным документам.
- Черновики текстов и перевод без отправки данных в облако.