Модели нейросетей для локального использования: различия, особенности, рейтинги

techart.ru

Программа непрерывного образования «Текарт» edu.techart.ru Сессия «Осень 2026»

Модели нейросетей для локального использования:

различия, особенности, рейтинги

promo.techart.ru

24.09.2026

3 место

13 место

Маркетинговый консалтинг

сотрудников
в штате

клиентов
и партнеров
в экосистеме «Текарт»

Бизнес-аналитика

пользователей платформы

Дизайн
и брендинг

выполненных проектов

Веб-разработка

Отраслевой трек

полносервисные диджитал-агентства (Рейтинга Рунета)

комплексные рекламные агентства (Рейтинга Рунета)

лет на рынке бизнес-аналитики, маркетинга
и digital

Продвижение и реклама

2 место

года работы

Фото и видео

консалтинг
в области маркетинга и PR» (RAEX)

спикеров

Копирайтинг

25 000

Маркетинг (комплексное продвижение, SMM, SEO и т.д.), реклама

ТОП-100

в рейтинге работодателей Headhunter*

Мartech, аналитика (технологии, данные, автоматизация, цифровые сервисы)

550

участников
из 2000 компаний

Дизайн, веб-разработка, контент, фото, видео

40 000

10 000+

Маркетинговый анализ и стратегия

160

Организационное развитие

* среди компаний до 250 сотрудников

Отраслевой трек

Основные треки программы:

Маркетинговая стратегия, аналитика, прогнозирование, дизайн, веб-разработка, продвижение и реклама

Ключевые компетенции «Текарт»

Программа непрерывного образования  для руководителей по маркетингу

Программа осенней сессии 2026

Новые ИИ-инструменты
в Битрикс24: агенты, Коворк, Вайбкод

Реклама у блогеров.
Где размещать и как запускать

Методы обоснования и принятия управленческих решений

Закупочная деятельность:
аналитика, предтендерные исследования, аудит

Digital-реклама во второй
половине 2026: возможности, стратегии, ошибки

Создание цепочек триггерных рассылок в сервисе Unisender

29 октября

12 ноября

Архитектура, проектирование
и безопасность сложных
веб-представительств

26 ноября

Юридические аспекты
современного сайта

Cостояние и прогнозы
строительной отрасли и рынков основных строительных материалов

22 октября

Модели нейросетей
для локального использования: различия, особенности, рейтинги

Основные digital-инструменты продвижения в B2B

15 октября

Комплексная безопасность
и IT-сопровождение сайтов

19 ноября

8 октября

17 сентября

24 сентября

1 октября

3 сентября

10 сентября

Продвижение и реклама

Андрей Титенко

Заместитель директора практики интегрированного маркетинга

Веб, сквозная и продуктовая аналитика

Автоматизация маркетинга

Интегрированный маркетинг

SEM, SEO

Медийная и контекстная реклама

promo.techart.ru

PR, SMM, управление репутацией

План вебинара

Локальные нейросети: зачем и когда они нужны.
Чем отличаются современные модели: размер, архитектура, контекст, специализация.
Что влияет на требования к компьютеру и скорость работы.
Основные семейства локальных моделей и их особенности.
Рейтинги и бенчмарки: как сравнивать модели.
Как выбрать модель под свои задачи.

Что такое локальная нейросеть

/ 01

Что такое локальная нейросеть

Локальная модель ≠ полностью изолированная система

Локально можно запускать модели:

Даже при локальной LLM данные могут уходить наружу через внешние API, поиск, MCP / инструменты, сторонние интеграции.

на рабочем компьютере

на edge-устройствах

на собственной рабочей станции

на сервере компании

Зачем запускать модели локально

Локальная модель не означает автоматически более дешёвую или качественную.

Контроль над данными

Независимость от сервиса

Контроль над инфраструктурой

Стоимость

Внутренние документы, CRM-данные, коммерческая информация не должны покидать внутренний контур.

Нет постоянной зависимости от провайдера, API, тарифов и лимитов.

Компания сама определяет, где работает модель,
кто имеет доступ, какие версии и как хранятся данные.

Экономика зависит от загрузки инфраструктуры.

Когда локальный запуск имеет смысл

Это другой вариант организации AI-инфраструктуры.

Работа с конфиденциальной информацией
Внутренний корпоративный помощник
Большой постоянный поток запросов
Эксперименты и разработка
Работа без интернета

Чем отличаются современные модели

/ 02

Как читать название модели

Qwen3

Instruct

A3B

В названии могут быть указаны:

настроена на выполнение пользовательских инструкций

30B

размер

количество активных параметров

специализация

Instruct, Thinking, Chat
…

Qwen3-30B-A3B-Q4_K_M

MoE, Dense

квантование

семейство

архитектура

количество параметров всего

режим reasoning

версия

Qwen3-30B-A3B-Instruct

Параметры модели

Размер модели — только один из параметров выбора.

На результат влияют:

Параметры — это внутренние коэффициенты, в которых модель хранит выученные закономерности.

Больше параметров — как правило, выше качество, но и выше требования к памяти.

данные обучения
архитектура
post-training
reasoning
специализация
качество обучения
контекст
квантование

Архитектура: Dense и Mixture of Experts

Dense

Mixture of Experts
(MoE, Сети экспертов)

Qwen3-30B-A3B — 30 млрд. всего / 3 млрд. активных

Gemma 4 26B A4B — 26 млрд. всего / 4 млрд. активных

Плотные модели активируют все параметры для каждого входного сигнала, тогда как модели MoE выборочно активируют только определённые подсети-эксперты в зависимости от входных данных, что значительно снижает объём вычислений на один вывод.

Активные параметры ≠ объём памяти, необходимый для загрузки модели. Все необходимые веса нужно хранить.

Каждый токен обрабатывается всей моделью.

Несколько экспертных подсетей, для токена активируется только часть.

30B всего

30B total

30B параметров участвуют в вычислениях

3B используются

Контекстное окно

Context window — сколько токенов модель может учитывать в одном запросе / диалоге.

Чем длиннее диалог или документ, тем больше дополнительной видеопамяти уходит на так называемый KV-кэш.

Если планируете работать с длинными текстами или большими файлами кода, закладывайте запас памяти сверх «голого» размера модели, а на пределе бюджета берите модель на ступень меньше, чтобы осталось место под контекст.

Большое окно не означает автоматически, что «модель лучше понимает длинные документы».

128K

1M+

256K

32K

Специализация моделей

Reasoning

Embedding

General

Coding

Vision / Multimodal

математика
сложный анализ
многошаговые задачи

поиск
RAG
классификация
семантическое сравнение

диалоги
тексты
анализ
инструкции

программирование
анализ
исправление кода

изображения
документы
графики
скриншоты

Что влияет на требования к компьютеру и скорость работы

/ 03

Что происходит во время инференса

Это процесс, в котором обученная модель обрабатывает новые данные и выдает результат. Например, отвечает на вопрос, распознает изображение

Откуда берётся потребление памяти

В очень упрощённом виде:

Чем больше контекст и чем больше одновременно обрабатываемых запросов, тем больше памяти потребуется.

Современные инструменты позволяют отдельно оценивать память с учётом размера контекста и GPU offload.

Размер файла модели ≠ полное потребление памяти.

Особенно важен KV cache

Память

KV cache

накладные расходы

рабочая
память

веса модели

CPU, GPU и память

GPU

VRAM

CPU

Для большинства крупных моделей GPU позволяет значительно ускорить инференс.

RAM

Особенно важна при запуске на видеокарте. Недостаток VRAM →
часть модели приходится держать в RAM.

Можно запускать модели без дискретной видеокарты. Но обычно это означает меньшую скорость генерации.

Позволяет запускать более крупные модели, особенно при CPU-инференсе или частичном GPU offload.

Почему квантование так важно

Исходная модель может хранить веса, например, в:

но одновременно — потенциальная потеря качества

используются форматы Q4, Q5, Q6, Q8 и другие.

меньше бит → меньше памяти

В экосистеме llama.cpp

Размер файла модели ≠ полное потребление памяти.

FP16 / BF16 → 16 бит

4 bit

8 bit

2 bit

3 bit

Один модельный ряд — разный объём

используются форматы Q4, Q5, Q6, Q8 и другие.

Это только оценка веса модели.

Память ≈ количество параметров × битность / 8

Практический пример: Gemma 4

Google приводит ориентировочные требования к памяти (с учётом ~20% накладных):

Примеры конфигураций

Основные семейства локальных моделей

/ 04

Карта основных семейств

Типы лицензий

Рейтинги и бенчмарки: как сравнивать модели

/ 05

Что такое benchmark

Бенчмарк — стандартизированный набор задач, по которому сравнивают модели.

Код

Общие знания и reasoning

Мультимодальность

HumanEval
LiveCodeBench
SWE-bench

MMLU / MMLU-Pro
GPQA
AIME

MMMU
document / vision benchmarks

Проблема: один benchmark проверяет только определённый аспект работы нейросети.

Три типа рейтингов

LM Arena

Академические бенчмарки

Специализированные лидерборды

Модель решает заранее подготовленный набор задач.

Минус: результат зависит от конкретного теста.

coding · reasoning · long context · multimodal · multilingual

Пользователи сравнивают ответы двух моделей.

Плюс: воспроизводимость

Hugging Face разделяет официальные оценки,
community leaderboards и другие.

Arena формирует рейтинг на основе большого числа сравнений.

Бенчмарк GPQA

Бенчмарки по конкретным задачам

Диалог, общение, инструкции

Сложные рассуждения

Русский язык

Знания и общая эрудиция

Программирование

Длинные документы

Следование инструкции

Chatbot Arena / human preference

GPQA, AIME, HMMT

MERA / ruMMLU

MMLU / MMLU-Pro / MMLU-Redux

SWE-bench Verified, LiveCodeBench

LongBench / LongBench v2

IFEval

Бенчамарки отличаются от реальных задач

Высокая позиция в рейтинге не гарантирует, что модель лучше справится с:

Benchmark отвечает: «Что умеет модель в стандартизированном тесте».

Ваш тест отвечает: «Подходит ли она нам».

российскими юридическими документами

извлечением данных из CRM

вашими текстами

классификацией лидов

внутренними регламентами

анализом ваших документов

Как выбрать модель под свои задачи

/ 06

Алгоритм выбора

Требования к данным

Размер и квантование

Определить задачу

Оборудование

Требуемое качество

Проверить на своих задачах

конфиденциальность, локальность, доступ в интернет, безопасность

например, 14B Q4 вместо 32B FP16

текст / анализ / код / документы / изображения / рассуждения

VRAM, RAM, CPU, скорость памяти, GPU

быстрый помощник
или максимальное качество рассуждения

тест на собственных данных

Модели под конкретные задачи

Алгоритм выбора

задача → качество → стоимость запуска

Выбирать локальную нейросеть нужно не по названию и не по позиции в рейтинге, а по сочетанию трёх факторов:

ЗАДАЧА

РАЗМЕР

ТРЕБУЕМОЕ КАЧЕСТВО

КОНТЕКСТ

МОДЕЛЬ ДЛЯ ПРОДАКШЕНА

СЕМЕЙСТВО МОДЕЛЕЙ

ТЕСТ НА СВОИХ ДАННЫХ

ТРЕБОВАНИЯ
К ДАННЫМ

КВАНТОВАНИЕ

Пример конфигурации для пилотного проекта

GPU: 16–24 ГБ VRAM
Оперативная память: 64 ГБ
Накопитель: NVMe
Семейство моделей: Qwen
Фреймворк для запуска LLM: Ollama / LM Studio
Веб-интерфейс для чата: Open WebUI