Сколько VRAM нужно для LLM и какой GPU-сервер выбрать

Содержание:

1. Сколько VRAM нужно для популярных моделей (кратко)
2. Из чего складывается потребление видеопамяти
3. Как посчитать VRAM под свою задачу
4. Сколько VRAM нужно под разные задачи
5. Какой GPU выбрать по объему видеопамяти
6. Аренда GPU-сервера, покупка или API
7. Какой GPU-сервер выбрать: сценарии
8. Чек-лист перед арендой и типичные ошибки
9. Часто задаваемые вопросы

Если вы решаете, какой GPU-сервер выбрать для LLM, начните с видеопамяти: модель должна поместиться в нее целиком вместе с запасом на контекст. Для инференса в 4-битной квантизации ориентиры такие: — 7–8B параметров – около 8 ГБ VRAM (чат-боты, простые ассистенты);

• 32B параметров – около 24 ГБ VRAM, впритык (код, анализ документов);
• 70B параметров – около 48 ГБ VRAM (командный RAG, сложные задачи).

Дальше в статье – таблица по популярным моделям, формула расчета, разбор задач (чат, дообучение, генерация изображений) и подбор сервера под каждый сценарий. Все цифры – расчетные ориентиры: точный объем зависит от движка, длины контекста и числа одновременных запросов.

Сколько VRAM нужно для популярных моделей (кратко)

В таблице указан размер весов; для 4-бит он соответствует файлам Q4_K_M и AWQ. Все цифры – расчетные ориентиры: точный объем зависит от движка, длины контекста и числа одновременных запросов.

Размер модели	Примеры	4-бит	8-бит	FP16	Минимальный GPU (4-бит)
7–8B	Llama 3.1 8B, Mistral 7B	~5 ГБ	~9 ГБ	~16 ГБ	8 ГБ
13–14B	Qwen 2.5 14B	~9 ГБ	~15 ГБ	~29 ГБ	12–16 ГБ
32–34B	Qwen 2.5 32B, DeepSeek-R1-Distill 32B	~20 ГБ	~35 ГБ	~66 ГБ	24 ГБ (впритык)
70B	Llama 3.3 70B, DeepSeek-R1-Distill 70B	~43 ГБ	~75 ГБ	~141 ГБ	48 ГБ
120B+	gpt-oss-120b, Mixtral 8x22B	65–80 ГБ	120–145 ГБ	235–280 ГБ	80 ГБ

К этим цифрам добавьте 10–30% на KV-кэш и служебные буферы, на длинном контексте – больше. Сколько VRAM нужно для Llama 70B: около 43 ГБ под веса и еще несколько гигабайт под контекст, поэтому на практике берут карту на 48 ГБ.

Из чего складывается потребление видеопамяти

Веса модели, формула и квантизация

Основной объем занимают веса. Правило оценки: FP16 – около 2 ГБ на миллиард параметров, 8 бит – около 1 ГБ, 4 бита – 0,5–0,6 ГБ. Точнее считать по формуле, где уже заложен запас 15% на метаданные квантизации и служебные буферы:

VRAM_веса(ГБ) = N × ( B 8 ) × 1,15

Здесь N – число параметров в миллиардах, B – разрядность в битах (для 4-битных форматов берите 4,5 с учетом масштабирующих коэффициентов). Основные форматы:

• GGUF – формат llama.cpp и Ollama, позволяет выгрузить часть слоев в оперативную память;
• AWQ – быстрая 4-битная квантизация под GPU NVIDIA, хорошо работает в vLLM;
• GPTQ – распространенный 4-битный формат для GPU, поддерживается большинством движков.

Безопасный минимум для продакшена – Q4_K_M или 4-битный AWQ. Уровни Q2 и Q3 экономят память, но заметно ухудшают ответы на коде и длинных рассуждениях.

KV-кэш, контекст и параллельные запросы

Пока модель отвечает, она хранит ключи и значения внимания для каждого токена контекста. Этот KV-кэш растет вместе с длиной диалога и умножается на число одновременных запросов. Для Qwen 2.5 32B (64 слоя, 8 KV-голов, размерность головы 128) кэш в FP16 занимает около 0,25 МБ на токен:

Контекст	1 запрос	4 параллельных запроса
4k токенов	~1 ГБ	~4 ГБ
16k токенов	~4 ГБ	~17 ГБ
32k токенов	~8,5 ГБ	~34 ГБ

Значения рассчитаны для Qwen 2.5 32B; с KV-кэшем в FP8 они вдвое меньше. Для другой модели возьмите параметры из config.json:

KV − кэш/токен = 2 × layers × kv_heads × head_dim × 2байта(FP16)

Как посчитать VRAM под свою задачу

Пример для Qwen 2.5 32B в 4-битной квантизации (AWQ или Q4_K_M) с контекстом 8k токенов и двумя одновременными запросами:

1. Веса модели: 32,8(4,5/8)1,1521ГБ; 2. KV-кэш одного запроса на 8k токенов: 81920,25МБ2ГБ; 3. Два одновременных запроса: 22=4ГБ; 4. Служебная память движка (активации, буферы vLLM или llama.cpp): около 1,5ГБ; 5. Итоговая сумма с запасом 10%: (21+4+1,5)1,129ГБ.

Итог: карты на 24 ГБ здесь не хватит, и процесс упадет с ошибкой Out Of Memory (OOM) на первом же длинном запросе. Подойдет конфигурация на 48 ГБ. Считайте с запасом: расчет впритык ломается при первой реальной нагрузке.

Сколько VRAM нужно под разные задачи

Инференс: чат, RAG, кодовый ассистент

Потребление зависит от длины контекста и числа пользователей:

• чат-бот, контекст до 4k токенов – 8–16 ГБ, хватит модели 7–8B в 4 битах;
• RAG по документам, контекст 16–32k – 24–48 ГБ, потому что найденные фрагменты попадают в окно и раздувают KV-кэш;
• кодовый ассистент, контекст 32–64k – от 48 ГБ для модели класса 32B, ведь 64k токенов дают около 16 ГБ одного KV-кэша.

Пример: ассистент по базе знаний на модели 8B с контекстом 16k и четырьмя запросами одновременно занимает около 5+8,6+215,6ГБ (веса, кэш, служебная память), так что карта на 16 ГБ работает на пределе.

Дообучение: LoRA и QLoRA

При полном дообучении карта хранит веса, градиенты, состояния оптимизатора (AdamW – до 16 байт на параметр вместе с мастер-весами) и активации: для модели 7B это больше 100 ГБ. LoRA и QLoRA обходят это ограничение: базовая модель заморожена, обучаются только небольшие адаптеры, а в QLoRA веса еще и хранятся в 4 битах.

Модель	Метод	VRAM	Подходящая карта
7–8B	QLoRA	8–12 ГБ	16 ГБ
7–8B	LoRA (16-бит)	20–24 ГБ	24 ГБ
13–14B	QLoRA	14–20 ГБ	24 ГБ
32B	QLoRA	28–36 ГБ	48 ГБ

Ориентиры даны для последовательности 2 048 токенов, батча 1–2 и gradient checkpointing; без него потребление выше.

Генерация изображений и видео (Stable Diffusion, FLUX, ComfyUI)

• SD 1.5 и SDXL – 6–12 ГБ для базовой генерации 10241024, с ControlNet и несколькими LoRA лучше 16 ГБ;
• FLUX.1 (Dev, Schnell) – 16–24 ГБ в FP8, в FP16 от 32 ГБ вместе с текстовым энкодером T5;
• видеомодели класса CogVideoX и Wan – от 24 ГБ, при высоком разрешении и длинных клипах до 48 ГБ.

Если памяти не хватает, ComfyUI выгружает энкодер и часть весов в оперативную память, и генерация одного изображения замедляется в разы.

Какой GPU выбрать по объему видеопамяти

Какой GPU нужен для запуска LLM, зависит от двух параметров: объема VRAM и пропускной способности памяти. Генерация токенов упирается в нее, потому что на каждом шаге чип читает из VRAM все веса модели. У RTX 4090 она составляет 1 008 ГБ/с, у RTX A4000 – 448 ГБ/с, поэтому модель 8B в 4 битах выдает примерно 100–120 токенов в секунду на 4090 и 50–60 на A4000.

Класс VRAM	Карты	Какие модели помещаются	Задача
8 ГБ	Quadro RTX 4000, RTX 3070	7–8B (Q4)	тесты, простые чат-боты
16 ГБ	RTX A4000, RTX 4080	8B (8-бит), 14B (Q4)	RAG с коротким контекстом, SDXL
24 ГБ	RTX A5000, RTX 4090	14B (8-бит), 32B (Q4, короткий контекст)	код, FLUX.1, QLoRA до 14B
48 ГБ	RTX A6000, 2× RTX 4090	70B (Q4), 32B (8-бит)	70B для команды, QLoRA 32B
80+ ГБ	A100, H100, 4× RTX 4090	70B (8-бит), 120B-класс, MoE	нагруженные сервисы, обучение

Вторая карта нужна, если модель не помещается в одну или требуется параллелизм (tensor parallelism в vLLM). Две карты по 24 ГБ не равны одной на 48 ГБ: обмен идет по PCIe, поэтому скорость растет меньше, чем вдвое, а слоты x4 вместо x16 тормозят его еще сильнее.

Подобрать сервер под нужный объем видеопамяти можно в каталоге GPU-серверов Cloud4box: от Quadro RTX 4000 на 8 ГБ до RTX A6000 на 48 ГБ.

Аренда GPU-сервера, покупка или API

Когда достаточно API

API выгоднее, пока запросов немного и данные не чувствительны: вы платите только за токены и не администрируете сервер. По оценкам профильных обзоров, собственный хостинг начинает окупаться при десятках миллионов токенов в месяц. Если в запросах содержатся персональные данные клиентов, действуют требования 152-ФЗ, и внешние зарубежные API часто не подходят.

Аренда или покупка карты

Аренда GPU-сервера для нейросетей выгоднее покупки, пока карта загружена не круглосуточно. Для оценки разделите цену станции на месячную аренду аналогичной конфигурации: при цене 600 000 ₽ и аренде 40 000 ₽ в месяц окупаемость составит 15 месяцев, и это без учета затрат на электричество (до 1,2 кВт под постоянной нагрузкой), охлаждение, обслуживание и риск аппаратного устаревания карт.

Почасовая, посуточная или месячная аренда

Точка перехода (часов в месяц)=Стоимость месяцаСтоимость часа

При ставке 90 ₽/час и месячной цене 38 000 ₽ аренда на месяц становится выгоднее при наработке от 422 часов работы, то есть примерно от 14 часов в сутки.

Режим работы	Нагрузка	Выгодный формат
Пробы и отладка	до 20 часов в неделю	почасовая
Проект на несколько дней	3–7 суток подряд	посуточная
Постоянная работа	от 400 часов в месяц	месячная

Пример посуточной аренды: дообучение QLoRA модели 32B занимает около 5 суток. При ориентировочной ставке для RTX A6000 в 2 615 ₽/сутки это составит около 13 075 ₽ (актуальный тариф рассчитывается в конфигураторе Cloud4box).

Какой GPU-сервер выбрать: сценарии

Чтобы выбрать сервер для запуска языковой модели, сопоставьте сценарий с объемом памяти. В линейке Cloud4box представлены выделенные серверы с картами Quadro RTX 4000, RTX A4000, RTX A5000 и RTX A6000; A100 и H100 там нет, поэтому для обучения больших моделей с нуля такой GPU-сервер для локальной LLM не подойдет. Для инференса, генерации изображений и QLoRA карт RTX-класса обычно полностью достаточно.

• Попробовать локальную LLM 7–13B – нужно 8–16 ГБ, подойдет RTX A4000: модель 8B в 4 битах выдает около 50–60 токенов в секунду;
• 70B для команды – нужно 48 ГБ, подойдет RTX A6000: на один диалог ориентируйтесь на 10–15 токенов в секунду, при нескольких параллельных запросах суммарная генерация выше;
• ComfyUI и FLUX.1 – нужно 24 ГБ, подойдет RTX A5000; для видеомоделей лучше 48 ГБ;
• Дообучение QLoRA – от 16 ГБ для 7B до 48 ГБ для 32B.

Сценарий	VRAM	Конфигурация	Ориентировочная стоимость
Тесты 7–8B	8 ГБ	Quadro RTX 4000 8 ГБ	от 680 ₽/сутки
LLM 7–14B, SDXL	16 ГБ	RTX A4000 16 ГБ	по запросу / в конфигураторе
FLUX.1, QLoRA до 14B	24 ГБ	RTX A5000 24 ГБ	по запросу / в конфигураторе
70B, QLoRA 32B, видео	48 ГБ	RTX A6000 48 ГБ	от 2 615 ₽/сутки

Выберите конфигурацию на странице GPU-серверов Cloud4box: активация заявлена в течение часа, драйверы NVIDIA и CUDA уже предустановлены.

Чек-лист перед арендой и типичные ошибки

Перед оплатой проверьте пять пунктов:

1. Наличие нужной карты в момент заказа, ведь популярные конфигурации разбирают быстро.
2. Предустановленные драйверы NVIDIA и CUDA, чтобы не собирать окружение вручную.
3. Канал и трафик: веса 70B в 4 битах занимают около 43 ГБ, на 1 Гбит/с они скачиваются минут за 6–10, на 100 Мбит/с – около часа.
4. Что происходит с данными после остановки или удаления сервера и где хранить чекпоинты.
5. Тестовый замер: запустите свою модель, замерьте скорость в токенах в секунду, а в nvidia-smi проверьте рабочие частоты и температуру.

Типичные ошибки при выборе VRAM:

• Расчет по размеру файла модели без KV-кэша: процесс падает на первом длинном запросе.
• Запуск 70B на одной карте 24 ГБ: слои уходят в оперативную память, скорость падает до 1–3 токенов в секунду.
• Квантизация Q2 или Q3 ради экономии памяти: качество ответов заметно снижается.
• Сторонние процессы на том же GPU: генерация «подвисает» из-за внезапной нехватки видеопамяти.

Часто задаваемые вопросы

Хватит ли 24 ГБ для запуска модели 70B?

Нет. Веса 70B в 4 битах занимают около 43 ГБ, и на 24 ГБ помещается лишь часть слоев, остальные уходят в оперативную память. Нужны 48 ГБ: одна RTX A6000 или две карты по 24 ГБ.

Можно ли запустить LLM без GPU?

Можно: llama.cpp работает на процессоре с моделями в формате GGUF. Модели 7–14B дают примерно 2–15 токенов в секунду в зависимости от числа ядер CPU, поэтому для фоновых офлайн-задач это подходит, а для быстрого чата и продакшена – нет.

Сколько VRAM нужно для Stable Diffusion и FLUX?

Для SDXL достаточно 8–12 ГБ, для FLUX.1 в FP8 нужно 16–24 ГБ, для FP16 – от 32 ГБ. Если памяти не хватает, ComfyUI выгружает часть модели в оперативную память, и генерация замедляется в разы.

Что лучше: одна карта на 48 ГБ или две по 24 ГБ?

Для инференса две карты по 24 ГБ часто дешевле, но скорость растет меньше чем вдвое из-за накладных расходов обмена по шине PCIe. Одна карта на 48 ГБ проще в настройке и значительно лучше подходит для дообучения, где модель не нужно распределять между адаптерами.