Аренда GPU-сервера — самый быстрый способ запустить AI-проект. Рассказываем, какой GPU подходит для какой задачи — от инференса небольших LLM и моделей 70B до обучения LoRA, Stable Diffusion и 3D-рендеринга, — и как оценить почасовую стоимость на конкретных примерах.
Почти любой AI-проект начинается с одного и того же вопроса: какой GPU мне нужен? Покупка GPU-сервера — это крупные вложения и долгий процесс закупки. А в первые недели проекта зачастую еще непонятно, что именно вам понадобится.
Аренда GPU-сервера снимает эту неопределенность. Вы платите почасово за нужную карту и выключаете сервер, когда работа закончена. Но если ошибиться с выбором, вы либо переплатите за излишне дорогой GPU, либо потеряете часы на карте, которой не хватает памяти.
В этом руководстве мы разберем типичные нагрузки, предложим подходящие GPU для каждой и покажем, как оценить стоимость.
На что смотреть в первую очередь при выборе GPU
Большинство сначала смотрит на вычислительную мощность. Однако в AI-нагрузках первым фильтром почти всегда служит VRAM — память на самой карте. Если модель и данные не помещаются в память, вычислительная мощность уже не имеет значения.
Рекомендуем ответить на четыре вопроса по порядку:
- Помещается ли модель в память? Потребность в VRAM определяют размер модели, точность (FP16, 8-бит, 4-бит) и то, обучаете вы модель или запускаете инференс.
- Сколько будет длиться задача? Для нескольких часов экспериментов и для недель обучения нужны разные карты.
- Скорость или почасовая цена? Более быстрая карта может стоить дороже в час, но справиться быстрее и обойтись дешевле в итоге.
- Какой программный стек? Версии PyTorch и CUDA, ComfyUI или собственный образ контейнера — все это влияет на время настройки.
Приблизительная оценка VRAM
Точные цифры зависят от модели, длины контекста и ПО, но для первой оценки достаточно таких эмпирических правил:
- Инференс в FP16: около 2 байт на параметр плюс KV-кэш, который растет с длиной контекста и числом одновременных пользователей. Для модели 8B одни только веса занимают около 16 GB.
- Инференс с 4-битной квантизацией: примерно 0,5–0,6 байта на параметр. Так модель 70B уменьшается примерно до 40 GB — опять же плюс KV-кэш.
- Полное дообучение: при 16-битном обучении с состояниями оптимизатора Adam — примерно 16 байт на параметр и больше. Поэтому даже полное обучение модели 7B с трудом помещается на одну карту 80 GB.
- LoRA и QLoRA: обучаются только небольшие слои-адаптеры, что резко снижает потребность в памяти. QLoRA идет дальше и хранит базовую модель в 4-битном формате.
Считайте эти цифры отправной точкой. Длинное контекстное окно, большой размер батча и высокая параллельная нагрузка заметно увеличивают потребность в памяти, поэтому всегда оставляйте запас.
Рекомендации по GPU для разных нагрузок
В таблице ниже собраны часто встречающиеся нагрузки и подходящие для них GPU. Указаны начальные почасовые цены CloudRUX GPU за один GPU без НДС.
| Нагрузка | Рекомендуемый GPU | Цена от (в час, без НДС) | Примечание |
|---|---|---|---|
| Инференс небольших LLM (7B-8B) | L4 24 GB, RTX 4090 24 GB | $0.74 / $1.11 | Веса FP16 помещаются в 24 GB; оставьте место для KV-кэша |
| Инференс моделей 70B | A100 80 GB, H100 80 GB (4-бит); H200 141 GB, B200 180 GB (более высокая точность) | $2.24 / $4.99 / $6.61 / $9.99 | Веса FP16 занимают около 140 GB; нужна квантизация или несколько GPU |
| Дообучение LoRA / QLoRA | RTX 4090 24 GB, A40 48 GB, L40S 48 GB, A100 80 GB | $1.11 / $0.74 / $1.36 / $2.24 | С ростом размера модели переходите на карты 48 GB и 80 GB |
| Полное дообучение | A100 80 GB, H100 80 GB, H200 141 GB, B200 180 GB | $2.24 / $4.99 / $6.61 / $9.99 | Кроме небольших моделей, обычно требуется несколько GPU |
| Stable Diffusion / ComfyUI | RTX 4090 24 GB, L40S 48 GB | $1.11 / $1.36 | 48 GB дают запас для больших моделей и высоких разрешений |
| Генерация видео | L40S 48 GB, RTX PRO 6000 96 GB, H100 80 GB | $1.36 / $3.11 / $4.99 | Видеомодели очень требовательны к памяти |
| 3D-рендеринг | RTX 4090 24 GB, L40S 48 GB, RTX PRO 6000 96 GB | $1.11 / $1.36 / $3.11 | Потребность в VRAM определяется размером сцены |
| Исследования и эксперименты | L4 24 GB, A40 48 GB, RTX 4090 24 GB | $0.74 / $0.74 / $1.11 | Быстрые итерации при низкой почасовой стоимости |
Эти рекомендации — общий ориентир. Точная цена и доступность мощностей подтверждаются в коммерческом предложении, а на ежемесячное резервирование действует скидка. Все варианты GPU представлены на нашей странице GPU-облака.
Коротко о картах
L4 24 GB и A40 48 GB: самые экономичные варианты — от $0.74 в час. L4 эффективна для инференса небольших моделей и легких нагрузок. A40 предлагает 48 GB по той же начальной цене, что делает ее очень выгодной для моделей среднего размера и экспериментов с QLoRA.
RTX 4090 24 GB: потребительская карта, но мощная для экспериментов, запуска небольших и средних моделей и генерации изображений. С крупными моделями ее 24 GB памяти быстро становятся ограничением.
L40S 48 GB: карта для дата-центров, сильная в инференсе и генерации изображений. Обеспечивает хороший баланс цены и производительности для Stable Diffusion, ComfyUI и LLM-сервисов среднего размера.
RTX PRO 6000 96 GB: 96 GB позволяют запускать крупные модели, генерацию видео и тяжелые сцены рендеринга на одной карте.
A100 80 GB: на протяжении многих лет одна из стандартных карт для обучения AI. Зрелая программная поддержка и 80 GB памяти делают ее надежным выбором для LoRA, полного обучения и инференса крупных моделей.
H100 80 GB: значительно быстрее A100 при обучении трансформеров, а поддержка FP8 еще больше увеличивает разрыв. На длительных обучениях может снизить стоимость каждой задачи.
H200 141 GB и B200 180 GB: 141 GB памяти HBM3e у H200 упрощают запуск крупных моделей с меньшим разделением. B200 — новейшее поколение, созданное для самых тяжелых задач обучения и инференса.
Как оценить время и стоимость
Стоимость аренды GPU считается простым умножением: часы использования x количество GPU x почасовая цена. Сложнее всего оценить количество часов. Предлагаем такой метод:
- Проведите короткий тестовый прогон на небольшой части датасета.
- Зафиксируйте, сколько примеров или токенов обрабатывается в секунду.
- Приблизительно рассчитайте общее время исходя из объема данных и количества эпох.
- Добавьте запас около 20–30 процентов на настройку, отладку и оценку качества.
Пример расчета
Допустим, вы хотите дообучить модель 8B методом LoRA на датасете из документов вашей компании. После короткого теста вы оцениваете, что всей задаче, включая оценку качества и повторные запуски, потребуется около 40 часов на A100 80 GB.
| Параметр | Значение |
|---|---|
| GPU | A100 80 GB |
| Почасовая цена от | $2.24 (без НДС) |
| Расчетное использование | 40 часов |
| Расчет | 40 x 2.24 = $89.60 |
| Итого | $89.60 + НДС |
Если выполнить ту же задачу методом QLoRA на модели 7B или 8B, может хватить более дешевой карты, например RTX 4090 или A40. Даже если работа займет чуть больше времени, итоговая стоимость может снизиться. Тест на несколько часов со сравнением двух карт — зачастую лучшее вложение.
Оплата проста: цены указаны в USD, счета выставляются в Турции в виде электронных счетов-фактур, а сумма в USD пересчитывается в TRY по курсу на дату счета.
Настройка и рабочая среда
Доступ к GPU-серверам CloudRUX осуществляется по SSH и через Jupyter. Готовые шаблоны PyTorch и CUDA позволяют начать работу сразу, не тратя часы на драйверы и библиотеки. Вы также можете использовать собственный образ контейнера и работать с тем же программным стеком, что и в локальной среде.
Важная деталь: временный диск удаляется при остановке сервера. Чтобы сохранить веса модели, чекпоинты и результаты, используйте постоянный том или делайте резервную копию данных в объектное хранилище S3. Эта привычка защищает от потери данных и позволяет спокойно выключать сервер.
Местоположение данных и KVKK
GPU-серверы CloudRUX работают в дата-центрах нашего партнера за рубежом. Для нагрузок с персональными данными это может считаться трансграничной передачей по KVKK — турецкому закону о защите персональных данных.
Мы рекомендуем запускать на GPU нагрузки без персональных данных или с анонимизированными данными. Обучение моделей на неперсональных данных, генерация изображений, рендеринг и исследования на открытых датасетах, как правило, не попадают в эту категорию. Если вам нужно обрабатывать персональные данные, команда CloudRUX поможет с оформлением стандартных договорных процедур.
Советы по контролю расходов
- Начинайте с малого: проверьте код и конвейер данных на недорогой карте, а длительное обучение перенесите на более мощную.
- Выключайте простаивающие серверы: при почасовой оплате каждый час простоя отражается в счете.
- Сохраняйте чекпоинты: регулярные чекпоинты избавят от затрат на перезапуск с нуля после сбоя или ошибки.
- Рассмотрите резервирование при постоянной нагрузке: если вы будете обслуживать модель месяцами, на ежемесячное резервирование действует скидка.
- Выбирайте правильную точность: 8- или 4-битная квантизация для инференса может позволить перейти на меньшую и более дешевую карту, если потеря качества допустима.
Часто задаваемые вопросы
Что лучше — арендовать или купить GPU?
Если нагрузка нерегулярная, проект еще на стадии экспериментов или вы хотите протестировать разные карты, аренда обычно выгоднее. Если вы уверены, что будете использовать GPU почти непрерывно весь год, сравните покупку с ежемесячным резервированием.
С какого GPU начать?
Для большинства проектов разумно начать с карты на 24 GB или 48 GB, например RTX 4090, L4 или A40. Когда памяти перестанет хватать или задачи станут длительными, переходите на карты вроде A100 или H100.
Цены фиксированные?
Указаны начальные почасовые цены за один GPU без НДС. Точная цена и доступность мощностей подтверждаются в вашем коммерческом предложении, а на ежемесячное резервирование действует скидка.
Что происходит с моими данными при остановке сервера?
Временный диск удаляется при остановке сервера. Храните нужные данные на постоянном томе или делайте их резервную копию в S3.
Аренда GPU-серверов CloudRUX
Сервис CloudRUX GPU сейчас работает в режиме раннего доступа. Мы предлагаем широкий выбор карт от L4 до B200, готовые шаблоны PyTorch/CUDA, доступ по SSH и через Jupyter, электронные счета-фактуры в Турции и поддержку инженеров на русском и турецком языках. Карты и начальные цены представлены на нашей странице GPU-облака; вы также можете связаться с нами, чтобы подобрать GPU под вашу нагрузку и запросить коммерческое предложение.