H100, A100 и RTX 4090 — три GPU, которые чаще всего сравнивают в ИИ-проектах. Разбираем различия в архитектуре, памяти, FP8 и NVLink, объясняем, почему карта с более высокой почасовой ценой может обойтись дешевле в расчёте на задачу, и подсказываем, что выбрать в каждом сценарии.
Один из самых частых вопросов от тех, кто собирается арендовать GPU: H100, A100 или RTX 4090? Все три карты широко применяются для ИИ-нагрузок, но относятся к разным поколениям и разным сегментам рынка, а их почасовые цены заметно различаются.
В этой статье мы разберём технические различия между тремя картами, объясним, почему стоимость не стоит оценивать только по почасовой цене, и покажем, какая карта разумнее в каком сценарии. В последнем разделе рассмотрим также альтернативы — L40S и H200.
Три карты — три разных мира
NVIDIA A100 — карта для дата-центров на архитектуре Ampere, которая много лет была стандартом для обучения ИИ. Её программная экосистема очень зрелая: практически каждая библиотека и каждый скрипт обучения протестированы на A100.
NVIDIA H100 — преемница A100 на архитектуре Hopper. Благодаря Transformer Engine, созданному специально для трансформерных моделей, и поддержке FP8 она обеспечивает заметный скачок в обучении и инференсе больших языковых моделей.
NVIDIA RTX 4090 — потребительская карта на архитектуре Ada Lovelace. Хотя она разрабатывалась для игр и создания контента, высокая вычислительная мощность и относительно низкая цена делают её популярным выбором для экспериментов, инференса малых и средних моделей и генерации изображений.
Техническое сравнение
| Характеристика | H100 80 GB | A100 80 GB | RTX 4090 24 GB |
|---|---|---|---|
| Архитектура | Hopper | Ampere | Ada Lovelace |
| Память | 80 GB HBM3 (версия SXM) | 80 GB HBM2e | 24 GB GDDR6X |
| Пропускная способность памяти | Очень высокая (HBM3) | Высокая (HBM2e) | Средняя (GDDR6X) |
| Поддержка FP8 | Да (Transformer Engine) | Нет | Да (тензорные ядра Ada) |
| BF16 / FP16 | Да | Да | Да |
| NVLink | Да | Да | Нет |
| MIG (разделение GPU) | Да | Да | Нет |
| Класс | Для дата-центров | Для дата-центров | Потребительская |
| Цена в CloudRUX от (в час, без НДС) | $4.99 | $2.24 | $1.11 |
Некоторые из этих строк на практике имеют большое значение. Разберём их по порядку.
Память: разрыв между 80 GB и 24 GB
В ИИ-нагрузках VRAM — это первый фильтр. Для инференса в FP16 требуется около 2 байт на параметр. Значит, веса модели 8B занимают около 16 GB и помещаются в 24 GB RTX 4090 с небольшим запасом под KV-кэш. Модели от 13B и выше работают на 4090 только с квантизацией.
80 GB у A100 и H100 открывают гораздо больше возможностей: запуск моделей среднего размера в полной точности, длинные контекстные окна, обучение LoRA с большими батчами и обслуживание моделей 70B на одной карте с 4-битной квантизацией.
Важна и пропускная способность. Особенно при инференсе языковых моделей скорость генерации токенов сильно зависит от пропускной способности памяти. Память HBM3 у H100 здесь — самый сильный вариант, а HBM2e у A100 также обеспечивает значительно более высокую пропускную способность, чем GDDR6X у 4090.
FP8 и Transformer Engine
Одна из важнейших особенностей, отличающих H100 от A100, — поддержка FP8. FP8 представляет числа 8 битами, что сокращает и потребление памяти, и время вычислений. Transformer Engine в H100 управляет тем, какие слои можно безопасно выполнять в FP8 во время обучения, стараясь ограничить потерю точности.
A100 не поддерживает FP8: её минимальная широко используемая точность для обучения — BF16 и FP16. Тензорные ядра Ada в RTX 4090 поддерживают FP8 аппаратно, но с 24 GB памяти и потребительским позиционированием эта карта не в одной лиге с H100, когда речь идёт о крупномасштабном обучении.
Коротко: при обучении трансформерных моделей H100 значительно быстрее A100, а с программным обеспечением, способным использовать FP8, разрыв становится ещё больше. Точная разница в скорости зависит от модели, библиотеки и настроек, поэтому мы рекомендуем провести короткий замер на собственной нагрузке.
NVLink и работа с несколькими GPU
Модели, которые не помещаются на одну карту, запускаются на нескольких GPU. В этом случае обмен данными между GPU напрямую влияет на производительность. A100 и H100 поддерживают NVLink — высокоскоростное соединение между GPU. У RTX 4090 нет NVLink: карты обмениваются данными через PCIe.
Поэтому для полного обучения на нескольких GPU или обслуживания крупных моделей, распределённых по нескольким картам, A100 и H100 подходят явно лучше. RTX 4090 раскрывается в задачах, которые можно выполнить на одной карте.
Стоимость задачи, а не часа
Самая частая ошибка при выборе GPU — смотреть только на почасовую цену. На самом деле важна общая стоимость выполнения задачи: стоимость задачи = время x почасовая цена.
Почасовая стартовая цена H100 ($4.99) примерно в 2.2 раза выше, чем у A100 ($2.24). Значит, если H100 выполняет вашу задачу более чем в 2.2 раза быстрее A100, в итоге H100 дешевле; если нет — выгоднее A100. Таблица ниже иллюстрирует эту логику на гипотетических соотношениях скорости. Это не результаты реальных бенчмарков, а лишь примеры, показывающие, как работает расчёт.
| Сценарий | Время и стоимость на A100 | Время и стоимость на H100 | Результат |
|---|---|---|---|
| H100 быстрее в 1.5x (допущение) | 30 часов x 2.24 = $67.20 | 20 часов x 4.99 = $99.80 | A100 экономичнее |
| H100 быстрее в 2x (допущение) | 30 часов x 2.24 = $67.20 | 15 часов x 4.99 = $74.85 | A100 немного дешевле, H100 справляется быстрее |
| H100 быстрее в 3x (допущение) | 30 часов x 2.24 = $67.20 | 10 часов x 4.99 = $49.90 | H100 и быстрее, и дешевле |
Цены указаны без НДС. Стоит учитывать и ценность времени: если обучение завершается за один день вместо двух, команда успевает провести больше экспериментов и быстрее выпустить продукт. Поэтому для длительного обучения трансформеров, способного использовать FP8, H100 часто оказывается сильным кандидатом.
Та же логика применима и к RTX 4090. Если модель помещается в 24 GB и задачу можно выполнить на одной карте, стартовая цена $1.11 может обеспечить минимальную стоимость задачи. Если не помещается, компромиссы вроде квантизации или уменьшения батча удлиняют обучение, и преимущество может исчезнуть.
Что выбрать для какого сценария?
Выбирайте RTX 4090, если
- вы проверяете идею, разрабатываете код или проводите короткие эксперименты,
- вы обслуживаете небольшие модели, такие как 7B-8B, или проводите QLoRA-обучение моделей до 13B,
- вы запускаете визуальные нагрузки, помещающиеся на одну карту, — Stable Diffusion, ComfyUI или 3D-рендеринг.
Выбирайте A100, если
- вам нужно 80 GB памяти, но вы не используете FP8,
- вам нужна зрелая, широко протестированная программная среда,
- вы проводите чувствительное к бюджету LoRA-обучение без жёстких сроков или инференс 70B в 4-битном формате.
Выбирайте H100, если
- вы запускаете длительное обучение трансформеров,
- ваше программное обеспечение может использовать FP8,
- для вас важны быстрые результаты и короткие циклы экспериментов.
Сравнить все карты и стартовые цены можно на нашей странице GPU-облака.
Альтернативы: L40S и H200
L40S 48 GB (от $1.36): карта для дата-центров на архитектуре Ada с поддержкой FP8. Хорошо справляется с инференсом и генерацией изображений. Когда 24 GB у 4090 недостаточно, а A100 или H100 избыточны — например, для LLM-сервисов среднего размера и генерации изображений в высоком разрешении, — это удачный компромисс.
H200 141 GB (от $6.61): версия архитектуры Hopper с более ёмкой и быстрой памятью. 141 GB HBM3e позволяют запускать крупные модели на меньшем числе GPU. Карта выделяется там, где памяти H100 не хватает, — например, при обслуживании моделей класса 70B в более высокой точности или LoRA-обучении крупных моделей.
Для более тяжёлых задач можно также рассмотреть B200 180 GB новейшего поколения (от $9.99), RTX PRO 6000 с 96 GB (от $3.11) и экономичную A40 на 48 GB (от $0.74).
Практические замечания
Какую бы карту вы ни выбрали, к GPU-серверам CloudRUX можно подключаться по SSH и через Jupyter, сразу начинать работу с готовыми шаблонами PyTorch/CUDA или использовать собственный образ контейнера. Запуск одного и того же образа на разных картах делает сравнительные замеры честными и быстрыми.
Временный диск удаляется при остановке сервера; храните веса моделей и результаты на постоянном томе или делайте их резервные копии в объектное хранилище S3. Поскольку серверы работают в дата-центрах нашего партнёра за рубежом, нагрузки с персональными данными могут считаться трансграничной передачей по KVKK; мы рекомендуем работать с неперсональными или анонимизированными данными и при необходимости помогаем с процедурами стандартного договора.
Часто задаваемые вопросы
Можно ли обучить большую языковую модель на RTX 4090?
Дообучение небольших моделей с QLoRA возможно. Но с 24 GB памяти и без NVLink карта не подходит для полного обучения крупных моделей или обучения на нескольких GPU.
A100 устарела или всё ещё имеет смысл?
A100 относится к предыдущему поколению, но благодаря 80 GB памяти и зрелой программной поддержке по-прежнему оправдана для многих задач. Её ценовое преимущество особенно заметно в задачах, где не используется FP8 и сроки не критичны.
H100 всегда дороже?
В расчёте на час — да, но не всегда в расчёте на задачу. Если H100 выполняет вашу задачу достаточно быстрее A100, общая стоимость может оказаться ниже.
Цены окончательные?
Указаны стартовые почасовые цены за одну GPU без НДС. Точная цена и доступные мощности подтверждаются в коммерческом предложении, а на ежемесячное резервирование действует скидка.
Аренда H100, A100 и RTX 4090 в CloudRUX
Сервис GPU CloudRUX работает в режиме раннего доступа. Вы можете арендовать H100, A100, RTX 4090 и другие карты с почасовой оплатой, с электронными счетами-фактурами в Турции и поддержкой инженеров на русском и турецком языках. Ознакомьтесь с картами на нашей странице GPU-облака или свяжитесь с нами, чтобы вместе подобрать подходящую карту под вашу нагрузку и запросить коммерческое предложение.