H100، A100 یا RTX 4090: کدام برای هوش مصنوعی؟

یکی از رایج‌ترین پرسش‌های کسانی که قصد اجاره GPU دارند این است: H100، A100 یا RTX 4090؟ هر سه به‌طور گسترده برای بارهای کاری هوش مصنوعی استفاده می‌شوند، اما از نسل‌ها و بازارهای متفاوتی می‌آیند و قیمت ساعتی آن‌ها تفاوت چشمگیری دارد.

در این مقاله تفاوت‌های فنی این سه کارت را توضیح می‌دهیم، اینکه چرا هزینه را نباید فقط با قیمت ساعتی سنجید و اینکه در هر سناریو کدام کارت منطقی‌تر است. در بخش پایانی به گزینه‌های جایگزینی مانند L40S و H200 هم می‌پردازیم.

سه کارت، سه دنیای متفاوت

NVIDIA A100 یک کارت دیتاسنتری مبتنی بر معماری Ampere است که سال‌ها استاندارد آموزش هوش مصنوعی بود. اکوسیستم نرم‌افزاری آن بسیار پخته است؛ تقریباً همه کتابخانه‌ها و اسکریپت‌های آموزشی روی A100 آزموده شده‌اند.

NVIDIA H100 جانشین A100 است و بر پایه معماری Hopper ساخته شده. به لطف Transformer Engine که برای مدل‌های ترنسفورمر طراحی شده و پشتیبانی از FP8، جهشی آشکار در آموزش و استنتاج مدل‌های زبانی بزرگ ارائه می‌دهد.

NVIDIA RTX 4090 یک کارت مصرفی مبتنی بر معماری Ada Lovelace است. با اینکه برای بازی و تولید محتوا طراحی شده، توان محاسباتی بالا و قیمت نسبتاً پایینش آن را به گزینه‌ای محبوب برای آزمایش‌ها، استنتاج مدل‌های کوچک و متوسط و تولید تصویر تبدیل کرده است.

مقایسه فنی

ویژگی	H100 80 GB	A100 80 GB	RTX 4090 24 GB
معماری	Hopper	Ampere	Ada Lovelace
حافظه	80 GB HBM3 (نسخه SXM)	80 GB HBM2e	24 GB GDDR6X
پهنای باند حافظه	بسیار بالا (HBM3)	بالا (HBM2e)	متوسط (GDDR6X)
پشتیبانی از FP8	بله (Transformer Engine)	خیر	بله (Ada Tensor Cores)
BF16 / FP16	بله	بله	بله
NVLink	بله	بله	خیر
MIG (پارتیشن‌بندی GPU)	بله	بله	خیر
رده	دیتاسنتری	دیتاسنتری	مصرفی
قیمت شروع CloudRUX (ساعتی، بدون مالیات بر ارزش افزوده)	$4.99	$2.24	$1.11

برخی از این ردیف‌ها در عمل تفاوت بزرگی ایجاد می‌کنند. بیایید یکی‌یکی آن‌ها را بررسی کنیم.

حافظه: فاصله میان 80 GB و 24 GB

در بارهای کاری هوش مصنوعی، VRAM نخستین فیلتر است. استنتاج FP16 به حدود 2 بایت به ازای هر پارامتر نیاز دارد. یعنی وزن‌های یک مدل 8B حدود 16 GB فضا می‌گیرند و با حاشیه‌ای اندک برای KV cache در 24 GB حافظه RTX 4090 جا می‌شوند. برای مدل‌های 13B و بزرگ‌تر، 4090 فقط با کوانتیزاسیون قابل استفاده است.

80 GB حافظه A100 و H100 فضای بسیار بیشتری فراهم می‌کند: اجرای مدل‌های متوسط با دقت کامل، استفاده از پنجره‌های زمینه طولانی، آموزش LoRA با اندازه بچ بزرگ‌تر و سرویس‌دهی مدل‌های 70B روی یک کارت با کوانتیزاسیون 4 بیتی همگی ممکن می‌شوند.

پهنای باند هم مهم است. به‌ویژه در استنتاج مدل‌های زبانی، سرعت تولید توکن به‌شدت به پهنای باند حافظه وابسته است. حافظه HBM3 در H100 قوی‌ترین گزینه در این زمینه است و HBM2e در A100 نیز پهنای باند بسیار بالاتری نسبت به GDDR6X در 4090 ارائه می‌دهد.

FP8 و Transformer Engine

یکی از مهم‌ترین ویژگی‌هایی که H100 را از A100 متمایز می‌کند، پشتیبانی از FP8 است. FP8 اعداد را با 8 بیت نمایش می‌دهد و هم مصرف حافظه و هم زمان محاسبه را کاهش می‌دهد. Transformer Engine در H100 مدیریت می‌کند که کدام لایه‌ها در طول آموزش می‌توانند با اطمینان در FP8 اجرا شوند و می‌کوشد افت دقت را محدود کند.

A100 از FP8 پشتیبانی نمی‌کند؛ پایین‌ترین دقت رایج آموزش در آن BF16 و FP16 است. Ada Tensor Cores در RTX 4090 به‌صورت سخت‌افزاری از FP8 پشتیبانی می‌کنند، اما با 24 GB حافظه و جایگاهی مصرفی، این کارت در آموزش در مقیاس بزرگ هم‌رده H100 نیست.

به‌طور خلاصه، H100 در آموزش مدل‌های مبتنی بر ترنسفورمر به‌طور قابل‌توجهی از A100 سریع‌تر است و با نرم‌افزارهایی که می‌توانند از FP8 استفاده کنند، این فاصله بیشتر هم می‌شود. اختلاف دقیق سرعت به مدل، کتابخانه و تنظیمات بستگی دارد، پس توصیه می‌کنیم با بار کاری خودتان یک اندازه‌گیری کوتاه انجام دهید.

NVLink و کار با چند GPU

مدل‌هایی که روی یک کارت جا نمی‌شوند، روی چند GPU اجرا می‌شوند. در این حالت ترافیک داده میان GPUها مستقیماً بر عملکرد اثر می‌گذارد. A100 و H100 از NVLink پشتیبانی می‌کنند که اتصال پرسرعت میان GPUها را فراهم می‌کند. RTX 4090 فاقد NVLink است و کارت‌ها از طریق PCIe با هم ارتباط برقرار می‌کنند.

بنابراین برای آموزش کامل چند GPU یا سرویس‌دهی مدل‌های بزرگی که میان چند کارت تقسیم می‌شوند، A100 و H100 آشکارا مناسب‌ترند. RTX 4090 در کارهایی می‌درخشد که روی یک کارت انجام‌شدنی‌اند.

هزینه به ازای هر کار، نه قیمت ساعتی

رایج‌ترین اشتباه در انتخاب GPU، توجه صرف به قیمت ساعتی است. آنچه واقعاً اهمیت دارد هزینه کل انجام یک کار است: هزینه هر کار = زمان x قیمت ساعتی.

قیمت شروع ساعتی H100 ($4.99) حدود 2.2 برابر A100 ($2.24) است. پس اگر H100 کار شما را بیش از 2.2 برابر سریع‌تر از A100 انجام دهد، H100 در مجموع ارزان‌تر است؛ در غیر این صورت A100 برتری دارد. جدول زیر این منطق را با نسبت‌های سرعت فرضی نشان می‌دهد. این نسبت‌ها نتایج بنچمارک اندازه‌گیری‌شده نیستند، بلکه فقط مثال‌هایی برای نشان دادن نحوه محاسبه‌اند.

سناریو	زمان و هزینه A100	زمان و هزینه H100	نتیجه
H100 1.5x سریع‌تر (فرض)	30 ساعت x 2.24 = $67.20	20 ساعت x 4.99 = $99.80	A100 مقرون‌به‌صرفه‌تر
H100 2x سریع‌تر (فرض)	30 ساعت x 2.24 = $67.20	15 ساعت x 4.99 = $74.85	A100 کمی ارزان‌تر، H100 زودتر تمام می‌کند
H100 3x سریع‌تر (فرض)	30 ساعت x 2.24 = $67.20	10 ساعت x 4.99 = $49.90	H100 هم سریع‌تر و هم ارزان‌تر

قیمت‌ها بدون مالیات بر ارزش افزوده‌اند. ارزش زمان را هم باید در نظر بگیرید: تمام کردن یک آموزش در یک روز به جای دو روز به تیم شما امکان می‌دهد آزمایش‌های بیشتری انجام دهد و سریع‌تر محصول را عرضه کند. به همین دلیل H100 اغلب گزینه‌ای قوی برای آموزش‌های طولانی ترنسفورمر است که می‌توانند از FP8 استفاده کنند.

همین منطق درباره RTX 4090 هم صدق می‌کند. اگر مدل در 24 GB جا شود و کار روی یک کارت انجام‌شدنی باشد، قیمت شروع $1.11 آن می‌تواند کمترین هزینه به ازای هر کار را رقم بزند. اگر جا نشود، مصالحه‌هایی مانند کوانتیزاسیون یا بچ‌های کوچک‌تر اجرا را طولانی‌تر می‌کنند و ممکن است این مزیت از بین برود.

کدام برای کدام سناریو؟

RTX 4090 را انتخاب کنید اگر

• در حال اعتبارسنجی یک ایده، توسعه کد یا اجرای آزمایش‌های کوتاه هستید،
• مدل‌های کوچکی مانند 7B-8B را سرویس‌دهی می‌کنید یا آموزش QLoRA را روی مدل‌های تا 13B اجرا می‌کنید،
• بارهای کاری بصری‌ای اجرا می‌کنید که روی یک کارت جا می‌شوند، مانند Stable Diffusion، ComfyUI یا رندر سه‌بعدی.

A100 را انتخاب کنید اگر

• به 80 GB حافظه نیاز دارید اما از FP8 استفاده نمی‌کنید،
• محیط نرم‌افزاری پخته و به‌طور گسترده آزموده‌شده‌ای می‌خواهید،
• آموزش LoRA حساس به بودجه و بدون فشار زمانی، یا استنتاج 70B با 4 بیت اجرا می‌کنید.

H100 را انتخاب کنید اگر

• کارهای آموزشی طولانی ترنسفورمر اجرا می‌کنید،
• نرم‌افزار شما می‌تواند از FP8 استفاده کند،
• نتایج سریع و چرخه‌های کوتاه آزمایش برایتان مهم است.

همه کارت‌ها و قیمت‌های شروع را می‌توانید در صفحه GPU ابری ما مقایسه کنید.

گزینه‌های جایگزین: L40S و H200

L40S 48 GB (شروع از $1.36): یک کارت دیتاسنتری مبتنی بر معماری Ada با پشتیبانی از FP8. در استنتاج و تولید تصویر قدرتمند است. وقتی 24 GB حافظه 4090 کافی نیست اما به A100 یا H100 هم نیاز ندارید، برای مثال برای سرویس‌های LLM متوسط و تولید تصویر با وضوح بالا، حد وسط خوبی است.

H200 141 GB (شروع از $6.61): نسخه‌ای از معماری Hopper با حافظه بزرگ‌تر و سریع‌تر. 141 GB حافظه HBM3e آن اجرای مدل‌های بزرگ را با تقسیم روی GPUهای کمتر آسان‌تر می‌کند. وقتی حافظه H100 کافی نیست، برای مثال برای سرویس‌دهی مدل‌های رده 70B با دقت بالاتر یا آموزش LoRA روی مدل‌های بزرگ، این کارت برجسته می‌شود.

برای کارهای سنگین‌تر می‌توانید جدیدترین نسل یعنی B200 180 GB (شروع از $9.99)، RTX PRO 6000 با 96 GB (شروع از $3.11) و A40 مقرون‌به‌صرفه 48 GB (شروع از $0.74) را هم در نظر بگیرید.

نکات عملی

هر کارتی که انتخاب کنید، می‌توانید از طریق SSH و Jupyter به سرورهای GPU شرکت CloudRUX دسترسی داشته باشید، با قالب‌های آماده PyTorch/CUDA بلافاصله شروع کنید یا از ایمیج کانتینر خودتان استفاده کنید. اجرای یک ایمیج یکسان روی کارت‌های مختلف، اندازه‌گیری‌های مقایسه‌ای را منصفانه و سریع می‌کند.

دیسک موقت با خاموش شدن سرور پاک می‌شود؛ وزن‌های مدل و نتایج را روی یک ولوم ماندگار نگه دارید یا در ذخیره‌سازی شیء S3 پشتیبان بگیرید. از آنجا که سرورها در دیتاسنترهای شریک ما در خارج از کشور اجرا می‌شوند، بارهای کاری حاوی داده‌های شخصی ممکن است طبق KVKK انتقال فرامرزی محسوب شوند؛ توصیه می‌کنیم با داده‌های غیرشخصی یا ناشناس‌شده کار کنید و در صورت نیاز در فرایندهای قرارداد استاندارد کمکتان می‌کنیم.

پرسش‌های متداول

آیا می‌توانم یک مدل زبانی بزرگ را روی RTX 4090 آموزش دهم؟

فاین‌تیونینگ مدل‌های کوچک با QLoRA امکان‌پذیر است. اما با 24 GB حافظه و نبود NVLink، برای آموزش کامل مدل‌های بزرگ یا آموزش چند GPU مناسب نیست.

آیا A100 قدیمی شده یا هنوز منطقی است؟

A100 نسل قدیمی‌تری است، اما با 80 GB حافظه و پشتیبانی نرم‌افزاری پخته هنوز برای بسیاری از کارها منطقی است. مزیت قیمتی آن به‌ویژه در کارهایی که از FP8 استفاده نمی‌کنند و زمان در آن‌ها حیاتی نیست، برجسته می‌شود.

آیا H100 همیشه گران‌تر است؟

به ازای هر ساعت بله، اما به ازای هر کار نه همیشه. اگر کار شما روی H100 به اندازه کافی سریع‌تر از A100 اجرا شود، هزینه کل ممکن است کمتر باشد.

آیا قیمت‌ها نهایی‌اند؟

ارقام، قیمت‌های شروع ساعتی به ازای هر GPU و بدون مالیات بر ارزش افزوده‌اند. قیمت و ظرفیت دقیق در پیش‌فاکتور تأیید می‌شود و استفاده رزروشده ماهانه با تخفیف همراه است.

اجاره H100، A100 و RTX 4090 با CloudRUX

سرویس GPU شرکت CloudRUX در مرحله دسترسی زودهنگام است. می‌توانید H100، A100، RTX 4090 و کارت‌های دیگر را به‌صورت ساعتی اجاره کنید، همراه با صدور فاکتور الکترونیکی در ترکیه و پشتیبانی مهندسان به زبان فارسی و ترکی. کارت‌ها را در صفحه GPU ابری ما بررسی کنید، یا برای انتخاب مشترک کارت مناسب بار کاری‌تان و درخواست پیش‌فاکتور با ما در تماس باشید.