H100, A100 ve RTX 4090 yapay zekâ projelerinde en çok karşılaştırılan üç GPU. Mimari, bellek, FP8 ve NVLink farklarını, saatlik fiyatı yüksek bir kartın neden iş başına daha ucuza gelebileceğini ve hangi senaryoda hangisinin seçilmesi gerektiğini anlatıyoruz.
GPU kiralamak isteyenlerin en sık sorduğu sorulardan biri şu: H100 mü, A100 mü, yoksa RTX 4090 mı? Üç kart da yapay zekâ iş yüklerinde yaygın olarak kullanılıyor ama farklı nesillerden, farklı pazarlardan geliyor ve saatlik fiyatları arasında ciddi farklar var.
Bu yazıda üç kartın teknik farklarını, maliyetin neden yalnızca saatlik fiyatla ölçülmemesi gerektiğini ve hangi senaryoda hangi kartın daha mantıklı olduğunu anlatıyoruz. Son bölümde L40S ve H200 gibi alternatiflere de değiniyoruz.
Üç Kart, Üç Farklı Dünya
NVIDIA A100, Ampere mimarisine dayanan ve uzun yıllar yapay zekâ eğitiminin standardı olmuş bir veri merkezi kartıdır. Yazılım ekosistemi son derece olgundur; neredeyse her kütüphane ve eğitim betiği A100 üzerinde test edilmiştir.
NVIDIA H100, Hopper mimarisiyle A100'ün halefidir. Transformer modelleri için tasarlanmış Transformer Engine ve FP8 desteği sayesinde büyük dil modeli eğitimi ve çıkarımında belirgin bir sıçrama sunar.
NVIDIA RTX 4090 ise Ada Lovelace mimarisine dayanan bir tüketici kartıdır. Oyun ve içerik üretimi için tasarlanmış olsa da yüksek işlem gücü ve görece düşük fiyatı nedeniyle deneme, küçük ve orta boy model çıkarımı ve görsel üretimi için popüler bir seçenektir.
Teknik Karşılaştırma
| Özellik | H100 80 GB | A100 80 GB | RTX 4090 24 GB |
|---|---|---|---|
| Mimari | Hopper | Ampere | Ada Lovelace |
| Bellek | 80 GB HBM3 (SXM sürümü) | 80 GB HBM2e | 24 GB GDDR6X |
| Bellek bant genişliği | Çok yüksek (HBM3) | Yüksek (HBM2e) | Orta (GDDR6X) |
| FP8 desteği | Var (Transformer Engine) | Yok | Var (Ada Tensor çekirdekleri) |
| BF16 / FP16 | Var | Var | Var |
| NVLink | Var | Var | Yok |
| MIG (GPU bölümleme) | Var | Var | Yok |
| Sınıf | Veri merkezi | Veri merkezi | Tüketici |
| CloudRUX başlangıç fiyatı (saatlik, KDV hariç) | 4,99 $ | 2,24 $ | 1,11 $ |
Tablodaki bazı satırlar pratikte büyük fark yaratır. Şimdi bunları tek tek ele alalım.
Bellek: 80 GB ile 24 GB Arasındaki Uçurum
Yapay zekâ iş yüklerinde ilk eleme kriteri VRAM'dir. FP16 hassasiyette çıkarım için parametre başına yaklaşık 2 bayt gerekir. Bu, 8B bir modelin ağırlıklarının yaklaşık 16 GB tuttuğu ve RTX 4090'ın 24 GB belleğine KV cache için az bir payla sığdığı anlamına gelir. 13B veya daha büyük modellerde ise 4090 ancak kuantizasyonla iş görür.
A100 ve H100'ün 80 GB belleği çok daha geniş bir alan açar: Orta boy modelleri tam hassasiyette çalıştırmak, uzun bağlam pencereleri kullanmak, LoRA eğitimlerinde daha büyük batch boyutlarıyla çalışmak ve 70B modelleri 4-bit kuantizasyonla tek kartta servis etmek mümkün hale gelir.
Bant genişliği de önemlidir. Özellikle dil modeli çıkarımında token üretim hızı büyük ölçüde bellek bant genişliğine bağlıdır. H100'ün HBM3 belleği bu konuda en güçlü seçenektir; A100'ün HBM2e belleği de 4090'ın GDDR6X belleğinden belirgin şekilde yüksek bant genişliği sunar.
FP8 ve Transformer Engine
H100'ü A100'den ayıran en önemli özelliklerden biri FP8 desteğidir. FP8, sayıları 8 bitle temsil ederek hem bellek kullanımını hem de hesaplama süresini azaltır. H100'ün Transformer Engine'i, eğitim sırasında hangi katmanların FP8 ile güvenle çalıştırılabileceğini yöneterek doğruluk kaybını sınırlamaya çalışır.
A100 FP8 desteklemez; en düşük yaygın eğitim hassasiyeti BF16 ve FP16'dır. RTX 4090'ın Ada Tensor çekirdekleri donanım düzeyinde FP8'i destekler, ancak 24 GB bellek ve tüketici sınıfı konumu nedeniyle büyük ölçekli eğitimde H100 ile aynı ligde değerlendirilmez.
Sonuç olarak H100, transformer tabanlı model eğitiminde A100'den belirgin şekilde daha hızlıdır ve FP8 kullanabilen yazılımlarda bu fark daha da açılır. Kesin hız farkı modele, kütüphaneye ve ayarlara göre değişir; bu yüzden kendi iş yükünüzle kısa bir ölçüm yapmanızı öneriyoruz.
NVLink ve Çok GPU'lu Çalışma
Tek bir karta sığmayan modellerde birden fazla GPU birlikte çalışır. Bu durumda GPU'lar arasındaki veri trafiği performansı doğrudan etkiler. A100 ve H100, GPU'lar arasında yüksek hızlı bağlantı sağlayan NVLink'i destekler. RTX 4090'da NVLink yoktur; kartlar PCIe üzerinden haberleşir.
Bu nedenle çok GPU'lu tam eğitim veya büyük modellerin birden fazla karta bölünerek servis edilmesi gibi işlerde A100 ve H100 açık ara daha uygundur. RTX 4090 ise tek kartla yapılabilecek işlerde parlar.
Saatlik Fiyat Değil, İş Başına Maliyet
GPU seçiminde en sık yapılan hata yalnızca saatlik fiyata bakmaktır. Asıl önemli olan, bir işi bitirmenin toplam maliyetidir: iş başına maliyet = süre x saatlik fiyat.
H100'ün saatlik başlangıç fiyatı (4,99 $), A100'ün (2,24 $) yaklaşık 2,2 katıdır. Dolayısıyla işinizde H100 A100'den 2,2 kattan daha hızlıysa H100 toplamda daha ucuza gelir; daha yavaşsa A100 avantajlıdır. Aşağıdaki tablo bu mantığı varsayımsal hız oranlarıyla gösteriyor. Bu oranlar ölçülmüş benchmark sonuçları değil, yalnızca hesabın nasıl yapılacağını göstermek için seçilmiş örneklerdir.
| Senaryo | A100 süresi ve maliyeti | H100 süresi ve maliyeti | Sonuç |
|---|---|---|---|
| H100 1,5 kat hızlı (varsayım) | 30 saat x 2,24 = 67,20 $ | 20 saat x 4,99 = 99,80 $ | A100 daha ekonomik |
| H100 2 kat hızlı (varsayım) | 30 saat x 2,24 = 67,20 $ | 15 saat x 4,99 = 74,85 $ | A100 biraz daha ekonomik, H100 daha erken bitirir |
| H100 3 kat hızlı (varsayım) | 30 saat x 2,24 = 67,20 $ | 10 saat x 4,99 = 49,90 $ | H100 hem hızlı hem ekonomik |
Fiyatlar KDV hariçtir. Hesaba bir de zamanın değerini eklemek gerekir: Bir eğitimi iki gün yerine bir günde bitirmek, ekibinizin daha fazla deneme yapmasını ve ürünün daha hızlı çıkmasını sağlar. Bu yüzden FP8 kullanabilen uzun transformer eğitimlerinde H100 çoğu zaman güçlü bir adaydır.
RTX 4090 için de aynı mantık geçerlidir. Model 24 GB'a sığıyorsa ve iş tek kartla yapılabiliyorsa, 1,11 $ başlangıç fiyatıyla iş başına en düşük maliyeti sunabilir. Sığmıyorsa kuantizasyon veya daha küçük batch gibi tavizler süreyi uzatır ve avantaj kaybolabilir.
Hangi Senaryoda Hangisi?
RTX 4090'ı seçin, eğer
- Fikir doğruluyor, kod geliştiriyor ya da kısa denemeler yapıyorsanız,
- 7B-8B gibi küçük modelleri servis ediyor veya 13B'ye kadar modellerle QLoRA eğitimi yapıyorsanız,
- Stable Diffusion, ComfyUI veya 3D render gibi tek karta sığan görsel iş yükleri çalıştırıyorsanız.
A100'ü seçin, eğer
- 80 GB belleğe ihtiyacınız var ama FP8 kullanmıyorsanız,
- Olgun ve geniş test edilmiş bir yazılım ortamı istiyorsanız,
- Süre baskısı düşük, bütçe hassasiyeti yüksek LoRA eğitimleri ve 70B 4-bit çıkarım yapıyorsanız.
H100'ü seçin, eğer
- Uzun süreli transformer eğitimleri yapıyorsanız,
- Yazılımınız FP8 kullanabiliyorsa,
- Hızlı sonuç almak ve deneme döngüsünü kısaltmak sizin için önemliyse.
Tüm kartları ve başlangıç fiyatlarını GPU sunucu sayfamızda karşılaştırabilirsiniz.
Alternatifler: L40S ve H200
L40S 48 GB (1,36 $ başlangıç): Ada mimarisine dayanan bir veri merkezi kartıdır ve FP8 destekler. Çıkarım ve görsel üretimi için güçlüdür. 4090'ın 24 GB'ı yetmediğinde ama A100 veya H100'e gerek olmadığında, örneğin orta boy LLM servisleri ve yüksek çözünürlüklü görsel üretiminde iyi bir orta yoldur.
H200 141 GB (6,61 $ başlangıç): Hopper mimarisinin daha büyük ve daha hızlı belleğe sahip sürümüdür. 141 GB HBM3e bellek, büyük modelleri daha az GPU'ya bölerek çalıştırmayı kolaylaştırır. 70B sınıfı modellerin daha yüksek hassasiyetle servis edilmesi veya büyük modellerde LoRA eğitimi için H100'ün belleği yetmediğinde öne çıkar.
Daha ağır işler için en yeni nesil B200 180 GB (9,99 $ başlangıç), 96 GB belleğe sahip RTX PRO 6000 (3,11 $ başlangıç) ve ekonomik 48 GB seçeneği A40 (0,74 $ başlangıç) da değerlendirilebilir.
Pratik Notlar
Hangi kartı seçerseniz seçin, CloudRUX GPU sunucularına SSH ve Jupyter ile erişebilir, hazır PyTorch/CUDA şablonlarıyla hemen başlayabilir veya kendi container imajınızı kullanabilirsiniz. Aynı imajı farklı kartlarda çalıştırmak, karşılaştırma ölçümlerini adil ve hızlı yapmanızı sağlar.
Geçici disk sunucu durduğunda silinir; model ağırlıklarını ve sonuçları kalıcı volume'da tutun veya S3 nesne depolamaya yedekleyin. Sunucular yurt dışındaki iş ortağımızın veri merkezlerinde çalıştığı için kişisel veri içeren iş yükleri KVKK kapsamında yurt dışına aktarım sayılabilir; kişisel veri içermeyen veya anonimleştirilmiş verilerle çalışmanızı öneriyor, gerektiğinde standart sözleşme süreçlerinde destek veriyoruz.
Sık Sorulan Sorular
RTX 4090 ile büyük dil modeli eğitebilir miyim?
Küçük modellerde QLoRA ile ince ayar yapmak mümkündür. Ancak 24 GB bellek ve NVLink olmaması nedeniyle büyük modellerde tam eğitim veya çok GPU'lu eğitim için uygun değildir.
A100 eski bir kart mı, hâlâ mantıklı mı?
A100 daha eski bir nesil olsa da 80 GB belleği ve olgun yazılım desteğiyle birçok iş için hâlâ mantıklıdır. Özellikle FP8 kullanmayan ve süre baskısı olmayan işlerde fiyat avantajı öne çıkar.
H100 her zaman daha mı pahalı?
Saatlik olarak evet, ama iş başına her zaman değil. İşiniz H100'de A100'e göre yeterince hızlı çalışıyorsa toplam maliyet daha düşük olabilir.
Fiyatlar kesin mi?
Paylaşılan rakamlar GPU başına saatlik başlangıç fiyatlarıdır ve KDV hariçtir. Kesin fiyat ve kapasite teklifte netleşir; aylık rezerve kullanımda indirim uygulanır.
CloudRUX ile H100, A100 ve RTX 4090 Kiralama
CloudRUX GPU hizmeti erken erişim aşamasında. H100, A100, RTX 4090 ve diğer kartları saatlik olarak kiralayabilir, Türkiye'de e-fatura ve Türkçe konuşan mühendis desteğinden yararlanabilirsiniz. Kartları GPU sunucu sayfamızda inceleyebilir, iş yükünüz için doğru kartı birlikte seçmek ve teklif almak üzere bizimle iletişime geçebilirsiniz.