GPU sunucu kiralamak artık yapay zekâ projelerinin en hızlı başlangıç yolu. Küçük LLM çıkarımından 70B modellere, LoRA eğitiminden Stable Diffusion ve 3D render'a kadar hangi iş için hangi GPU'nun mantıklı olduğunu, saatlik maliyetin nasıl hesaplanacağını örneklerle anlatıyoruz.
Yapay zekâ projelerinin neredeyse hepsi aynı soruyla başlar: Bu işi hangi GPU ile yapmalıyım? Bir GPU sunucusu satın almak hem yüksek bir yatırım hem de uzun bir tedarik süreci demektir. Üstelik projenin ilk haftalarında ihtiyacın tam olarak ne olduğu çoğu zaman belli değildir.
GPU sunucu kiralama bu belirsizliği ortadan kaldırır. İhtiyaç duyduğunuz kartı saatlik olarak kullanır, iş bitince sunucuyu kapatırsınız. Ancak doğru kartı seçmezseniz ya gereksiz yere pahalı bir GPU'ya para ödersiniz ya da belleği yetmeyen bir kartla saatlerinizi kaybedersiniz.
Bu rehberde yaygın iş yüklerini tek tek ele alıyor, her biri için mantıklı GPU seçeneklerini ve kabaca maliyetin nasıl hesaplanacağını anlatıyoruz.
GPU Seçiminde Önce Neye Bakılmalı?
GPU seçerken çoğu kişi ilk olarak işlem gücüne bakar. Oysa yapay zekâ iş yüklerinde ilk eleme kriteri neredeyse her zaman VRAM, yani kartın üzerindeki bellek miktarıdır. Model ve veriler belleğe sığmıyorsa işlem gücünün bir önemi kalmaz.
Seçim yaparken şu dört soruyu sırayla sormanızı öneriyoruz:
- Model belleğe sığıyor mu? Model boyutu, kullanılan hassasiyet (FP16, 8-bit, 4-bit) ve eğitim ya da çıkarım yapmanız VRAM ihtiyacını belirler.
- İş ne kadar sürecek? Birkaç saatlik bir deneme ile haftalarca sürecek bir eğitim için farklı kartlar mantıklıdır.
- Hız mı, saatlik fiyat mı önemli? Daha hızlı bir kart saatlik olarak pahalı olsa da işi daha kısa sürede bitirerek toplamda daha ucuza gelebilir.
- Hangi yazılım yığını kullanılacak? PyTorch, CUDA sürümü, ComfyUI ya da kendi container imajınız gibi detaylar kurulum süresini etkiler.
Kabaca VRAM Hesabı
Kesin rakamlar modele, bağlam uzunluğuna ve yazılıma göre değişse de şu pratik kurallar ilk tahmini yapmak için yeterlidir:
- FP16 çıkarım: Parametre başına yaklaşık 2 bayt, üzerine KV cache (bağlam uzunluğu ve eşzamanlı kullanıcı sayısıyla büyür). 8 milyar parametreli bir model için ağırlıklar tek başına yaklaşık 16 GB tutar.
- 4-bit kuantize çıkarım: Parametre başına yaklaşık 0,5 ila 0,6 bayt. 70B bir model bu yöntemle 40 GB civarına iner, yine KV cache payı eklenmelidir.
- Tam ince ayar (full fine-tuning): 16-bit eğitimde, Adam optimizer durumlarıyla birlikte parametre başına kabaca 16 bayt ve üzeri. Bu yüzden 7B bir modelin tam eğitimi bile tek bir 80 GB karta rahat sığmaz.
- LoRA ve QLoRA: Modelin yalnızca küçük adaptör katmanlarını eğittikleri için bellek ihtiyacını çok ciddi oranda azaltırlar. QLoRA, temel modeli 4-bit olarak tutarak bunu bir adım ileri taşır.
Bu rakamlar başlangıç noktasıdır. Uzun bağlam pencereleri, büyük batch boyutları ve yüksek eşzamanlılık bellek ihtiyacını belirgin şekilde artırır, bu yüzden her zaman bir miktar pay bırakmak gerekir.
İş Yüküne Göre GPU Önerileri
Aşağıdaki tablo, sık karşılaştığımız iş yüklerini ve bu işler için mantıklı GPU seçeneklerini özetliyor. Fiyatlar CloudRUX GPU hizmetinin GPU başına saatlik başlangıç fiyatlarıdır ve KDV hariçtir.
| İş yükü | Önerilen GPU | Başlangıç fiyatı (saatlik, KDV hariç) | Not |
|---|---|---|---|
| Küçük LLM çıkarımı (7B-8B) | L4 24 GB, RTX 4090 24 GB | 0,74 $ / 1,11 $ | FP16 ağırlıklar 24 GB'a sığar; KV cache için pay bırakın |
| 70B model çıkarımı | A100 80 GB, H100 80 GB (4-bit); H200 141 GB, B200 180 GB (daha yüksek hassasiyet) | 2,24 $ / 4,99 $ / 6,61 $ / 9,99 $ | FP16 ağırlıklar yaklaşık 140 GB tutar; kuantizasyon veya çok GPU gerekir |
| LoRA / QLoRA ince ayar | RTX 4090 24 GB, A40 48 GB, L40S 48 GB, A100 80 GB | 1,11 $ / 0,74 $ / 1,36 $ / 2,24 $ | Model boyutu büyüdükçe 48 GB ve 80 GB kartlara geçin |
| Tam ince ayar | A100 80 GB, H100 80 GB, H200 141 GB, B200 180 GB | 2,24 $ / 4,99 $ / 6,61 $ / 9,99 $ | Küçük modeller dışında genellikle çok GPU gerektirir |
| Stable Diffusion / ComfyUI | RTX 4090 24 GB, L40S 48 GB | 1,11 $ / 1,36 $ | Büyük modeller ve yüksek çözünürlük için 48 GB rahatlık sağlar |
| Video üretimi | L40S 48 GB, RTX PRO 6000 96 GB, H100 80 GB | 1,36 $ / 3,11 $ / 4,99 $ | Video modelleri bellek açısından çok iştahlıdır |
| 3D render | RTX 4090 24 GB, L40S 48 GB, RTX PRO 6000 96 GB | 1,11 $ / 1,36 $ / 3,11 $ | Sahne boyutu VRAM ihtiyacını belirler |
| Araştırma ve deneme | L4 24 GB, A40 48 GB, RTX 4090 24 GB | 0,74 $ / 0,74 $ / 1,11 $ | Düşük saatlik maliyetle hızlı iterasyon |
Tablodaki öneriler genel bir yol haritasıdır. Kesin fiyat ve kapasite teklifte netleşir; aylık rezerve kullanımda ise indirimli fiyatlar uygulanır. Tüm GPU seçeneklerini GPU sunucu sayfamızda inceleyebilirsiniz.
Kartları Kısaca Tanıyalım
L4 24 GB ve A40 48 GB: Saatlik 0,74 $ başlangıç fiyatıyla en ekonomik seçenekler. L4 küçük modellerin çıkarımı ve hafif iş yükleri için verimlidir. A40, aynı başlangıç fiyatına 48 GB bellek sunduğu için orta boy modellerde ve QLoRA denemelerinde çok değerli bir seçenektir.
RTX 4090 24 GB: Tüketici sınıfı bir kart olsa da deneme yapmak, küçük ve orta boy modelleri çalıştırmak ve görsel üretimi için oldukça güçlüdür. Bellek 24 GB ile sınırlı olduğundan büyük modellerde hızla yetersiz kalır.
L40S 48 GB: Çıkarım ve görsel üretimi tarafında güçlü bir veri merkezi kartıdır. Stable Diffusion, ComfyUI ve orta boy LLM servisleri için fiyat ve performans dengesi iyidir.
RTX PRO 6000 96 GB: 96 GB bellek, tek bir kartta büyük modelleri, video üretimini ve ağır render sahnelerini çalıştırmayı mümkün kılar.
A100 80 GB: Yıllardır yapay zekâ eğitiminin standart kartlarından biri. Olgun yazılım desteği ve 80 GB bellekle LoRA, tam eğitim ve büyük model çıkarımı için güvenli bir tercih.
H100 80 GB: Transformer eğitiminde A100'den belirgin şekilde daha hızlıdır; FP8 desteği bu farkı daha da açar. Uzun eğitimlerde iş başına maliyeti düşürebilir.
H200 141 GB ve B200 180 GB: H200'ün 141 GB HBM3e belleği büyük modelleri daha az parçalamayla çalıştırmayı kolaylaştırır. B200 ise en yeni nesil karttır ve en ağır eğitim ve çıkarım işleri için tasarlanmıştır.
Saat ve Maliyet Nasıl Tahmin Edilir?
GPU kiralamada maliyet basit bir çarpımdır: kullanılan saat x GPU sayısı x saatlik fiyat. Zor olan, kaç saat kullanacağınızı tahmin etmektir. Bunun için şu yöntemi öneriyoruz:
- Veri setinizin küçük bir bölümüyle kısa bir deneme çalıştırması yapın.
- Bu denemede saniye başına işlenen örnek ya da token sayısını not edin.
- Toplam veri miktarı ve epoch sayısıyla toplam süreyi kabaca hesaplayın.
- Kurulum, hata ayıklama ve değerlendirme için yüzde 20 ila 30 civarında pay ekleyin.
Örnek Hesap
Diyelim ki 8B bir modeli kendi şirket dokümanlarınızdan hazırladığınız bir veri setiyle LoRA yöntemiyle eğitmek istiyorsunuz. Kısa deneme sonucunda, değerlendirme ve tekrar denemeler dahil toplam işin yaklaşık 40 saat A100 80 GB kullanımı gerektireceğini tahmin ettiniz.
| Kalem | Değer |
|---|---|
| GPU | A100 80 GB |
| Saatlik başlangıç fiyatı | 2,24 $ (KDV hariç) |
| Tahmini kullanım | 40 saat |
| Hesap | 40 x 2,24 = 89,60 $ |
| Toplam | 89,60 $ + KDV |
Aynı işi 7B veya 8B bir modelle QLoRA ile yapıyorsanız, RTX 4090 ya da A40 gibi daha ekonomik bir kart da yeterli olabilir. Bu durumda iş biraz daha uzun sürse bile toplam maliyet düşebilir. Doğru karar için birkaç saatlik bir denemeyle iki kartı karşılaştırmak çoğu zaman en iyi yatırımdır.
Faturalama tarafında süreç basittir: Fiyatlar USD cinsindendir, fatura Türkiye'de e-fatura olarak kesilir ve USD tutar fatura tarihindeki kurdan TL'ye çevrilir.
Kurulum ve Çalışma Ortamı
CloudRUX GPU sunucularına SSH ve Jupyter ile erişebilirsiniz. Hazır PyTorch ve CUDA şablonları sayesinde sürücü ve kütüphane kurulumuyla saat kaybetmeden doğrudan işe başlayabilirsiniz. Kendi container imajınızı kullanmak isterseniz bu da mümkündür; böylece yerel ortamınızla aynı yazılım yığınını bulutta çalıştırabilirsiniz.
Önemli bir detay: Sunucuya bağlı geçici disk, sunucu durdurulduğunda silinir. Model ağırlıklarını, checkpoint'leri ve sonuçları korumak için kalıcı bir volume kullanmalı ya da verilerinizi S3 nesne depolamaya yedeklemelisiniz. Bu alışkanlık hem veri kaybını önler hem de sunucuyu gönül rahatlığıyla kapatmanızı sağlar.
Veri Konumu ve KVKK
CloudRUX GPU sunucuları yurt dışındaki iş ortağımızın veri merkezlerinde çalışır. Bu nedenle kişisel veri içeren iş yüklerinde aktarım, KVKK kapsamında yurt dışına veri aktarımı sayılabilir.
Önerimiz, GPU üzerinde kişisel veri içermeyen ya da anonimleştirilmiş veri setleriyle çalışmanızdır. Model eğitimi, görsel üretimi, render ve açık veri setleriyle yapılan araştırmalar genellikle bu kapsamın dışında kalır. Kişisel veri işlemeniz gereken senaryolarda standart sözleşme süreçlerinde CloudRUX ekibi size yardımcı olur.
Maliyeti Kontrol Altında Tutmak İçin İpuçları
- Küçükten başlayın: Kodu ve veri hattını ucuz bir kartta doğrulayın, uzun eğitimi sonra büyük karta taşıyın.
- Boşta kalan sunucuyu kapatın: Saatlik modelde açık kalan her saat faturaya yansır.
- Checkpoint alın: Düzenli checkpoint'ler, bir kesinti ya da hata durumunda işi baştan başlatma maliyetini ortadan kaldırır.
- Sürekli kullanımda rezervasyon düşünün: Bir modeli aylarca servis edecekseniz aylık rezerve kullanım indirimli olduğu için daha avantajlıdır.
- Doğru hassasiyeti seçin: Çıkarımda 8-bit ya da 4-bit kuantizasyon, kalite kaybı kabul edilebilir düzeydeyse daha küçük ve ucuz bir karta geçmenizi sağlar.
Sık Sorulan Sorular
GPU kiralamak mı, satın almak mı daha mantıklı?
Kullanım düzensizse, proje henüz deneme aşamasındaysa ya da farklı kartları test etmek istiyorsanız kiralamak genellikle daha mantıklıdır. GPU'yu yıl boyunca neredeyse kesintisiz kullanacağınızdan eminseniz satın alma veya aylık rezerve kullanım seçeneklerini karşılaştırmak gerekir.
Hangi GPU ile başlamalıyım?
Çoğu proje için 24 GB veya 48 GB bir kartla, örneğin RTX 4090, L4 ya da A40 ile başlamak mantıklıdır. Bellek yetmediğinde veya süre uzadığında A100, H100 gibi kartlara geçebilirsiniz.
Fiyatlar sabit mi?
Paylaştığımız rakamlar GPU başına saatlik başlangıç fiyatlarıdır ve KDV hariçtir. Kesin fiyat ve kapasite size özel teklifte netleşir; aylık rezerve kullanımda indirim uygulanır.
Verilerim sunucu kapanınca ne olur?
Geçici disk sunucu durduğunda silinir. Korumak istediğiniz verileri kalıcı volume üzerinde tutmanız veya S3'e yedeklemeniz gerekir.
CloudRUX GPU Sunucu Kiralama
CloudRUX GPU hizmeti şu anda erken erişim aşamasında. L4'ten B200'e kadar geniş bir kart seçeneği, hazır PyTorch/CUDA şablonları, SSH ve Jupyter erişimi, Türkiye'de e-fatura ve Türkçe konuşan mühendis desteği sunuyoruz. Kartları ve başlangıç fiyatlarını GPU sunucu sayfamızda inceleyebilir, iş yükünüze uygun GPU'yu birlikte seçmek ve teklif almak için bizimle iletişime geçebilirsiniz.