Bir dil modelini kendi verinizle eğitmeden önce en kritik soru, işin hangi GPU'ya sığacağıdır. VRAM'i neyin tükettiğini, LoRA, QLoRA ve tam eğitim arasındaki farkı, model boyutuna göre yaklaşık bellek ihtiyacını ve maliyeti kontrol altında tutmanın yollarını anlatıyoruz.
Açık kaynak dil modelleri, kendi verinizle ince ayar (fine-tuning) yaparak şirketinize özel bir asistan, sınıflandırıcı ya da metin üretici geliştirmeyi mümkün kılıyor. Ancak işe başlamadan önce cevaplanması gereken pratik bir soru var: Bu eğitim hangi GPU'ya sığar?
Yanlış tahmin iki şekilde pahalıya patlar. Belleği yetersiz bir kart seçerseniz eğitim "out of memory" hatasıyla durur ve saatleriniz boşa gider. Gereğinden büyük bir kart seçerseniz ihtiyacınız olmayan kapasiteye para ödersiniz.
Bu yazıda VRAM'i neyin tükettiğini, LoRA, QLoRA ve tam eğitimin bellek açısından farkını ve model boyutuna göre kabaca hangi GPU'ların uygun olduğunu anlatıyoruz.
Eğitim Sırasında VRAM'i Ne Tüketir?
Bir modeli eğitirken GPU belleğinde yalnızca model ağırlıkları durmaz. Bellek ihtiyacı birkaç bileşenin toplamıdır:
- Model ağırlıkları: 16-bit (FP16 veya BF16) hassasiyette parametre başına 2 bayt. 4-bit kuantizasyonda parametre başına yaklaşık 0,5 ila 0,6 bayt.
- Gradyanlar: Eğitilen her parametre için bir gradyan tutulur. Tam eğitimde bu, ağırlıklar kadar ek bellek demektir.
- Optimizer durumları: Adam ve AdamW gibi yaygın optimizer'lar parametre başına iki ek değer saklar. Bunlar genellikle 32-bit tutulduğu için en büyük bellek kalemi olabilir.
- Aktivasyonlar: İleri geçişte hesaplanan ara değerler. Batch boyutu ve dizi (sequence) uzunluğuyla büyür. Gradient checkpointing ile azaltılabilir ama bu, eğitimi bir miktar yavaşlatır.
- Çerçeve ve CUDA yükü: Kütüphanelerin ve bellek parçalanmasının kapladığı, genellikle birkaç GB'lık ek alan.
Tam eğitimde, karışık hassasiyet (mixed precision) ve Adam optimizer ile parametre başına kabaca 16 bayt ve üzeri bellek gerektiği sık kullanılan bir pratik kuraldır. Buna aktivasyonlar ayrıca eklenir. Yani 7 milyar parametreli bir modelin tam eğitimi bile aktivasyonlar hariç 110 GB'ın üzerinde bellek ister.
LoRA, QLoRA ve Tam Eğitim Arasındaki Fark
Tam eğitim (full fine-tuning)
Modelin tüm parametreleri güncellenir. En esnek yöntemdir ama bellek ve süre açısından en pahalısıdır. Büyük modellerde neredeyse her zaman birden fazla GPU ve FSDP ya da DeepSpeed ZeRO gibi bellek dağıtım teknikleri gerekir.
LoRA
LoRA (Low-Rank Adaptation), temel model ağırlıklarını dondurur ve yalnızca küçük adaptör matrislerini eğitir. Eğitilen parametre sayısı genellikle toplamın çok küçük bir yüzdesidir. Bu sayede gradyan ve optimizer durumları için gereken bellek dramatik biçimde azalır. Temel model 16-bit tutulduğu için ağırlıklar yine parametre başına yaklaşık 2 bayt yer kaplar.
QLoRA
QLoRA, LoRA yaklaşımını 4-bit kuantize edilmiş bir temel modelle birleştirir. Temel model ağırlıkları yaklaşık dörtte birine iner, adaptörler ise daha yüksek hassasiyette eğitilir. Birçok görevde LoRA'ya yakın sonuçlar verirken çok daha küçük kartlarda çalışabilir. Bedeli, kuantizasyon işlemleri nedeniyle eğitimin genellikle biraz daha yavaş olmasıdır.
Model Boyutuna Göre Yaklaşık VRAM İhtiyacı
Aşağıdaki tablo ilk planlama için hazırlanmış yaklaşık değerler içerir. Gerçek bellek kullanımı dizi uzunluğuna, batch boyutuna, LoRA rank değerine, gradient checkpointing kullanılıp kullanılmamasına ve kütüphane sürümlerine göre belirgin şekilde değişebilir. Kesin karar öncesinde kısa bir deneme çalıştırması mutlaka yapılmalıdır.
| Model boyutu | QLoRA (4-bit temel) | LoRA (16-bit temel) | Tam eğitim (16-bit, Adam) |
|---|---|---|---|
| 7B / 8B | Yaklaşık 8-16 GB; L4 24 GB, RTX 4090 24 GB | Yaklaşık 18-30 GB; A40 48 GB, L40S 48 GB | Yaklaşık 120 GB ve üzeri; çok GPU (örneğin birden fazla A100 / H100 80 GB) veya H200 141 GB |
| 13B / 14B | Yaklaşık 12-24 GB; RTX 4090 24 GB (sınırda), A40 48 GB | Yaklaşık 32-48 GB; A40 / L40S 48 GB (sınırda), A100 80 GB | Yaklaşık 220 GB ve üzeri; çok GPU |
| 32B / 34B | Yaklaşık 24-40 GB; A40 48 GB, L40S 48 GB | Yaklaşık 70-100 GB; RTX PRO 6000 96 GB, H200 141 GB | Yaklaşık 520 GB ve üzeri; çok GPU |
| 70B | Yaklaşık 45-70 GB; A100 / H100 80 GB, RTX PRO 6000 96 GB | Yaklaşık 150-180 GB; B200 180 GB (sınırda) veya çok GPU | Yaklaşık 1,1 TB ve üzeri; büyük çok GPU kümesi |
Tablodan çıkan net sonuç şu: Tek GPU ile çalışmak istiyorsanız, 70B'ye kadar modellerde QLoRA, küçük ve orta modellerde LoRA en pratik yoldur. Tam eğitim, küçük modeller dışında ciddi bir çok GPU yatırımı gerektirir ve çoğu kurumsal senaryoda LoRA tabanlı yöntemler yeterli sonucu verir.
Çok GPU'lu bir yapılandırmaya ihtiyacınız varsa bunu teklif aşamasında belirtmeniz önemlidir; kesin kapasite ve fiyat teklifte netleşir. Kart seçeneklerinin tamamını GPU sunucu sayfamızda görebilirsiniz.
Hangi GPU'yu Seçmeli?
| GPU | VRAM | Başlangıç fiyatı (saatlik, KDV hariç) | Fine-tuning için tipik kullanım |
|---|---|---|---|
| L4 | 24 GB | 0,74 $ | Küçük modellerde QLoRA denemeleri |
| RTX 4090 | 24 GB | 1,11 $ | 7B-13B QLoRA, hızlı deneme |
| A40 | 48 GB | 0,74 $ | 7B LoRA, 32B QLoRA, ekonomik uzun eğitim |
| L40S | 48 GB | 1,36 $ | 7B-13B LoRA, 32B QLoRA |
| RTX PRO 6000 | 96 GB | 3,11 $ | 32B LoRA, 70B QLoRA |
| A100 | 80 GB | 2,24 $ | 13B LoRA, 70B QLoRA, olgun yazılım desteği |
| H100 | 80 GB | 4,99 $ | Hızın önemli olduğu uzun eğitimler |
| H200 | 141 GB | 6,61 $ | Büyük modellerde LoRA, küçük modellerde tam eğitim |
| B200 | 180 GB | 9,99 $ | En ağır eğitim işleri, en yeni nesil |
Bellek yeterliyse karar hız ile saatlik fiyat arasındaki dengeye döner. H100 transformer eğitiminde A100'den belirgin şekilde hızlıdır; işi daha kısa sürede bitirdiği için yüksek saatlik fiyatına rağmen toplamda daha ekonomik olabilir. Bunu anlamanın en iyi yolu, aynı küçük denemeyi iki kartta çalıştırıp saniye başına işlenen token sayısını karşılaştırmaktır.
Veri Hazırlığı: Eğitimin Görünmeyen Yarısı
GPU saatleri pahalıdır; bu yüzden veri hazırlığını mümkün olduğunca GPU sunucusunu açmadan önce tamamlamak gerekir.
- Formatı netleştirin: Talimat-cevap çiftleri, sohbet formatı ya da düz metin; seçtiğiniz eğitim kütüphanesinin beklediği şablonla uyumlu olmalı.
- Temizleyin: Tekrarlanan, bozuk veya çok kısa örnekleri ayıklayın. Az ama temiz veri çoğu zaman çok ama dağınık veriden daha iyi sonuç verir.
- Dizi uzunluğunu kontrol edin: Örneklerin büyük çoğunluğunun sığdığı makul bir maksimum uzunluk seçin. Gereksiz uzun diziler aktivasyon belleğini ve süreyi artırır.
- Doğrulama seti ayırın: Eğitimin gerçekten iyileşip iyileşmediğini görmek için verinin bir kısmını eğitime katmayın.
- Kişisel veriyi temizleyin: İsim, telefon, kimlik numarası gibi bilgileri eğitim verisinden çıkarın veya anonimleştirin.
Checkpoint'ler ve S3
CloudRUX GPU sunucularında geçici disk, sunucu durdurulduğunda silinir. Saatlerce süren bir eğitimin sonucunu kaybetmemek için checkpoint'leri ve LoRA adaptörlerini düzenli olarak kalıcı bir volume'a ya da S3 nesne depolamaya kaydetmelisiniz.
Pratik bir düzen şöyle olabilir: Eğitim betiği her belirli adımda bir checkpoint alır, bu checkpoint'ler S3 uyumlu bir bucket'a kopyalanır, eğitim bitince yalnızca en iyi sonuç veren adaptör ve değerlendirme raporu saklanır. LoRA adaptörleri genellikle temel modele göre çok küçüktür, bu yüzden saklamaları ucuzdur.
Bu yaklaşım aynı zamanda esneklik sağlar: Eğitimi bir kartta başlatıp gerekirse başka bir kartta checkpoint'ten devam edebilirsiniz.
Maliyeti Kontrol Altında Tutmak
- Önce küçük modelle deneyin: Veri hattını ve hiperparametreleri 7B-8B bir modelde ucuz bir kartla doğrulayın.
- QLoRA ile başlayın: Sonuç yeterliyse büyük kartlara geçmeye gerek kalmaz.
- Kısa bir ölçüm çalıştırması yapın: Saniye başına token sayısını ölçüp toplam süreyi ve maliyeti hesaplayın.
- Boşta bekleyen sunucuyu kapatın: Veriyi kalıcı alanda tuttuğunuz sürece sunucuyu kapatmak güvenlidir.
- Hazır şablonları kullanın: PyTorch ve CUDA şablonları, sürücü ve kütüphane kurulumuyla geçen ücretli saatleri azaltır. Kendi container imajınızla ortamı tamamen sabitleyebilirsiniz.
Örneğin 8B bir modelin QLoRA eğitimini A40 üzerinde 20 saatte tamamladığınızı varsayalım: 20 x 0,74 = 14,80 $ + KDV. Aynı işi LoRA ile A100 üzerinde yapmak, daha yüksek saatlik fiyat nedeniyle genellikle daha pahalı olacaktır; ancak daha hızlı biteceği için fark tahmin ettiğinizden küçük olabilir.
Veri Konumu ve KVKK
CloudRUX GPU sunucuları yurt dışındaki iş ortağımızın veri merkezlerinde çalışır. Eğitim verisi kişisel veri içeriyorsa bu durum KVKK kapsamında yurt dışına veri aktarımı sayılabilir. Bu yüzden eğitim verisini kişisel veri içermeyecek şekilde hazırlamanızı ya da anonimleştirmenizi öneriyoruz. Kişisel veriyle çalışmak zorunda olduğunuz senaryolarda standart sözleşme süreçlerinde size yardımcı oluyoruz.
Sık Sorulan Sorular
LoRA ile eğitilen model, tam eğitim kadar iyi olur mu?
Birçok kurumsal görevde, örneğin belirli bir üslupta yazma, sınıflandırma veya alan terimlerini öğrenme gibi işlerde LoRA tabanlı yöntemler tam eğitime yakın sonuçlar verebilir. Sonuç verinize ve görevinize bağlıdır; bu yüzden küçük bir denemeyle başlamak en doğrusudur.
24 GB'lık bir kartla 13B model eğitebilir miyim?
QLoRA, gradient checkpointing ve makul bir dizi uzunluğuyla çoğu zaman mümkündür ama sınırdadır. Daha uzun diziler veya daha büyük batch için 48 GB'lık bir kart daha rahat çalışma alanı sağlar.
Tablodaki VRAM değerleri kesin mi?
Hayır, ilk planlama için verilmiş yaklaşık değerlerdir. Gerçek kullanım dizi uzunluğu, batch boyutu, LoRA rank değeri ve kütüphane sürümleriyle değişir.
Eğitim bitince modeli nereye kaydetmeliyim?
Geçici disk sunucu durunca silindiği için modeli ve adaptörleri kalıcı volume'a veya S3 nesne depolamaya kaydetmelisiniz.
CloudRUX GPU Sunucuları ile Fine-Tuning
CloudRUX GPU hizmeti erken erişim aşamasında; L4'ten B200'e kadar kartlar, hazır PyTorch/CUDA şablonları, SSH ve Jupyter erişimi, Türkiye'de e-fatura ve Türkçe konuşan mühendis desteği sunuyor. Model boyutunuza ve yönteminize uygun kartı seçmek için GPU sunucu sayfamızı inceleyebilir, eğitim planınızı birlikte değerlendirmek ve teklif almak için bizimle iletişime geçebilirsiniz.