دليل تقني لتدريب نماذج الذكاء الاصطناعي على بياناتك الخاصة، وعملية الضبط الدقيق، ومتطلبات البنية التحتية.
لماذا تدرّب نموذجك الخاص؟
تؤدي نماذج الذكاء الاصطناعي العامة أداءً جيدًا في كثير من المهام، لكن عندما يتعلق الأمر بالمصطلحات الخاصة بالقطاع ومنطق الأعمال وأنماط البيانات، تحقق النماذج المخصصة نتائج أفضل بكثير.
ما هو الضبط الدقيق (Fine-Tuning)؟
الضبط الدقيق هو عملية إعادة تدريب نموذج لغوي كبير (LLM) مُدرَّب مسبقًا على مجموعة بياناتك الخاصة لتخصيصه لقطاعك. ويتطلب بيانات وموارد حوسبة أقل بكثير مقارنةً بالتدريب من الصفر.
- الضبط الدقيق الخاضع للإشراف (SFT): توجيه سلوك النموذج باستخدام أزواج من الأسئلة والأجوبة المصنّفة
- LoRA/QLoRA: ضبط دقيق فعّال باستهلاك منخفض للموارد، ممكن حتى باستخدام GPU واحد
- RLHF: تحسين جودة الإجابات عبر الملاحظات البشرية
- DPO: التحسين المباشر للتفضيلات (Direct Preference Optimization)، وهو بديل أبسط لـ RLHF
إعداد البيانات
جمع البيانات: اجمع سجلات دعم العملاء والوثائق التقنية ورسائل البريد الإلكتروني والمواد الخاصة بقطاعك.
تنظيف البيانات: أزل البيانات المشوّشة والمكررة والمعلومات الشخصية.
تنسيق البيانات: نظّمها على هيئة أزواج من التعليمات والإجابات أو بتنسيق المحادثات.
حجم البيانات: من 500 إلى 5,000 مثال لتقنية LoRA، ويوصى بـ 10,000+ مثال للضبط الدقيق الكامل.
متطلبات البنية التحتية
- GPU: بحد أدنى 1x A100 40GB للنماذج بحجم 7B، و4x A100 80GB للنماذج بحجم 70B
- RAM: ذاكرة نظام تعادل 2-3x حجم النموذج
- التخزين: NVMe SSD لبيانات التدريب ونقاط الحفظ (checkpoints) (بحد أدنى 1TB)
- البرمجيات: Hugging Face Transformers وAxolotl وLLaMA-Factory
التقييم والاختبار
قِس أداء النموذج المدرَّب باستخدام مجموعات بيانات مرجعية واختبارات A/B والتقييم البشري. واستخدم مقاييس مثل perplexity وBLEU وROUGE إلى جانب معايير تقييم خاصة بقطاعك.
تدريب النماذج مع CloudRUX
حدّد احتياجات GPU لمشروع تدريب نموذجك بالتعاون مع مهندسينا. وسيُعلن عن تفاصيل خدمة GPU لدينا عند إطلاقها.