تدريب نموذج لغوي من الصفر يكلف ملايين الدولارات، وحتى الضبط الدقيق الكامل لنموذج متوسط الحجم يتطلب عدة كروت شاشة احترافية بذاكرة ضخمة. لكن ماذا لو أردت فقط أن تعلّم نموذجًا مفتوح المصدر أسلوب شركتك في الرد على العملاء، أو أن يتقن تصنيف نوع معين من المستندات العربية؟ هنا تأتي تقنيتا LoRA وQLoRA، اللتان جعلتا تدريب النماذج المخصصة ممكنًا على كرت شاشة واحد، بل وعلى منصات مجانية مثل Google Colab. في هذا الشرح ضمن سلسلة تطوير تطبيقات الذكاء الاصطناعي سنفهم الفكرة ونطبقها عمليًا.

النتيجة مذهلة: بدل تدريب مليارات المعاملات، تدرب جزءًا صغيرًا جدًا منها قد يقل عن 1% من حجم النموذج. وهذا يقلل الذاكرة المطلوبة وزمن التدريب بشكل كبير، والأجمل أن ملف التعديل الناتج صغير، قد يكون بضع عشرات من الميجابايتات، فتستطيع الاحتفاظ بعدة "محولات" LoRA لمهام مختلفة وتبديلها فوق النموذج الأساسي نفسه حسب الحاجة.
المعامل r هو رتبة المصفوفتين الصغيرتين، والقيم بين 8 و64 شائعة، وكلما زادت زادت قدرة المحول على التعلم مع زيادة الذاكرة وخطر الحفظ الحرفي. وبعد التدريب يمكنك دمج المحول مع النموذج وتصديره بصيغة GGUF لتشغيله في Ollama أو LM Studio.

الفكرة وراء تقنية LoRA
عندما تضبط نموذجًا ضبطًا دقيقًا كاملًا، فإنك تعدل كل أوزانه، وقد تكون مليارات الأرقام، وتحتاج إلى حفظ نسخة كاملة جديدة من النموذج لكل مهمة. لاحظ الباحثون في مايكروسوفت الذين قدموا تقنية LoRA عام 2021 أن التغيير الذي يحتاجه النموذج لتعلم مهمة جديدة يمكن تمثيله بعدد أقل بكثير من الأرقام. فبدل تعديل مصفوفة الأوزان الضخمة نفسها، نجمدها كما هي، ونضيف بجانبها مصفوفتين صغيرتين جدًا يُضرب ناتجهما ليمثل التعديل المطلوب. وهذا معنى الاسم: Low-Rank Adaptation أي التكييف منخفض الرتبة.النتيجة مذهلة: بدل تدريب مليارات المعاملات، تدرب جزءًا صغيرًا جدًا منها قد يقل عن 1% من حجم النموذج. وهذا يقلل الذاكرة المطلوبة وزمن التدريب بشكل كبير، والأجمل أن ملف التعديل الناتج صغير، قد يكون بضع عشرات من الميجابايتات، فتستطيع الاحتفاظ بعدة "محولات" LoRA لمهام مختلفة وتبديلها فوق النموذج الأساسي نفسه حسب الحاجة.
QLoRA: خطوة أبعد في توفير الذاكرة
حتى مع LoRA، يجب تحميل النموذج الأساسي كاملًا في ذاكرة كرت الشاشة، وهذا وحده قد يتجاوز قدرة الكروت المنزلية. جاءت تقنية QLoRA عام 2023 لتحل هذه المشكلة بتحميل النموذج الأساسي المجمد بدقة 4 بت بدل 16 بت، أي بربع الذاكرة تقريبًا، مع تدريب محولات LoRA فوقه بدقة أعلى. وقد أظهر الباحثون أن هذا الأسلوب يحقق جودة قريبة جدًا من الضبط الدقيق الكامل. بفضل ذلك أصبح تدريب نموذج بحجم 7 أو 8 مليارات معامل ممكنًا على كرت بذاكرة 12 إلى 16 جيجابايت تقريبًا، بحسب طول النصوص وإعدادات التدريب.تطبيق عملي: تدريب نموذج مخصص بتقنية LoRA
أهم خطوة ليست الكود، بل البيانات. تحتاج إلى أمثلة عالية الجودة من المدخلات والمخرجات المطلوبة، وغالبًا تكفي بضع مئات إلى بضعة آلاف من الأمثلة النظيفة والمتسقة. وجودة الأمثلة أهم بكثير من عددها؛ فمئتا مثال ممتاز أفضل من عشرة آلاف مثال متضارب. جهز البيانات بصيغة محادثة، ثم استخدم مكتبات مثل PEFT وTRL من Hugging Face، أو مكتبة Unsloth التي تسرّع التدريب وتقلل الذاكرة:Python:
from unsloth import FastLanguageModel
from trl import SFTTrainer, SFTConfig
from datasets import load_dataset
model, tokenizer = FastLanguageModel.from_pretrained(
"unsloth/Qwen2.5-7B-Instruct", max_seq_length=2048, load_in_4bit=True) # QLoRA
model = FastLanguageModel.get_peft_model(
model, r=16, lora_alpha=16, lora_dropout=0,
target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"])
data = load_dataset("json", data_files="support_replies.jsonl", split="train")
trainer = SFTTrainer(model=model, tokenizer=tokenizer, train_dataset=data,
args=SFTConfig(per_device_train_batch_size=2, gradient_accumulation_steps=4,
num_train_epochs=2, learning_rate=2e-4, output_dir="out"))
trainer.train()
model.save_pretrained("my-support-lora") # ملف المحول فقط، حجمه صغيرالمعامل r هو رتبة المصفوفتين الصغيرتين، والقيم بين 8 و64 شائعة، وكلما زادت زادت قدرة المحول على التعلم مع زيادة الذاكرة وخطر الحفظ الحرفي. وبعد التدريب يمكنك دمج المحول مع النموذج وتصديره بصيغة GGUF لتشغيله في Ollama أو LM Studio.