رأي معايير تقييم نماذج الذكاء الاصطناعي (AI Benchmarks): هل تعكس الأرقام الأداء الحقيقي أم تُخدع بها؟

الرُمح

Moderator
طاقم الإدارة
مشرفين انكور
عضو انكور
مع كل إطلاق لنموذج ذكاء اصطناعي جديد يظهر الجدول نفسه تقريبًا: أسماء اختبارات غامضة، وأرقام بنسب مئوية، والنموذج الجديد يتصدر بفارق ضئيل. وتتسابق الشركات على عبارة "الأفضل في العالم". لكن المطورين والمستخدمين يلاحظون مرارًا أن النموذج الذي يتصدر الجداول ليس بالضرورة الأفضل في عملهم الفعلي. فما قيمة معايير التقييم (AI Benchmarks) حقًا؟ وكيف نقرأ أرقامها دون أن نُخدع؟ في هذا الموضوع ضمن سلسلة مستقبل الذكاء الاصطناعي نناقش ما تقيسه هذه المعايير، وأين تفشل، وكيف تقيّم النماذج بنفسك.

img1.webp

ما هي معايير التقييم ولماذا نحتاجها؟​

معيار التقييم مجموعة ثابتة من الأسئلة أو المهام لها إجابات معروفة، تُعطى للنماذج المختلفة لمقارنة أدائها بطريقة موحدة. فهناك معايير للمعرفة العامة مثل MMLU، وللرياضيات، وللبرمجة مثل SWE-bench الذي يقيس قدرة النموذج على حل مشكلات حقيقية في مستودعات برمجية، وللاستدلال المجرد مثل ARC-AGI، ومعايير صُممت لتكون صعبة جدًا مثل Humanity's Last Exam. ومن دون هذه المعايير ستكون المقارنة مجرد انطباعات وتسويق. فهي ضرورية لقياس التقدم العلمي، وتحديد نقاط الضعف، ومنح المطورين نقطة انطلاق للاختيار.

المشكلة الأولى: التشبع​

كثير من معايير التقييم التي كانت تعتبر صعبة قبل سنوات قليلة وصلت النماذج فيها إلى درجات قريبة من الكمال. وحين تحصل كل النماذج الكبرى على 90% أو أكثر، يصبح الفرق بين 91% و92% أقرب إلى الضجيج الإحصائي، ولا يخبرك شيئًا مهمًا. لذلك يضطر الباحثون باستمرار إلى ابتكار معايير أصعب، فتتحول العملية إلى سباق متواصل.

المشكلة الثانية: التلوث​

النماذج تُدرب على كميات هائلة من نصوص الإنترنت، وأسئلة كثير من معايير التقييم منشورة على الإنترنت مع إجاباتها. وهذا يعني أن النموذج ربما "رأى" الأسئلة أثناء التدريب، فيكون أداؤه انعكاسًا للحفظ لا للفهم، تمامًا كطالب حصل على أسئلة الامتحان مسبقًا. وقد أظهرت دراسات أن أداء بعض النماذج ينخفض بشكل ملحوظ حين تُعاد صياغة الأسئلة نفسها أو تُغير أرقامها، وهذا مؤشر على التلوث.

المشكلة الثالثة: التحسين من أجل الاختبار​

حين يصبح المقياس هدفًا يفقد قيمته كمقياس، وهي ملاحظة معروفة باسم قانون غودهارت. فالشركات تحت ضغط التنافس قد تضبط نماذجها لتتفوق في معايير التقييم الشهيرة تحديدًا. وحتى منصات التقييم البشري مثل LMArena، التي يقارن فيها المستخدمون إجابتين دون معرفة النموذج ويصوتون للأفضل، تعرضت لانتقادات؛ إذ قد تفضل أصوات المستخدمين الإجابات الأطول والأكثر تنسيقًا وتملقًا لا الأدق، وأثيرت تساؤلات حول اختبار شركات لنسخ خاصة غير متاحة للعامة ثم نشر أفضل نتائجها فقط.

img2.webp

كيف تقرأ الأرقام بذكاء؟​

انظر إلى المعيار الذي يشبه استخدامك: إذا كنت مبرمجًا فنتائج SWE-bench أهم لك من اختبارات المعرفة العامة. وفضّل النتائج المستقلة التي أجرتها جهات محايدة على أرقام الشركة نفسها. وانتبه لظروف الاختبار: كم مرة سُمح للنموذج بالمحاولة؟ هل استخدم أدوات؟ كم وقتًا للتفكير؟ فهذه التفاصيل قد تغير النتيجة كثيرًا. ولا تبالغ في الفروق الصغيرة.

أفضل معيار: معيارك الخاص​

الطريقة الأكثر موثوقية لاختيار نموذج هي بناء مجموعة تقييم صغيرة من مهامك الحقيقية: عشرون إلى خمسون مثالًا من عملك، بالعربية إن كان عملك بالعربية، مع ما تعتبره إجابة جيدة. ثم شغّل النماذج المرشحة عليها وقارن النتائج والتكلفة والسرعة. هذا الاستثمار البسيط يحميك من الانبهار بالأرقام، وهو ممارسة أساسية في تطوير أي تطبيق جاد.

معايير التقييم أداة ضرورية لكنها خريطة لا الأرض نفسها. ما رأيك: هل تثق بجداول المقارنة التي تنشرها الشركات؟ وهل لاحظت فرقًا بين ترتيب النماذج في الجداول وأدائها في عملك؟
 

رأيك جزء من المعرفة.

أضف تجربتك أو سؤالك، فالنقاش يكمل الفكرة.

عودة
أعلى