في عام 2017 نشر فريق من الباحثين في جوجل ورقة علمية بعنوان لافت: "Attention Is All You Need" أي "الانتباه هو كل ما تحتاجه". لم يتوقع كثيرون حينها أن هذه الورقة ستغير مسار الذكاء الاصطناعي بالكامل، لكن البنية التي قدمتها، وهي بنية المحولات أو Transformers، أصبحت الأساس الذي يقوم عليه ChatGPT وGemini وClaude وكل النماذج اللغوية الكبيرة تقريبًا، بل امتدت إلى توليد الصور والفيديو وفهم البروتينات. فما الذي يجعل هذه البنية مميزة إلى هذا الحد؟ في هذا الشرح سنفهمها دون معادلات معقدة، خطوة بخطوة.

ولتحقيق ذلك تُنشئ المحولات لكل كلمة ثلاثة متجهات: الاستعلام (Query) الذي يمثل ما تبحث عنه الكلمة، والمفتاح (Key) الذي يمثل ما تقدمه للكلمات الأخرى، والقيمة (Value) التي تحمل المعلومات الفعلية. ويُحسب مدى انتباه كل كلمة لغيرها بمقارنة استعلامها بمفاتيح الكلمات الأخرى، ثم تُجمع القيم بحسب هذه الأوزان. والنتيجة تمثيل جديد لكل كلمة مشبع بالسياق المحيط بها.
ولأن المحولات تنظر إلى كل الكلمات معًا، فإنها لا تعرف ترتيبها تلقائيًا، لذلك تضاف إلى كل كلمة معلومة عن موقعها في الجملة تسمى الترميز الموضعي، حتى يفرق النموذج بين "عض الكلب الرجل" و"عض الرجل الكلب".
فهم بنية المحولات مهم لكل من يعمل في تطوير تطبيقات الذكاء الاصطناعي، لأنه يساعدك على فهم سلوك النماذج التي تستخدمها يوميًا: لماذا يتأثر النموذج بترتيب المعلومات في السياق، ولماذا تكلف النصوص الطويلة أكثر، ولماذا يولد الإجابة كلمة بكلمة. وهذا الموضوع ضمن سلسلة تطوير تطبيقات الذكاء الاصطناعي في المنتدى. أي جزء من المحولات تريد أن نتعمق فيه أكثر في موضوع قادم؟

المشكلة قبل المحولات
قبل المحولات كانت النماذج التي تعالج اللغة، مثل الشبكات العصبية المتكررة RNN ونسختها المحسنة LSTM، تقرأ النص كلمة بعد كلمة بالترتيب، وتحاول أن تحمل ملخصًا لما قرأته في ذاكرة داخلية محدودة. هذه الطريقة لها عيبان كبيران. الأول أنها بطيئة في التدريب، لأن كل كلمة تنتظر انتهاء معالجة الكلمة التي قبلها، فلا يمكن الاستفادة الكاملة من قدرة كروت الشاشة على المعالجة المتوازية. والثاني أنها تنسى؛ ففي جملة طويلة قد يضيع الارتباط بين كلمة في البداية وكلمة في النهاية.الفكرة الذكية: آلية الانتباه
جاءت بنية المحولات بفكرة بسيطة في جوهرها: بدل القراءة المتسلسلة، دع كل كلمة "تنظر" إلى كل الكلمات الأخرى في الجملة في الوقت نفسه، وتقرر بنفسها أيها الأهم لفهم معناها. هذه هي آلية الانتباه الذاتي (Self-Attention). خذ مثلًا الجملة "وضع الطالب الكتاب على الطاولة لأنه كان ثقيلًا". على من يعود الضمير في "لأنه"؟ الإنسان يعرف فورًا أنه الكتاب. آلية الانتباه تتيح للنموذج أن يربط "لأنه" بقوة بكلمة "الكتاب" وبشكل أضعف ببقية الكلمات، فيفهم المعنى الصحيح.ولتحقيق ذلك تُنشئ المحولات لكل كلمة ثلاثة متجهات: الاستعلام (Query) الذي يمثل ما تبحث عنه الكلمة، والمفتاح (Key) الذي يمثل ما تقدمه للكلمات الأخرى، والقيمة (Value) التي تحمل المعلومات الفعلية. ويُحسب مدى انتباه كل كلمة لغيرها بمقارنة استعلامها بمفاتيح الكلمات الأخرى، ثم تُجمع القيم بحسب هذه الأوزان. والنتيجة تمثيل جديد لكل كلمة مشبع بالسياق المحيط بها.
رؤوس انتباه متعددة وطبقات متراكمة
لا تكتفي بنية المحولات بآلية انتباه واحدة، بل تستخدم عدة "رؤوس انتباه" تعمل بالتوازي، يتعلم كل منها التركيز على نوع مختلف من العلاقات: رأس قد يلتقط العلاقات النحوية، وآخر يربط الضمائر بأصحابها، وثالث يلتقط العلاقات المعنوية البعيدة. ثم تمر النتائج عبر شبكة عصبية بسيطة، وتتكرر هذه الطبقة عشرات المرات فوق بعضها، فكلما صعدنا في الطبقات أصبح الفهم أعمق وأكثر تجريدًا.ولأن المحولات تنظر إلى كل الكلمات معًا، فإنها لا تعرف ترتيبها تلقائيًا، لذلك تضاف إلى كل كلمة معلومة عن موقعها في الجملة تسمى الترميز الموضعي، حتى يفرق النموذج بين "عض الكلب الرجل" و"عض الرجل الكلب".
من الترجمة إلى ChatGPT
صُممت البنية الأصلية للترجمة الآلية، وكانت تتكون من جزأين: مُرمّز يفهم الجملة المصدر، ومُفكك يولد الترجمة. ثم انقسمت العائلة إلى فروع؛ فنماذج مثل BERT استخدمت المرمّز فقط وتفوقت في الفهم والتصنيف والبحث، بينما نماذج GPT استخدمت المفكك فقط ودُربت على مهمة واحدة بسيطة: توقع الكلمة التالية. ومع تكبير هذه النماذج إلى مليارات المعاملات وتدريبها على كميات هائلة من النصوص، ظهرت قدرات مفاجئة كالاستدلال والبرمجة والترجمة دون تدريب خاص. وهذا هو جوهر ما يحدث عندما تكتب لنموذج محادثة: إنه يتوقع الكلمة التالية مرة بعد مرة، مستخدمًا الانتباه لربط كل كلمة يولدها بكل ما سبقها.لماذا انتصرت بنية المحولات؟
السبب الأهم أن بنية المحولات قابلة للتوسع بشكل استثنائي. لأن الحسابات تتم بالتوازي، أصبح من الممكن تدريب نماذج عملاقة على آلاف كروت الشاشة في وقت معقول، ولاحظ الباحثون أن الأداء يتحسن بشكل متوقع كلما زاد حجم النموذج والبيانات والحوسبة. لكن للبنية ثمنًا أيضًا: آلية الانتباه تقارن كل كلمة بكل كلمة، فتتضاعف الحسابات بسرعة مع طول النص، وهذا سبب تكلفة السياقات الطويلة، وسبب ظهور أبحاث كثيرة لتحسين الكفاءة مثل الانتباه المتفرق وبُنى بديلة كنماذج الحالة.فهم بنية المحولات مهم لكل من يعمل في تطوير تطبيقات الذكاء الاصطناعي، لأنه يساعدك على فهم سلوك النماذج التي تستخدمها يوميًا: لماذا يتأثر النموذج بترتيب المعلومات في السياق، ولماذا تكلف النصوص الطويلة أكثر، ولماذا يولد الإجابة كلمة بكلمة. وهذا الموضوع ضمن سلسلة تطوير تطبيقات الذكاء الاصطناعي في المنتدى. أي جزء من المحولات تريد أن نتعمق فيه أكثر في موضوع قادم؟