شرح شرح تقنية Embeddings (التضمينات) في الذكاء الاصطناعي: كيف تفهم الآلة معنى الكلمات وتقارنها؟

الرُمح

Moderator
طاقم الإدارة
مشرفين انكور
عضو انكور
حين تكتب في محرك بحث "أفضل طريقة لتعلم البرمجة للمبتدئين" فتظهر لك صفحة عنوانها "كيف تبدأ رحلتك في كتابة الكود من الصفر"، فهذا يعني أن الآلة فهمت أن الجملتين تحملان المعنى نفسه رغم اختلاف الكلمات. السر وراء هذا الفهم تقنية تسمى Embeddings أو التضمينات، وهي من أهم المفاهيم التي يحتاجها كل من يعمل في تطوير تطبيقات الذكاء الاصطناعي، لأنها الأساس الذي تقوم عليه أنظمة البحث الذكي والتوصيات والإجابة من الملفات وتصنيف النصوص. في هذا الشرح سنفهم الفكرة من جذورها، ونجربها بالكود، ونعرف كيف نختار النموذج المناسب للعربية.

img1.webp

المشكلة التي تحلها تقنية Embeddings​

الحاسوب لا يفهم الكلمات، بل يتعامل مع الأرقام فقط. الطرق القديمة كانت تحول النص إلى أرقام عبر عدّ الكلمات، فتعتبر جملتين متشابهتين إذا اشتركتا في كلمات كثيرة. المشكلة أن هذا الأسلوب يعجز عن فهم المرادفات والسياق؛ فكلمتا "سيارة" و"مركبة" مختلفتان تمامًا بالنسبة له، بينما كلمة "بنك" في "بنك المعلومات" و"البنك العربي" متطابقة رغم اختلاف المعنى.

جاءت تقنية Embeddings لتحل هذه المشكلة بطريقة مختلفة جذريًا: بدل تمثيل النص بالكلمات التي يحتويها، نمثله بموقعه في "فضاء المعاني". كل نص يتحول إلى متجه، أي قائمة طويلة من الأرقام قد تصل إلى مئات أو آلاف الأبعاد، وتُبنى هذه الأرقام بحيث تكون النصوص المتشابهة في المعنى قريبة من بعضها في هذا الفضاء، والمختلفة بعيدة عنها.

كيف تتعلم الآلة هذه الأرقام؟​

نماذج التضمين تُدرب على كميات ضخمة من النصوص لتتعلم أن الكلمات والجمل التي تظهر في سياقات متشابهة تحمل معاني متقاربة. وفي النماذج الحديثة يتم التدريب غالبًا بأسلوب يسمى التعلم التبايني، حيث يُعرض على النموذج أزواج من النصوص المتشابهة، كسؤال وإجابته أو عنوان ومقاله، فيتعلم تقريب متجهاتها، بينما يتعلم إبعاد النصوص غير المرتبطة. والنتيجة نموذج يستطيع أن يأخذ أي نص جديد ويضعه في المكان المناسب من فضاء المعاني.

ومن الأمثلة الشهيرة التي توضح جمال الفكرة أن العلاقات بين المعاني تصبح علاقات هندسية؛ ففي نماذج تضمين الكلمات المبكرة لوحظ أن المسافة والاتجاه بين "ملك" و"ملكة" يشبهان تلك التي بين "رجل" و"امرأة"، أي أن النموذج التقط مفهوم الجنس كاتجاه داخل الفضاء دون أن يعلّمه أحد ذلك صراحة.

كيف نقارن المعاني رياضيًا؟​

بعد تحويل النصوص إلى متجهات، نقيس التشابه بينها غالبًا بمقياس يسمى تشابه جيب التمام (Cosine Similarity)، وهو يقيس الزاوية بين متجهين: كلما صغرت الزاوية واقتربت القيمة من 1 كان المعنى أقرب. وهذه تجربة عملية بسيطة باستخدام مكتبة sentence-transformers ونموذج متعدد اللغات يدعم العربية:

Python:
from sentence_transformers import SentenceTransformer, util

model = SentenceTransformer("intfloat/multilingual-e5-base")

texts = ["query: كيف أسترجع المبلغ المدفوع؟",
         "passage: سياسة استرداد الأموال خلال 14 يومًا",
         "passage: مواعيد الشحن إلى المدن الرئيسية"]
emb = model.encode(texts, normalize_embeddings=True)

print(util.cos_sim(emb[0], emb[1]))  # تشابه مرتفع
print(util.cos_sim(emb[0], emb[2]))  # تشابه أقل بوضوح

لاحظ أن جملة السؤال لا تشترك تقريبًا في أي كلمة مع جملة سياسة الاسترداد، ومع ذلك سيعطي النموذج تشابهًا أعلى بكثير لها مقارنة بجملة الشحن. ولاحظ أيضًا البادئتين query وpassage، فبعض النماذج دُربت على التمييز بين السؤال والنص المسترجع، واستخدامهما كما توصي وثائق النموذج يحسن النتائج.

أين تُستخدم تقنية Embeddings عمليًا؟​

الاستخدام الأشهر هو البحث الدلالي، أي البحث بالمعنى بدل الكلمات الحرفية، وهو قلب أنظمة RAG التي تجعل النموذج يجيب من ملفاتك. وتُستخدم كذلك في أنظمة التوصية لاقتراح مقالات أو منتجات مشابهة لما يتصفحه المستخدم، وفي تجميع النصوص تلقائيًا في مجموعات حسب موضوعها، وفي اكتشاف المحتوى المكرر حتى لو أعيدت صياغته، وفي تصنيف رسائل العملاء دون الحاجة إلى تدريب نموذج تصنيف كامل. بل إن هناك نماذج تضمين متعددة الوسائط تضع الصور والنصوص في الفضاء نفسه، فتبحث عن صورة بوصف نصي.

كيف تختار نموذج Embeddings مناسبًا للعربية؟​

ليست كل النماذج متساوية في فهم العربية. ابدأ بالنماذج متعددة اللغات مثل multilingual-e5 وbge-m3، أو نماذج التضمين التي يوفرها مزودو الواجهات البرمجية، ثم اختبرها على بياناتك الحقيقية: اجمع عشرين سؤالًا مع الإجابة الصحيحة لكل منها، وقس كم مرة تأتي الإجابة الصحيحة في المراتب الأولى. ويمكنك الاستعانة بلوحة MTEB التي تقارن النماذج على مهام متعددة. وضع في اعتبارك أيضًا حجم المتجه، فالمتجهات الأطول قد تكون أدق لكنها تستهلك مساحة تخزين أكبر وتبطئ البحث، وكذلك طول النص الأقصى الذي يقبله النموذج.

خلاصة​

تقنية Embeddings هي الجسر بين لغة البشر ولغة الأرقام، وفهمها يفتح لك الباب لبناء أنظمة بحث وتوصية وإجابة ذكية حقًا. وهي الخطوة الأولى في سلسلة تطوير تطبيقات الذكاء الاصطناعي الجديدة في المنتدى، وسنبني عليها مباشرة في الموضوع التالي عن البحث الدلالي. هل جربت نماذج التضمين مع نصوص عربية؟ وأي نموذج أعطاك أفضل النتائج؟
 

رأيك جزء من المعرفة.

أضف تجربتك أو سؤالك، فالنقاش يكمل الفكرة.

عودة
أعلى