شرح بناء نظام بحث دلالي (Semantic Search) لموقعك أو منتداك باستخدام الذكاء الاصطناعي

الرُمح

Moderator
طاقم الإدارة
مشرفين انكور
عضو انكور
كل صاحب منتدى أو موقع محتوى يعرف هذه الشكوى: عضو يبحث عن "مشكلة بطء الموقع بعد التحديث" فلا يجد شيئًا، رغم وجود موضوع كامل بعنوان "حل مشكلة ثقل الصفحات بعد ترقية الإضافات". البحث التقليدي يطابق الكلمات حرفيًا، فإذا لم تتطابق لا يجد النتيجة. أما البحث الدلالي (Semantic Search) فيفهم المقصود من السؤال ويبحث بالمعنى، وهو اليوم من أكثر مشاريع تطوير تطبيقات الذكاء الاصطناعي فائدة لأصحاب المواقع، لأنه يحسن تجربة الزائر ويزيد مدة بقائه ويعيد إحياء المحتوى القديم المدفون في الأرشيف. في هذا الشرح سنبني نظام بحث دلالي عمليًا لموقع أو منتدى، خطوة بخطوة.

img1.webp

كيف يعمل البحث الدلالي؟​

فكرة البحث الدلالي تعتمد على تقنية التضمينات التي شرحناها في الموضوع السابق. نحول كل موضوع أو مقال في الموقع إلى متجه رقمي يمثل معناه، ونخزن هذه المتجهات في قاعدة بيانات تدعم البحث بالقرب. وعندما يكتب الزائر سؤاله، نحوله بالنموذج نفسه إلى متجه، ثم نبحث عن أقرب المتجهات إليه، فنحصل على المواضيع الأقرب معنى حتى لو لم تشترك معه في كلمة واحدة. بهذه البساطة يتحول صندوق البحث في موقعك من مطابق للحروف إلى فاهم للمقصود.

الخطوة الأولى: تجهيز المحتوى​

أول خطوة في بناء البحث الدلالي هي تصدير المحتوى من قاعدة بيانات الموقع: عنوان كل موضوع، ونصه، ورابطه، والقسم الذي ينتمي إليه، وتاريخ آخر تحديث. في منتديات مثل XenForo يمكنك القراءة مباشرة من قاعدة البيانات أو عبر الواجهة البرمجية للمنتدى، وفي ووردبريس عبر REST API. ثم نظف النص من أكواد BBCode ووسوم HTML والاقتباسات المكررة والتواقيع، لأنها تشوش على المعنى. أما المواضيع الطويلة جدًا فقسمها إلى مقاطع بحجم مناسب مع الاحتفاظ برابط الموضوع الأصلي لكل مقطع، حتى لا تضيع التفاصيل المهمة في منتصف النص.

الخطوة الثانية: توليد المتجهات وتخزينها​

سنستخدم في هذا المثال قاعدة PostgreSQL مع إضافة pgvector، لأنها خيار عملي لمعظم المواقع ولا تحتاج إلى خدمة جديدة، ونموذج تضمين متعدد اللغات يدعم العربية:

Python:
import psycopg
from sentence_transformers import SentenceTransformer

model = SentenceTransformer("BAAI/bge-m3")
db = psycopg.connect("dbname=forum user=search_user")

db.execute("""CREATE EXTENSION IF NOT EXISTS vector;
CREATE TABLE IF NOT EXISTS search_index (
  id serial PRIMARY KEY, thread_id int, title text, url text, chunk text,
  embedding vector(1024));""")

def index_thread(t):
    for chunk in split_text(t["body"], 800):          # دالة تقسيم بسيطة
        vec = model.encode(t["title"] + "\n" + chunk, normalize_embeddings=True)
        db.execute("INSERT INTO search_index (thread_id,title,url,chunk,embedding) VALUES (%s,%s,%s,%s,%s)",
                   (t["id"], t["title"], t["url"], chunk, vec.tolist()))
    db.commit()

لاحظ أننا ندمج العنوان مع كل مقطع قبل توليد المتجه، لأن العنوان غالبًا يلخص الموضوع ويحسن دقة النتائج كثيرًا.

الخطوة الثالثة: تنفيذ البحث الدلالي​

عند وصول سؤال الزائر نحوله إلى متجه، ونطلب أقرب النتائج باستخدام معامل المسافة في pgvector، ثم نجمع المقاطع حسب الموضوع حتى لا يظهر الموضوع نفسه عدة مرات:

Python:
def search(query, k=10):
    q = model.encode(query, normalize_embeddings=True).tolist()
    rows = db.execute("""SELECT thread_id, title, url, 1 - (embedding <=> %s::vector) AS score
                         FROM search_index ORDER BY embedding <=> %s::vector LIMIT 30""", (q, q)).fetchall()
    seen, results = set(), []
    for tid, title, url, score in rows:
        if tid not in seen:
            seen.add(tid); results.append({"title": title, "url": url, "score": round(score, 3)})
    return results[:k]

بعد ذلك تغلف الدالة بواجهة API صغيرة باستخدام FastAPI أو Flask، وتربطها بصندوق البحث في الموقع عبر طلب JavaScript بسيط يعرض النتائج. ومع ازدياد عدد المتجهات أضف فهرس HNSW إلى العمود لتبقى السرعة عالية.

البحث الهجين: أفضل ما في العالمين​

للبحث الدلالي نقطة ضعف: الأسماء الدقيقة وأرقام الإصدارات والأكواد. إذا بحث العضو عن "خطأ 500 في الإضافة X" فالمطابقة الحرفية هنا مهمة جدًا. لذلك تعتمد الأنظمة الاحترافية على البحث الهجين، الذي يجمع نتائج البحث النصي التقليدي مع نتائج البحث بالمعنى ثم يدمجها بطريقة ترتيب مثل Reciprocal Rank Fusion. وهكذا تحصل على دقة الكلمات المفتاحية ومرونة فهم المعنى معًا. ويمكنك إضافة طبقة إعادة ترتيب بنموذج متخصص على أفضل عشرين نتيجة لرفع الدقة أكثر.

نصائح قبل الإطلاق​

لكي يبقى البحث الدلالي دقيقًا حدّث الفهرس تلقائيًا عند نشر موضوع جديد أو تعديله، باستخدام مهمة مجدولة أو مستمع للأحداث، وإلا ستظهر نتائج قديمة. احترم صلاحيات الأقسام، فلا تُظهر في البحث العام مواضيع من أقسام خاصة أو مخفية. وسجل الأسئلة التي لم تجد نتائج جيدة، فهي كنز لمعرفة المحتوى الذي يحتاجه جمهورك ولم تكتبه بعد. هذا الشرح جزء من سلسلة تطوير تطبيقات الذكاء الاصطناعي في المنتدى، فهل تفكر في إضافة البحث الدلالي إلى موقعك؟ وما المنصة التي يعمل عليها؟
 

رأيك جزء من المعرفة.

أضف تجربتك أو سؤالك، فالنقاش يكمل الفكرة.

عودة
أعلى