كيفية تشغيل نماذج اللغة الكبيرة مفتوحة المصدر (LLMs) على جهازك الخاص باستخدام Ollama

[Admin]

أصبحت أدوات الذكاء الاصطناعي شائعة في الوقت الحالي، وربما تستخدمها يوميًا. إحدى الطرق الرئيسية لحماية بياناتك السرية - سواء كانت شخصية أو متعلقة بالأعمال - هي تشغيل الذكاء الاصطناعي الخاص بك على بنيتك التحتية الخاصة. سيشرح هذا الدليل كيفية استضافة نموذج لغة كبير مفتوح المصدر (LLM) على جهاز الكمبيوتر الخاص بك. يساعد ذلك في ضمان عدم تعريض بياناتك للخطر مع شركات الطرف الثالث عبر حلول الذكاء الاصطناعي المستندة إلى السحابة.
​

​

المتطلبات الأساسية​

- معرفة بسيطة بالذكاء الاصطناعي: سيغطي المقال المفاهيم الأساسية المتعلقة بما سنقوم به في هذا المقال، ولكن بعض المعرفة الأساسية عن نماذج اللغة الكبيرة (LLMs) ستساعدك على فهم الموضوع بشكل أفضل. لا تقلق إذا كنت لا تعرف شيئًا – ستظل تجد هذا الموضوع ممتعًا.
- جهاز كمبيوتر مناسب: نظام يحتوي على ذاكرة RAM لا تقل عن 16 جيجابايت، ومعالج متعدد النواة (CPU)، ويفضل أن يكون مزودًا بوحدة معالجة رسومات (GPU) للحصول على أداء أمثل. (إذا كانت مواصفات جهازك أقل، قد يكون الأداء بطيئًا جدًا).
- اتصال بالإنترنت: مطلوب لتنزيل وتثبيت النماذج.
- الوقت والصبر​

ما هو نموذج اللغة الكبير (LLM)؟​

نماذج اللغة الكبيرة (LLMs) هي أنظمة ذكاء اصطناعي متقدمة تم تدريبها لفهم وإنتاج لغة بشرية طبيعية قابلة للقراءة. تعتمد هذه النماذج على خوارزميات لمعالجة وفهم اللغة الطبيعية، ويتم تدريبها على كميات كبيرة من البيانات لفهم الأنماط والعلاقات في تلك البيانات. شركات مثل OpenAI وAnthropic وMeta قامت بتطوير نماذج LLMs التي يمكن استخدامها لأداء مهام مثل إنشاء المحتوى، تحليل الأكواد البرمجية، تخطيط الرحلات، وغير ذلك.​

الذكاء الاصطناعي المستند إلى السحابة مقابل الذكاء الاصطناعي المستضاف محليًا​

قبل أن تقرر استضافة نموذج ذكاء اصطناعي محليًا، من المهم فهم كيفية اختلاف هذا النهج عن الحلول المستندة إلى السحابة. لكل من الخيارين مزاياهما وهما مناسبان لحالات استخدام مختلفة.​

حلول الذكاء الاصطناعي المستندة إلى السحابة​

تُستضاف هذه الخدمات وتُدار من قبل مزودين مثل OpenAI، Google، أو AWS. أمثلة على ذلك تشمل نماذج GPT من OpenAI، وGoogle Bard، وAWS SageMaker. يتم الوصول إلى هذه النماذج عبر الإنترنت باستخدام واجهات برمجية (APIs) أو نقاط اتصال.​

الخصائص الرئيسية:​

• سهولة الاستخدام: الإعداد بسيط – يكفي فقط التكامل مع واجهة برمجية أو الوصول من خلال صفحات الويب.​
• القابلية للتوسع: تدير الأحمال الكبيرة والطلبات المتزامنة بشكل أفضل نظرًا لأنها تُدار من قبل الشركات.​
• النماذج الحديثة: غالبًا ما تكون أحدث وأقوى النماذج متوفرة في السحابة.​
• الاعتماد على البيانات: يتم إرسال بياناتك إلى السحابة لمعالجتها، مما قد يثير مخاوف تتعلق بالخصوصية.​
• التكاليف المستمرة: بالرغم من أن بعض النماذج مجانية، إلا أن هناك نماذج أخرى يتم دفع رسوم على كل طلب أو استخدام، خاصةً النماذج الأقوى أو الأحدث، مما يجعلها بمثابة مصروف تشغيل مستمر.​

الذكاء الاصطناعي المستضاف محليًا​

في هذا النهج، تقوم بتشغيل النموذج على أجهزتك الخاصة. يمكن تنزيل نماذج مفتوحة المصدر مثل Llama 2 وGPT-J وMistral واستضافتها باستخدام أدوات مثل Ollama.​

الخصائص الرئيسية:​

• خصوصية البيانات: تبقى بياناتك ضمن بنيتك التحتية، مما يمنحك تحكمًا كاملاً عليها.​
• فعالية التكلفة على المدى الطويل: يتطلب استثمارًا أوليًا في الأجهزة، ولكنه يتجنب رسوم واجهات برمجية (API) المستمرة.​
• قابلية التخصيص: يمكنك تحسين النماذج وتكييفها لتلبية احتياجات محددة.​
• متطلبات تقنية: يتطلب أجهزة قوية، جهدًا للإعداد، ومعرفة تقنية.​
• قابلية التوسع المحدودة: الأنسب للاستخدام الشخصي أو على نطاق صغير.​

أي خيار يجب أن تختار؟​

إذا كنت بحاجة إلى وصول سريع وقابل للتوسع إلى نماذج متقدمة ولا تمانع في مشاركة البيانات مع طرف ثالث، فإن حلول الذكاء الاصطناعي المستندة إلى السحابة هي الخيار الأفضل على الأرجح. من ناحية أخرى، إذا كانت أولوية البيانات الأمنية أو التخصيص أو توفير التكاليف هي الأهم، فقد يكون استضافة نموذج LLM محليًا هو الحل الأنسب.​

كيف يمكنك تشغيل نماذج LLM محليًا على جهازك؟​

توجد العديد من الحلول التي تتيح لك تشغيل بعض نماذج LLM مفتوحة المصدر على بنيتك التحتية الخاصة. بينما تركز معظم الحلول المستضافة محليًا على نماذج LLM مفتوحة المصدر – مثل Llama 2 وGPT-J وMistral – توجد حالات يمكن فيها تشغيل نماذج مملوكة أو مرخصة محليًا، اعتمادًا على شروط الاستخدام الخاصة بها.​

نماذج مفتوحة المصدر:​

هذه النماذج متاحة مجانًا ويمكن تنزيلها وتعديلها واستضافتها دون قيود ترخيص. أمثلة على ذلك تشمل Llama 2 (Meta) وGPT-J وMistral.​

نماذج مملوكة مع خيارات محلية:​

تقدم بعض الشركات إصدارات قابلة للتنزيل من نماذجها للاستخدام دون اتصال بالإنترنت، ولكن هذا غالبًا ما يتطلب تراخيص محددة أو أجهزة معينة. على سبيل المثال، يوفر إطار عمل NeMo من NVIDIA أدوات لاستضافة نماذجها على بنيتك التحتية، كما تقدم بعض الشركات الصغيرة نسخًا قابلة للتنزيل من نماذج LLM الخاصة بها لعملاء المؤسسات.​

ملاحظات هامة:​

- إذا كنت ستشغل نموذج LLM خاص بك، ستحتاج إلى جهاز كمبيوتر قوي يحتوي على معالج GPU وCPU جيدين.
- إذا كان جهازك غير قوي، يمكنك تجربة تشغيل نماذج أصغر وأخف وزنًا، ولكن الأداء قد يكون بطيئًا.​

مثال على إعداد نظام مناسب (المستخدم في هذا الدليل):​

• المعالج (CPU): Intel Core i7 13700HX​
• الذاكرة (RAM): 16GB DDR5​
• التخزين (STORAGE): 512GB SSD​
• معالج الرسومات (GPU): Nvidia RTX 3050 (6GB)​
• ​

في هذا الدليل، ستستخدم Ollama لتنزيل وتشغيل نماذج الذكاء الاصطناعي على جهاز الكمبيوتر الخاص بك.​

ما هو Ollama؟​

Ollama هو أداة مصممة لتبسيط عملية تشغيل نماذج اللغة الكبيرة مفتوحة المصدر (LLMs) مباشرة على جهاز الكمبيوتر الخاص بك. يعمل كمدير ومشغّل محلي للنماذج، حيث يتولى كل شيء بدءاً من تحميل ملفات النموذج وصولاً إلى إعداد بيئة محلية يمكنك من خلالها التفاعل معها.​

إليك ما يساعدك Ollama في القيام به:​

• إدارة النماذج: يوفر Ollama طريقة مباشرة لتصفح وتحميل وإدارة النماذج مفتوحة المصدر المختلفة. يمكنك عرض قائمة النماذج المدعومة على موقعهم الرسمي.​
• النشر بسهولة: من خلال بضعة أوامر فقط، يمكنك إعداد بيئة متكاملة لتشغيل نماذج LLM والتفاعل معها.​
• الاستضافة محلياً: تعمل النماذج بالكامل على بنيتك التحتية، مما يضمن خصوصية وأمان بياناتك.​
• دمج النماذج المختلفة: يتضمن دعماً لدمج النماذج في مشاريعك الخاصة باستخدام لغات برمجة مثل Python أو JavaScript.​

باستخدام Ollama، لا تحتاج للتعمق في تعقيدات إعداد أطر عمل التعلم الآلي أو إدارة التبعيات. فهو يبسط العملية، خاصة لأولئك الذين يريدون التجريب مع نماذج LLM دون الحاجة لخلفية تقنية عميقة.

يمكنك تثبيت Ollama بسهولة كبيرة من خلال زر التحميل في موقعهم.​

​

كيفية استخدام Ollama لتثبيت/تشغيل النموذج الخاص بك​

- بعد تثبيت Ollama، اتبع هذه الخطوات لتثبيت واستخدام النموذج:
- افتح المتصفح واذهب إلى localhost:11434 للتأكد من أن Ollama يعمل.
- افتح موجه الأوامر، واكتب ollama run <model_name>. أضف اسم النموذج المطلوب المدعوم من Ollama، مثل Llama2 (من Meta) أو Mistral.​

​

- انتظر حتى تكتمل عملية التثبيت.
- في موجه الأوامر الذي يقول >>> Send a message (/? for help)، اكتب رسالة للذكاء الاصطناعي واضغط Enter.

لقد نجحت في تثبيت النموذج الخاص بك ويمكنك الآن التحدث معه!​

بناء دردشة بوت باستخدام النموذج المثبت حديثًا لديك​

مع النماذج مفتوحة المصدر التي تعمل في البنية التحتية الخاصة بك، لديك حرية كبيرة لتعديل واستخدام النموذج بالطريقة التي تريدها. يمكنك أيضًا استخدامه لبناء دردشات بوت محلية أو تطبيقات للاستخدام الشخصي باستخدام وحدة "أولاما" في بايثون، وجافا سكريبت، ولغات أخرى.

الآن دعنا نستعرض كيفية بناء دردشة بوت باستخدامه في بايثون في بضع دقائق فقط.​

الخطوة 1: تثبيت بايثون​

إذا لم يكن لديك بايثون مثبتًا مسبقًا، قم بتنزيله وتثبيته من الموقع الرسمي لبايثون. من أجل التوافق الأفضل، تجنب استخدام أحدث إصدار من بايثون، حيث قد لا تدعم بعض الوحدات أحدث إصدار بشكل كامل بعد. بدلاً من ذلك، اختر أحدث إصدار مستقر (عادةً ما يكون الذي يسبق الإصدار الأحدث) لضمان تشغيل جميع الوحدات المطلوبة بشكل سلس.

عند إعداد بايثون، تأكد من منح المثبت امتيازات المدير وتحقق من خيار "Add to PATH".​

الخطوة 2: تثبيت أولاما​

الآن، تحتاج إلى فتح نافذة طرفية جديدة في الدليل الذي تم حفظ الملف فيه. يمكنك فتح الدليل في مستكشف الملفات والنقر بزر الماوس الأيمن، ثم النقر على "فتح في الطرفية" (فتح باستخدام موجه الأوامر أو PowerShell إذا كنت تستخدم Windows 10 أو إصدار سابق).

اكتب pip install ollama واضغط على Enter. سيقوم هذا بتثبيت وحدة أولاما لبايثون، بحيث يمكنك الوصول إلى النماذج الخاصة بك والوظائف التي يوفرها الأداة من بايثون. انتظر حتى تنتهي العملية.​

الخطوة 3: إضافة كود بايثون​

توجه لإنشاء ملف بايثون بامتداد .py في مكان ما في نظام الملفات الخاص بك، حيث يمكنك الوصول إليه بسهولة. افتح الملف باستخدام محرر الشيفرات المفضل لديك، وإذا لم يكن لديك محرر مثبت، يمكنك استخدام النسخة عبر الإنترنت من VS Code من متصفحك.

الآن، أضف هذا الكود إلى ملف بايثون الخاص بك:

from ollama import chat

def stream_response(user_input):
    """Stream the response from the chat model and display it in the CLI."""
    try:
        print("\nAI: ", end="", flush=True)
        stream = chat(model='llama2', messages=[{'role': 'user', 'content': user_input}], stream=True)
        for chunk in stream:
            content = chunk['message']['content']
            print(content, end='', flush=True)
        print()  
    except Exception as e:
        print(f"\nError: {str(e)}")

def main():
    print("Welcome to your CLI AI Chatbot! Type 'exit' to quit.\n")
    while True:
        user_input = input("You: ")
        if user_input.lower() in {"exit", "quit"}:
            print("Goodbye!")
            break
        stream_response(user_input)

if __name__ == "__main__":
    main()

إذا لم تفهم كود بايثون، إليك ما يقوم به بشكل أساسي:​

• -أولاً، يتم استيراد وحدة الدردشة من مكتبة أولاما، التي تحتوي على كود مكتوب مسبقًا للتكامل مع تطبيق أولاما على جهاز الكمبيوتر الخاص بك.​
• ثم يتم إعلان دالة stream_response، التي تمرر المدخلات الخاصة بك إلى النموذج المحدد، وتقوم ببث (توفير الاستجابة شيئًا فشيئًا بينما يتم إنشاؤها) الاستجابة الحية إليك.​
• ثم في دالة main، تتم طباعة نص الترحيب في الطرفية. تتلقى المدخلات من المستخدم، التي يتم تمريرها إلى دالة stream_response، وكل ذلك داخل حلقة لا نهائية. يتيح لنا هذا توجيه أسئلة إلى الذكاء الاصطناعي دون انقطاع عملية التنفيذ. كما نحدد أنه إذا كانت مدخلات المستخدم تحتوي على "exit" أو "quit"، سيتوقف تنفيذ الكود.​

الخطوة 4: كتابة المدخلات​

الآن عد إلى نافذة الطرفية واكتب python filename.py، مع استبدال filename باسم الملف الفعلي الذي قمت بتعيينه، واضغط على Enter.

يجب أن ترى موجهًا يقول You: ، تمامًا كما ذكرنا في الكود. اكتب المدخلات الخاصة بك واضغط على Enter. يجب أن ترى استجابة الذكاء الاصطناعي تتدفق. لإيقاف التنفيذ، أدخل المدخلات exit، أو أغلق نافذة الطرفية.

يمكنك حتى تثبيت الوحدة للغة JavaScript أو أي لغة مدعومة أخرى ودمج الذكاء الاصطناعي في كودك. لا تتردد في مراجعة الوثائق الرسمية لأولاما وما يمكنك البرمجة به باستخدام نماذج الذكاء الاصطناعي.​

كيفية تخصيص نماذجك من خلال التحسين الدقيق​

ما هو التحسين الدقيق؟​

التحسين الدقيق هو عملية أخذ نموذج لغوي مدرب مسبقًا وتدريبه بشكل إضافي على مجموعة بيانات محددة ومخصصة لغرض معين. بينما يتم تدريب النماذج الكبيرة للغة (LLMs) على مجموعات بيانات ضخمة، قد لا تتوافق دائمًا بشكل مثالي مع احتياجاتك. يتيح لك التحسين الدقيق جعل النموذج أكثر ملاءمة للحالة الخاصة بك.​

كيفية تحسين نموذج​

يتطلب التحسين الدقيق ما يلي:​

• نموذج مدرب مسبقًا: أوصي بالبدء باستخدام نموذج LLM قوي مفتوح المصدر مثل LLaMA أو Mistral أو Falcon.​
• مجموعة بيانات ذات جودة: مجموعة البيانات هي مجموعة من البيانات المستخدمة لتدريب أو اختبار أو تقييم نماذج التعلم الآلي، بما في ذلك LLMs. تؤثر جودة وملاءمة مجموعة البيانات بشكل مباشر على مدى أداء النموذج في مهمة معينة. استخدم مجموعة بيانات ذات صلة بمجالك أو مهمتك. على سبيل المثال، إذا كنت تريد من الذكاء الاصطناعي كتابة منشورات مدونة، قم بتدريبه على محتوى مدونات عالي الجودة.​
• موارد كافية: يتضمن التحسين الدقيق إعادة تدريب النموذج، مما يتطلب موارد حسابية كبيرة (يفضل استخدام آلة تحتوي على وحدة معالجة رسومية (GPU) قوية).​

لتنفيذ تحسين دقيق على نموذجك، هناك العديد من الأدوات التي يمكنك استخدامها. Unsloth هو خيار سريع لتحسين نموذج باستخدام أي مجموعات بيانات.​

ما هي فوائد استضافة نماذج LLM محليًا؟​

كما ناقشت بإيجاز أعلاه، هناك أسباب متعددة لاستضافة نموذج LLM محليًا. لتلخيص ذلك، إليك بعض من أبرز الفوائد:​

• تعزيز خصوصية البيانات وأمانها، حيث لا تترك بياناتك جهاز الكمبيوتر الخاص بك، ولديك السيطرة الكاملة عليها.​
• توفير التكاليف، حيث لا تحتاج إلى دفع اشتراكات API بانتظام. بدلاً من ذلك، فهي استثمار لمرة واحدة للحصول على بنية تحتية قوية بما يكفي لمساعدتك على الاستمرار على المدى الطويل.​
• مرونة كبيرة، حيث يمكنك تخصيص النماذج لتلبية احتياجاتك المحددة من خلال التحسين الدقيق أو التدريب على مجموعات البيانات الخاصة بك.​
• زمن استجابة أقل.​

متى لا يجب عليك استخدام الذكاء الاصطناعي المستضاف محليًا؟​

لكن قد لا يكون هذا الخيار مناسبًا لك لعدة أسباب.
- أولاً، قد لا تمتلك موارد النظام المطلوبة لتشغيل النماذج – وربما لا ترغب في الترقية أو لا تستطيع ذلك.
- ثانيًا، قد لا تمتلك المعرفة التقنية أو الوقت لإعداد نموذجك الخاص وتحسينه. ليس من الصعب للغاية، لكنه يتطلب بعض المعرفة الأساسية ومهارات معينة. يمكن أن تكون هذه مشكلة أيضًا إذا لم تكن تعرف كيفية استكشاف الأخطاء التي قد تظهر.
- كما قد تحتاج إلى أن تكون نماذجك متاحة على مدار الساعة طوال أيام الأسبوع، وقد لا تمتلك البنية التحتية اللازمة للتعامل مع ذلك.

لا تعتبر أي من هذه المشكلات غير قابلة للتجاوز، ولكنها قد تؤثر على قرارك بشأن ما إذا كنت ستستخدم حلاً قائمًا على السحابة أو تستضيف نموذجك الخاص.​

في الختام​

يمكن أن يكون استضافة نماذج LLM الخاصة بك نقطة تحول إذا كنت تقدر خصوصية البيانات وكفاءة التكاليف والتخصيص. تسهل أدوات مثل "أولاما" أكثر من أي وقت مضى جلب نماذج الذكاء الاصطناعي القوية إلى بنيتك التحتية الشخصية. بينما لا تخلو الاستضافة الذاتية من تحدياتها، فإنها تمنحك السيطرة على بياناتك والمرونة لتكييف النماذج وفقًا لاحتياجاتك.

تأكد فقط من تقييم قدراتك التقنية، وموارد الأجهزة، ومتطلبات المشروع قبل اتخاذ القرار بهذا الاتجاه. إذا كنت بحاجة إلى موثوقية، وقابلية للتوسع، وسرعة الوصول إلى ميزات متقدمة، فقد تكون نماذج LLM المستندة إلى السحابة هي الخيار الأفضل.​