انتقل إلى المحتوى

ما هو التضمين (Embedding)؟ طريقة تحويل الكلمات إلى متجهات مع الحفاظ على معناها

يحوّل التضمين الكلمات والعبارات والجمل إلى متجهات عددية تحافظ على قرب المعنى. يشرح المقال طريقة عمل هذا الأسلوب، والفرق بين Word2Vec وBERT، والنماذج التركية، واستخدامه في البحث الدلالي وروبوتات المحادثة.

Nurullah Okatan · كاتب المحتوى
· آخر تحديث: · قراءة 1 د

ما هو التضمين (Embedding)؟ طريقة تحويل الكلمات إلى متجهات مع الحفاظ على معناها

التضمين هو طريقة تحوّل الكلمة أو الجملة أو الوثيقة إلى سلسلة من الأرقام، أي متجه، بحيث يحافظ على معناها. وبما أن النصوص المتقاربة في المعنى تحصل على متجهات متقاربة، تُستخدم هذه الطريقة في البحث الدلالي وروبوتات المحادثة ومطابقة الوثائق.

كيف يحوّل التضمين النص إلى أرقام؟

يأخذ نموذج التضمين نصًا ويحوّله إلى قائمة تضم مئات الأعداد، وتُسمى هذه القائمة متجهًا. وفقًا لورقة TurkEmbed4Retrieval، تُحوَّل الكلمات والعبارات والجمل في طريقة التضمين إلى متجهات رياضية. يحدد النموذج هذه الأعداد أثناء التدريب، إذ ينظر في الكلمات التي ترد مع غيرها في ملايين النصوص.

التضمين والتعلم الآلي: كيف يعملان معًا؟

يمثل كل رقم في المتجه موقعاً على محور معين. وهكذا يقع كل نص في نقطة ضمن فضاء متعدد الأبعاد. وهذا التمثيل أقل بعداً من الجداول المتفرقة التي تعرض النص بعدّ الكلمات، ويحمل قيماً مستمرة.

يعني القرب في هذا الفضاء قرباً في المعنى. فالكلمات ذات المعنى المتشابه تقع متقاربة، والكلمات ذات المعنى المختلف تقع متباعدة. فكلمة «فاتورة» تقع قريبة من «دفع»، وتبقى بعيدة عن «خيمة تخييم». ويُقاس قرب متجهين عادةً بتشابه جيب التمام، فكلما صغرت الزاوية بين المتجهين اقترب معنى النصين.

يمكن أن يستقبل نموذج التضمين كلمة أو جملة. تمنح النماذج الأولى مثل Word2Vec متجهًا لكل كلمة على حدة. أما النماذج الأحدث فتحوّل الجملة أو الفقرة أو جزء الوثيقة إلى متجه واحد. وفي مشاريع البحث وروبوتات المحادثة يُستخدم غالبًا المتجه على مستوى الفقرة. وبما أن سؤال المستخدم جملة كاملة أيضًا، فإن السؤال وجزء الوثيقة يُقارنان على المستوى نفسه.

ذكاء اصطناعي خاص بهذا الموضوع

يجيب ذكاء Türk Bilişim الاصطناعي عن أسئلتك فورًا
متصل
  1. مرحبًا! اسأل عمّا يخطر ببالك.

الفرق بين تضمينات Word2Vec وBERT

Word2Vec يعطي المتجه نفسه للكلمة أينما وردت في الجملة. أما BERT فيعيد حساب متجه الكلمة في كل مرة بالنظر إلى الكلمات المحيطة بها. هذا هو الفرق الجوهري بين النموذجين وفقًا لمقال كريس ماكورميك حول تدريب تضمينات BERT. في Word2Vec يبقى التمثيل ثابتًا، أما في BERT فيتغير بحسب السياق.

وفقًا لدليل Airbyte، Word2Vec نموذج قائم على الشبكات العصبية قدّمه باحثو Google عام 2013. يتعلم النموذج أثناء التدريب متجهًا واحدًا لكل كلمة ويحفظه كما يُحفظ القاموس. وعند الاستخدام يرجع إلى هذا القاموس دون أن يأخذ بقية الجملة في الحسبان. لذلك تأخذ كلمة «yüz» الأرقام نفسها في الجملتين «yüz lira» و«yüzünü yıka».

أما في BERT فالحجم وحد الطول محددان. وفقًا لدليل Airbyte ينتج BERT-Base متجهات بحجم 768، وBERT-Large متجهات بحجم 1024. ووفقًا للدليل نفسه يعالج BERT التسلسلات التي يبلغ طولها 512 رمزًا كحد أقصى، ويأخذ كل موضع متجهه المتعلَّم الخاص به. وإذا كان المستند أطول من ذلك يُقسَّم إلى أجزاء ثم يُحوَّل كل جزء إلى متجه.

يرى المطور الذي ينظر إلى مخرجات BERT 13 طبقة. وفقًا لتوضيح McCormick، فإن العنصر الأول هو تضمينات الإدخال، وأما العناصر المتبقية فهي مخرجات الطبقات الاثنتي عشرة لـ BERT. وعند استخراج متجه الكلمة، يتم غالبًا دمج مخرجات الطبقات الأخيرة.

الخاصيةWord2VecBERT
تمثيل الكلمةمتجه واحد في كل سياقمتجه يتغير حسب الكلمات المحيطة
النشأةباحثو Google، 2013نموذج لغوي سياقي
حجم المتجهيُختار أثناء التدريبBase 768، Large 1024
طول المدخلكلمة واحدةحتى 512 رمزاً
بنية المخرجاتجدول كلمات واحدتضمين المدخل و12 طبقة، أي 13 عنصراً إجمالاً
هل تبحث عن أتمتة العمليات ووكلاء الذكاء الاصطناعي؟

نماذج التضمين المطورة للنصوص التركية

من بين النماذج المطورة للغة التركية نموذج TurkEmbed4Retrieval. تم تدريب النموذج على مهمة إيجاد النص الأنسب للإجابة عن سؤال. ووفقًا لورقة TurkEmbed4Retrieval، تم اختيار GTE-multilingual-base، وهو نموذج يحتوي على 305 ملايين معامل، كنموذج أساسي. ويبرر المؤلفون هذا الاختيار بأداء النموذج. ولم يُبنَ النموذج من الصفر، بل دُرِّب على بيانات تركية فوق نموذج متعدد اللغات.

من مجموعات البيانات المستخدمة في التدريب مجموعة MS-Marco-TR. ووفقًا للورقة نفسها، فإن هذه المجموعة هي نسخة مترجمة إلى التركية من مجموعة MS-Marco، وتتضمن مليون زوج من الاستعلام والنص. ويُقرن كل استعلام بنص إيجابي وآخر سلبي. وبذلك يتعلم النموذج أن يقرب النص الصحيح من السؤال، ويُبعد النص غير ذي الصلة.

يفرض بناء اللغة التركية هذا التكييف. كلمة واحدة مثل «Evlerimizden» تحمل معلومات تُعبَّر عنها في الإنجليزية بعدة كلمات. تقسم النماذج العامة متعددة اللغات مثل هذه الكلمات إلى عدد كبير من الأجزاء الصغيرة. يُضبط النموذج المدرَّب على بيانات تركية ليوصل المستخدمين الذين يكتبون السؤال نفسه بلواحق مختلفة إلى الإجابة نفسها. للاطلاع على مقالات أخرى حول النماذج والأساليب المشابهة، انظر فئة الذكاء الاصطناعي والأتمتة.

كيف يُستخدم التضمين في البحث الدلالي وروبوتات المحادثة؟

يتحقق البحث بالكلمات المفتاحية مما إذا كانت كلمات الاستعلام تظهر حرفيًا في المستند. أما البحث الدلالي فيحوّل الاستعلام والمستندات إلى متجهات، ثم يسترجع المتجهات الأقرب إلى السؤال. بهذه الطريقة يجد المستخدم الذي يكتب «أين شحنتي» صفحة لا تحتوي إلا على عبارة «تتبع الطرد». ويرى مقال كريس ماكورميك عن BERT أن متجهات التضمين مفيدة في توسيع البحث والبحث الدلالي والوصول إلى المعلومات.

تطبيقات التضمين: أمثلة من العالم الحقيقي

يعثر روبوت المحادثة على الجواب في وثائق المؤسسة بالخطوات التالية:

  1. تُقسَّم العقود وأدلة المنتجات وصفحات الأسئلة الشائعة إلى أجزاء بحجم فقرة.
  2. يُحوَّل كل جزء إلى متجه بنموذج التضمين ويُكتب في قاعدة بيانات متجهات.
  3. عند طرح المستخدم سؤالاً يُحوَّل السؤال أيضاً إلى متجه بالنموذج نفسه.
  4. تُرجع قاعدة البيانات الأجزاء الأقرب إلى السؤال.
  5. يكتب نموذج اللغة الجواب استناداً إلى هذه الأجزاء ويذكر المصدر.

يُسمى هذا النهج بالتوليد المعزز بالاسترجاع (RAG). لا يُنتج روبوت الدردشة إجابته من المعرفة العامة للنموذج اللغوي، بل يستخرجها من الوثيقة الحالية للمؤسسة. وعندما تتغير وثيقة، لا يُعاد حساب المتجه إلا لتلك الفقرة، ولا يتأثر بقية النظام.

تقدم Türk Bilişim، الشركة الرائدة في تركيا في مجال روبوتات الدردشة بالذكاء الاصطناعي ومساعدي خدمة العملاء، حلول الذكاء الاصطناعي منذ عام 2022. وتشمل أعمال الشركة في هذا المجال روبوتات الدردشة والأتمتة وإنتاج المحتوى. ويُعد تدفق الأسئلة والأجوبة القائم على الوثائق موضوع خدمة مساعدي الدردشة والخدمة بالذكاء الاصطناعي لدى الشركة. أما الحالات التي لا يتعرف فيها النموذج الجاهز على مصطلحات المؤسسة، وربط النموذج بالأنظمة القائمة، فيتم تناولهما تحت عنوان نماذج الذكاء الاصطناعي المخصصة والتكامل.

ما الذي ينبغي على الشركة توضيحه قبل بدء مشروع التضمين (embedding)

أول قرار هو تحديد البيانات التي ستُحوَّل إلى متجهات. تأتي الوثائق التي تجيب عن الأسئلة المتكررة للعملاء في المقدمة: أدلة المنتجات، وشروط الإرجاع، والوثائق التقنية. أما السجلات التي تتضمن بيانات شخصية، وقوائم الأسعار المنتهية الصلاحية، والمراسلات الداخلية فينبغي استبعادها. فكل نص يُحوَّل إلى متجه قد يظهر يوماً ما في إجابة روبوت الدردشة.

يقلل التضمين تكلفة التخزين لأنه يضغط بنى البيانات الكبيرة. ومع ذلك، فإن كل وثيقة غير ضرورية تُدرج في الفهرس تُعالج من جديد مع كل تحديث، وتُضيف ضجيجاً إلى نتائج البحث.

معيار اختيار النموذج هو اللغة التي يطرح بها المستخدمون أسئلتهم. فإذا كانت الاستفسارات بالتركية في معظمها، فإن النموذج المُكيَّف للتركية يحقق مطابقة أدق للكلمات المُلحقة بالسوابق واللواحق. وإذا كانت الوثائق بلغات مختلفة في قاعدة بيانات واحدة، فإن النموذج متعدد اللغات يطابقها جميعاً في فضاء واحد. وتُنفَّذ مشاريع Türk Bilişim باللغات التركية والإنجليزية والعربية والروسية. وتعرض صفحة حلول الذكاء الاصطناعي لدى الشركة خدماتها في هذا المجال مجتمعةً.

يُعد اختبار صغير من أسئلة العملاء الحقيقية لدى المؤسسة كافياً للاختيار. تُحدَّد يدوياً الوثيقة الصحيحة لكل سؤال. يُجرَّب نموذجان مرشحان بالمجموعة نفسها. ويُختار النموذج الذي يسترجع الوثيقة الصحيحة في المراتب الأولى.

هل تبحث عن روبوتات الدردشة ومساعدو العملاء؟

الأسئلة الشائعة

هل التضمين والترميز (Tokenization) الشيء نفسه؟

لا. يقسم التقسيم إلى رموز (token) النص إلى أجزاء صغيرة يستطيع النموذج معالجتها. ثم يحوّل التضمين هذه الأجزاء، ومن بعدها النص كاملاً، إلى متجه عددي؛ ويأتي التقسيم إلى رموز دائماً أولاً.

هل يفهم نموذج التضمين اللواحق التركية بشكل صحيح؟

يعالج النموذج اللواحق عبر تقسيمها إلى أجزاء فرعية. ويعتمد نجاحه في التقاط العلاقة بين «faturamı» و«fatura» على مقدار البيانات التركية التي رآها. وتُضبط النماذج المدرَّبة على بيانات تركية لتتعلم هذه العلاقة.

أين تُخزَّن متجهات التضمين؟

تُخزَّن في قاعدة بيانات متجهية أو في امتداد لقاعدة بيانات يدعم البحث المتجهي. ويُحفظ إلى جانب كل متجه الوثيقة المصدر وفقرة النص، حتى يتمكن روبوت الدردشة من ربط إجابته بوثيقتها.

هل يلزم تدريب نموذج تضمين خاص بالمؤسسة على بياناتها؟

في معظم المشاريع لا يلزم ذلك، فيكفي نموذج جاهز لتحويل وثائق المؤسسة إلى متجهات. وإذا كانت المصطلحات المتخصصة كثيفة، يُجرى تدريب إضافي على النموذج الجاهز باستخدام أزواج الأسئلة والأجوبة الخاصة بالمؤسسة، كما في TurkEmbed4Retrieval.

هل لديك مشروع؟

Türk Bilişim · عرض سعر مجاني

احصل على عرض سعر مجاني لمشروع تدريب الشركات على الذكاء الاصطناعي

اترك رقمك وسنعود إليك فورًا. المكالمة مجانية.

اقرأ إشعار الخصوصية

Nurullah Okatan كاتب المحتوى

مكتب تحرير فريق ينفذ مشاريع المواقع والتجارة الإلكترونية والبرمجيات منذ عام 1998.

LinkedInInstagramFacebook

شارك هذا المقال

التعليقات

التعليقات

لا توجد تعليقات بعد.

اكتب تعليقًا

تقييمك (اختياري)

إشعار الخصوصية

سنرسل رابط تأكيد إلى بريدك حتى يظهر تعليقك.

خدماتنا الأخرى

جميع الخدمات

قد يعجبك أيضًا

جميع المقالات

Türk Bilişim · مستشار التحول الرقمي

متصل
مرحبًا! اكتب المشروع أو الفكرة التي تدور في ذهنك ولنبدأ معًا.
اكتب ما تريد، ويجيبك ذكاء Türk Bilişim الاصطناعي فورًا.