اختبر أي موديل ذكاء اصطناعي على اللهجة الإماراتية: 12 برومبت وجدول تقييمTest Any AI Model on Emirati Arabic: 12 Prompts and a Scoring Sheet

المصطلحات

Falcon-Emirati

موديل لغة من معهد الابتكار التكنولوجي TII في أبوظبي، حجمه 7B، مبني على Falcon-H1-Arabic ومتدرب على محتوى إماراتي أصلي. تقدر تجربه على منصة Falcon Chat.

Alyah

اختبار للهجة الإماراتية يغطي الكلام اليومي، التشبيهات، معرفة التراث، والشعر. حسب TII، Falcon-Emirati جاب فيه 84.83%.

Benchmark (بنشمارك)

مجموعة أسئلة ثابتة تعطيها لأكثر من موديل عشان تقارن بينهم بعدل. هنا راح تبني بنشمارك صغير خاص فيك.

Model (موديل)

الذكاء الاصطناعي اللي يرد عليك. كل موديل تعلّم من بيانات مختلفة، ولهذا فهمه للهجة يختلف.

الخطوات

1. 1

   الخطوة 1

   اختار الموديلات اللي راح تقارنها

   اختار موديلين أو ثلاثة بس. مثلاً Falcon-Emirati من Falcon Chat، والموديل اللي تستخدمه كل يوم.

   افتح كل واحد في محادثة جديدة، بدون أي تعليمات سابقة، عشان المقارنة تكون عادلة.

   نصيحة: Falcon-Emirati تلقاه على chat.falconllm.tii.ae، اختاره من قائمة الموديلات.

2. 2

   الخطوة 2

   جهّز 12 سؤال في 4 أقسام

   قسّم الأسئلة نفس أقسام اختبار Alyah: كلام يومي، أمثال وتشبيهات، تراث، وشعر. ثلاث أسئلة لكل قسم.

   اكتب الأسئلة بلهجتك أنت، مش بالفصحى. هذا هو الاختبار الحقيقي.

   برومبتمثال على أسئلة كل قسم

   نسخ

   كلام يومي: شو معنى «يرمس»؟ واستخدمها في جملة.
   كلام يومي: رد على عميل يقول «الطلبية تأخرت وايد» بأسلوب ودود وباللهجة.
   أمثال: اشرح لي مثل «اللي ما يعرف الصقر يشويه» ومتى نقوله.
   تراث: شو هو «البرجيل» في البيوت الإماراتية القديمة؟ اشرحه لطفل.
   شعر: اكتب بيتين نبطيين عن [موضوعك].

3. 3

   الخطوة 3

   اعطِ كل موديل نفس السؤال بالضبط

   انسخ نفس النص لكل موديل، حرف بحرف. لا تعدّل السؤال إذا الرد ما عجبك.

   احفظ الردود في جدول: عمود لكل موديل، وصف لكل سؤال.

   برومبتسطر ثابت قبل كل سؤال

   نسخ

   رد علي باللهجة الإماراتية، بدون فصحى، وبجملتين أو ثلاث بس.
   
   [سؤالك]

4. 4

   الخطوة 4

   قيّم كل رد من 0 إلى 2

   صفر: ما فهم أو رد بالفصحى. واحد: فهم بس اللهجة ركيكة أو فيه غلط. اثنين: فهم ورد مثل واحد من أهل البلد.

   المجموع من 24. اكتب ملاحظة قصيرة عن أكبر غلطة لكل موديل.

   نصيحة: خلّ شخص ثاني من أهل اللهجة يقيّم معك، عينك لحالك تتعوّد على الردود.

5. 5

   الخطوة 5

   خلّ موديل يجمع لك النتيجة

   بعد ما تخلص، الصق الجدول في Claude أو أي موديل وخله يرتب النتيجة ويطلع لك الخلاصة.

   برومبتبرومبت التلخيص

   نسخ

   هذا جدول تقييم لموديلات ذكاء اصطناعي على اللهجة الإماراتية. كل سؤال له درجة من 0 إلى 2.
   
   [الصق الجدول]
   
   رتب الموديلات حسب المجموع، وحسب كل قسم (كلام يومي، أمثال، تراث، شعر). وقل لي في ثلاث نقاط: أي موديل أستخدم لـ [استخدامك: الرد على العملاء، كتابة الكابشن، ...] وليش.

6. 6

   الخطوة 6

   قرر حسب استخدامك، مش حسب الحجم

   الموديل الأكبر مش دايماً الأحسن في اللهجة. إذا شغلك ردود على عملاء محليين، القسم الأول أهم شي. إذا محتوى ثقافي، الأمثال والتراث.

   عيد نفس الاختبار كل ما ينزل موديل جديد. الأسئلة نفسها، عشان تقارن على نفس المقياس.

برومبتات جاهزة للنسخ

واحد قال لي: «[جملة باللهجة]». شو قصده بالضبط؟ وشو الرد المناسب له باللهجة؟

حوّل هذا النص للهجة الإماراتية مثل ما يتكلمها الناس في البيت، بدون ما تغير المعنى:

[النص بالفصحى]