دورة قياس وتحسين استخدام ChatGPT في المؤسسة: الجودة والكلفة والمخاطر

ملخص البرنامج

قياس وتحسين استخدام ChatGPT في المؤسسة محور دورة تدريبية تمتد 5 أيام بمستوى إداري للمديرين وقادة الفرق، ويخرج منها كل مشارك بخطة متابعة ChatGPT وتحسينه لخدمة فعلية أو نموذجية. فالمؤسسات تنشر ChatGPT بسرعة، بينما قلما تقيس جودة إجاباته أو كلفة استخدامه أو مخاطره. ويتدرج البرنامج من تعريف المقاييس، مرورا بتقييم المخرجات والمتابعة، إلى التحسين وحوكمة المخاطر، ثم إلى خطة عملية. تقدم مارس للتدريب المملكة المتحدة هذا البرنامج في قياس وتحسين استخدام ChatGPT في المؤسسة.

المبررات المؤسسية

حين يعتمد مساعد الذكاء الاصطناعي التوليدي دون مقاييس، تمر الإجابات الضعيفة دون ملاحظة، ويتضخم الإنفاق مع الاستخدام، وقد يخرج محتوى حساس من المؤسسة. أما المديرون الذين يتعاملون مع المساعد بوصفه خدمة لها مقاييس متفق عليها ومراجعة دورية، فيستطيعون بيان مواضع نفعه ومعالجة مواضع إخفاقه وتحديد ما يستحق مزيدا من الإنفاق.

• جودة الإجابات: تتحسن حين يحل سلم تقييم مسجل واختبارات مرجعية محل الانطباعات.
• الكلفة لكل حالة استخدام: تصبح مرئية حين يتتبع إنفاق الرموز والتراخيص مقابل القيمة المحققة.
• التعرض للمخاطر: ينخفض حين تطبق قواعد المحتوى السري ونقاط المراجعة على المهام الشائعة.

المبادئ والأساس المعرفي

• ISO 9001 (إدارة الجودة): تنظم مبادئه في المتابعة والقياس والتحسين عمل المقاييس في الجلستين 1 و3.
• ISO/IEC 23894 (إدارة مخاطر الذكاء الاصطناعي): تؤطر إرشاداته تقييم مخاطر استخدام المساعد في الجلسة 4.
• ISO/IEC 42001 (نظام إدارة الذكاء الاصطناعي): تشكل متطلباته ضوابط الحوكمة التي تراجع في الجلسة 4.

المشاركون المستهدفون

• المديرون الذين يملكون نشر ChatGPT في مؤسساتهم ويسألون عن نتائجه.
• قادة الفرق الذين يوجهون استخدام الموظفين لمساعدات الذكاء الاصطناعي التوليدي في العمل اليومي.
• قيادات التحول الرقمي والعمليات التي تبلغ عن الاستخدام والكلفة والجودة.
• مسؤولو المخاطر والامتثال وأمن المعلومات الذين يضعون قواعد استخدام المساعد.

يخدم البرنامج جهات الخدمات المالية والخدمات المهنية والرعاية الصحية والقطاع العام.

مخرجات التعلم

1. سيكون المشاركون قادرين على تعريف مقاييس الجودة والكلفة والمخاطر لخدمة ChatGPT المؤسسية.
2. سيكون المشاركون قادرين على بناء سلم تقييم ومجموعة اختبارات مرجعية لمخرجات المساعد.
3. سيكون المشاركون قادرين على تقييم معدلات الدقة والهلوسة من عينة من الإجابات.
4. سيكون المشاركون قادرين على تشخيص الانحراف والتراجع ونمو الكلفة من بيانات المتابعة.
5. سيكون المشاركون قادرين على ترتيب أولويات تغييرات الأوامر والسياق والإجراءات بحسب الأثر المقيس.
6. سيكون المشاركون قادرين على تبرير ضوابط الحوكمة ونقاط المراجعة في استخدام المساعد.

هيكل البرنامج

اليوم 1: أسس قياس وتحسين استخدام ChatGPT في المؤسسة

ماذا يعني الأداء الجيد لخدمة ChatGPT المؤسسية، وما الذي يقاس اليوم؟

• جرد حالات الاستخدام وفرضيات القيمة
• تعريف مقاييس الجودة والكلفة والمخاطر
• مبادئ المتابعة والقياس وفق ISO 9001
• تحليل خط أساس الاستخدام والإنفاق
• مراجعة حالتي تطبيق من قطاعين مختلفين

اليوم 2: تقييم جودة المخرجات

كيف يحكم على جودة مخرجات ChatGPT حكما متسقا؟

• تصميم سلم التقييم
• مجموعات الإجابات المرجعية واختبارات الاعتماد
• أخذ عينات لقياس الدقة والهلوسة
• فحوص اتفاق المراجعين
• سجل مقارنة صيغ الأوامر

اليوم 3: المتابعة والانحراف وضبط الكلفة

كيف تكشف تغيرات الجودة والإنفاق مبكرا؟

• تصميم لوحة متابعة الاستخدام والجودة
• إشارات الانحراف والتراجع بعد تحديث النماذج
• تتبع كلفة الرموز والتراخيص
• حدود التنبيه ومسارات التصعيد
• جمع ملاحظات المستخدمين

اليوم 4: التحسين وحوكمة المخاطر

أي التغييرات تحسن النتائج، وأي المخاطر يجب ضبطها؟

• مكتبة الأوامر ومعايير القوالب
• خيارات تحسين الاسترجاع والسياق
• تقييم مخاطر استخدام المساعد وفق ISO/IEC 23894
• ضوابط نظام الإدارة وفق ISO/IEC 42001
• قواعد حماية البيانات والمحتوى السري

اليوم 5: تطبيق متابعة أداء ChatGPT على خدمة

هل خطة المتابعة جاهزة ليشغلها مالكو الخدمة؟

• تطبيق تعريفات المقاييس من الجلسة 1 على الخدمة المختارة
• اختبار سلم التقييم من الجلسة 2 على مخرجات نموذجية
• ضبط حدود لوحة المتابعة من الجلسة 3
• فحص ضوابط المخاطر والتحسين من الجلسة 4
• إنجاز خطة متابعة ChatGPT وتحسينه

المنهجية

يقوم البرنامج على ورش البيانات والتمارين المنظمة، إذ يعمل المشاركون على أوامر وإجابات وسجلات استخدام نموذجية منزوعة المعلومات الحساسة، ويقيمونها بسلم موحد، ويبنون عروض المتابعة، ويختبرون تغييرات الأوامر في فرق صغيرة. ولا تتطلب الورش برمجة ولا بيانات مؤسسية حية.

• نشاط مقترح: تقييم عشرين إجابة نموذجية بسلم موحد ومقارنة نتائج المراجعين.
• نشاط مقترح: قراءة مستخلص استخدام وإنفاق لتحديد حالات الاستخدام الثلاث الأعلى كلفة.
• نشاط مقترح: مقارنة صيغتين من الأمر على مجموعة الاختبارات المرجعية نفسها.

المخرج الختامي

يعد كل مشارك خطة متابعة ChatGPT وتحسينه لخدمة واحدة. وتتضمن مجموعة مقاييس، وسلم تقييم، ومجموعة اختبارات مرجعية، ومخططا للوحة المتابعة بحدود التنبيه، وقائمة مرتبة بالتحسينات، وملخصا للمخاطر والحوكمة. وتستخدم لإحاطة راعي الخدمة وتشغيل المراجعة الشهرية الأولى.

الأسئلة الشائعة

هل يناسب التدريب على قياس وتحسين استخدام ChatGPT في المؤسسة المديرين الذين لا يملكون خلفية تقنية؟

نعم، فهو بمستوى إداري، ويفترض خبرة في إدارة فريق أو خدمة، لا في البرمجة أو علوم البيانات.

ما المعايير التي يقوم عليها قياس وتحسين استخدام ChatGPT في المؤسسة في هذا البرنامج؟

يقوم على ISO 9001 للمتابعة والقياس، وISO/IEC 23894 لإدارة مخاطر الذكاء الاصطناعي، وISO/IEC 42001 لنظم إدارة الذكاء الاصطناعي.

كيف تستخدم خطة متابعة ChatGPT وتحسينه في العمل؟

تستخدم خطة متابعة ChatGPT وتحسينه لإحاطة راعي الخدمة، وتحديد مواعيد المراجعة، وتقرير أي تغييرات الأوامر والسياق والكلفة تبدأ بها.