كيف توقف وكيل ذكاء اصطناعي نفذ إجراءً غير مطلوب؟

إذا بدأ وكيل ذكاء اصطناعي في إرسال رسالة، تعديل ملف، تشغيل أمر أو تنفيذ خطوة لم تطلبها، فالأولوية ليست معرفة لماذا أخطأ فورًا، بل إيقاف وكيل الذكاء الاصطناعي ومنع أي إجراءات إضافية ثم تحديد ما تغيّر بالفعل. الوكيل يختلف عن أداة المحادثة العادية لأنه قد يمتلك صلاحية استخدام تطبيقات أو ملفات أو أدوات خارجية، ولذلك فإن الاستجابة الصحيحة تعتمد على نوع الإجراء وإمكانية التراجع عنه والصلاحيات التي كانت متاحة له.

أوقف التنفيذ أولًا ولا تحاول تصحيح الوكيل وهو يعمل

أكثر الأخطاء شيوعًا عند ملاحظة سلوك غير مطلوب هو إرسال تعليمات جديدة إلى الوكيل بينما لا يزال ينفذ المهمة الأصلية. قد تصل التعليمات الجديدة بعد تنفيذ خطوة إضافية، خصوصًا إذا كان الوكيل يعمل عبر سلسلة من الأدوات أو العمليات.

ابحث أولًا عن خيار إيقاف التشغيل أو إلغاء المهمة أو إنهاء الجلسة في المنصة التي تستخدمها. إذا كان الوكيل يعمل داخل نظام تملكه أنت، فأوقف العملية أو سير العمل من مستوى التطبيق بدل الاعتماد فقط على رسالة نصية تطلب منه التوقف.

إذا لم يكن هناك زر إيقاف واضح، فالخطوة الأكثر أمانًا هي قطع قدرته على اتخاذ إجراءات جديدة، مثل تعطيل الأداة المرتبطة بالمهمة أو إيقاف الاتصال بالخدمة التي يستخدمها حتى تعرف ما حدث.

عندما يكون الإجراء غير المتوقع مستمرًا، افصل قدرة الوكيل على التنفيذ أولًا، ثم شخّص السبب بعد احتواء الموقف.

حدد هل الإجراء تم فعلًا أم كان مجرد اقتراح

ليس كل ما يظهر في سجل الوكيل يمثل تغييرًا حدث في العالم الحقيقي. قد يعرض الوكيل خطة لتنفيذ إجراء، أو يجهز طلبًا، أو يستدعي أداة ثم تفشل العملية قبل اكتمالها. لذلك يجب التحقق من النتيجة في النظام المستهدف نفسه.

إذا كان الإجراء إرسال بريد، فتحقق من العناصر المرسلة. وإذا كان تعديل ملف، افتح النسخة الفعلية وتحقق من آخر تغيير. وإذا كان إنشاء موعد أو سجل جديد، راجع النظام الذي يفترض أن العملية تمت داخله.

هذه الخطوة تمنع خطأين متعاكسين: محاولة إصلاح شيء لم يحدث أصلًا، أو الاعتقاد أن العملية توقفت بينما كانت بعض التغييرات قد نُفذت بالفعل.

تعامل مع الإجراء حسب إمكانية التراجع عنه

بعد معرفة ما تم تنفيذه، صنّف النتيجة إلى إجراء قابل للعكس أو إجراء يصعب التراجع عنه. هذا الفرق يحدد سرعة ونوع الاستجابة.

إذا كان الإجراء قابلًا للعكس

مثل تعديل مستند محفوظ بإصدارات سابقة، أو إنشاء مسودة، أو إضافة سجل يمكن حذفه، فابدأ بالتراجع إلى آخر حالة سليمة. احتفظ بسجل لما عدلته يدويًا حتى تستطيع لاحقًا معرفة الخطوة التي نفذها الوكيل بصورة خاطئة.

إذا كان الإجراء قد وصل إلى طرف آخر

إرسال رسالة أو نشر محتوى أو تنفيذ طلب خارجي يحتاج إلى تعامل مختلف، لأن حذف العنصر من نظامك لا يعني بالضرورة إلغاء أثره لدى الطرف الآخر. هنا يجب التأكد من إمكان الإلغاء من الخدمة نفسها، وإن لم يكن ممكنًا فتعامل مع النتيجة باعتبارها قد حدثت بالفعل.

إذا كان الإجراء حساسًا أو يصعب عكسه

عند التعامل مع حذف بيانات مهمة، تعديل صلاحيات، تنفيذ أوامر إدارية أو إجراءات مالية، لا تعاود تشغيل الوكيل قبل مراجعة النظام والصلاحيات وسجل التنفيذ. الإجراءات عالية الأثر يجب ألا تعتمد على قدرة النموذج وحده على تفسير التعليمات بصورة صحيحة.

اعزل الأداة التي سمحت للوكيل بتنفيذ الخطأ

الوكيل لا يستطيع عادة تغيير نظام خارجي من دون أداة أو اتصال يمنحه هذه القدرة. لذلك فإن السؤال المفيد ليس فقط «لماذا قرر الوكيل فعل ذلك؟»، بل أيضًا «ما الأداة التي جعلت هذا القرار قابلًا للتنفيذ؟».

• إذا أرسل رسائل، راجع صلاحيات البريد أو منصة التواصل المتصلة به.
• إذا غيّر ملفات، تحقق من مستوى وصوله للملفات والمجلدات.
• إذا نفذ أوامر، راجع البيئة أو الطرفية أو واجهة البرمجة التي يستخدمها.
• إذا عدّل بيانات نظام، تحقق من الأذونات الممنوحة للموصل أو الحساب المستخدم.

قد لا تحتاج إلى تعطيل الوكيل بالكامل إذا كانت المشكلة محصورة في أداة واحدة. تعطيل القدرة الخطرة مؤقتًا يسمح لك بمراجعة بقية الإعدادات دون ترك باب التنفيذ مفتوحًا.

ابحث عن السبب الحقيقي قبل استئناف المهمة

قد يكون الإجراء غير المطلوب نتيجة تعليمات واسعة، أو غموض في الهدف، أو صلاحيات أكبر من الحاجة، أو نتيجة معلومات التقطها الوكيل من مصدر لم يكن ينبغي التعامل معه كتوجيه مباشر. لذلك لا يكفي كتابة «لا تفعل ذلك مرة أخرى» ثم تشغيل المهمة ذاتها.

راجع سجل الجلسة من البداية وحدد اللحظة التي انتقل عندها الوكيل من المطلوب إلى الإجراء الخاطئ. ابحث خصوصًا عن تعليمات تسمح له بالتصرف بحرية مثل «نفذ ما يلزم» أو «أكمل المهمة بالكامل» عندما تكون الأدوات المتاحة له قادرة على إجراء تغييرات حقيقية.

راجع كذلك البيانات التي قرأها الوكيل. النص الموجود داخل بريد أو مستند أو صفحة ويب قد يكون مجرد محتوى، ولا ينبغي أن يتحول تلقائيًا إلى أمر يتجاوز تعليمات المستخدم أو حدود المهمة.

قلل الصلاحيات بدل الاعتماد على تعليمات أكثر صرامة فقط

التعليمات الواضحة مهمة، لكنها ليست بديلًا عن التحكم في الصلاحيات. إذا كانت مهمة الوكيل تقتصر على قراءة عروض أسعار ومقارنتها، فلا توجد حاجة عادة إلى منحه قدرة على إرسال رسائل أو حذف ملفات أو تعديل سجلات أصلية.

استخدم مبدأ أقل صلاحية لازمة: امنح الوكيل فقط الأدوات والبيانات والإجراءات الضرورية للمهمة الحالية. ويمكن فصل المهام أيضًا؛ وكيل للقراءة والتحليل، بينما يتم تنفيذ التغيير النهائي بعد موافقة المستخدم أو عبر خطوة مستقلة.

وتوضح OpenAI في دليل بناء الوكلاء أهمية وضع حواجز حماية حول الأدوات، مع تقييم مخاطرها بناءً على عوامل مثل إمكانية الكتابة، وقابلية عكس الإجراء، والصلاحيات المطلوبة، والأثر المحتمل.

اجعل الإجراءات المهمة تتوقف عند نقطة موافقة

أفضل مكان لمنع الخطأ ليس بعد حدوثه، بل قبل اللحظة التي ينتقل فيها الوكيل من التحليل إلى التنفيذ. يمكن جعل الإجراءات الحساسة تمر بنقطة موافقة بشرية واضحة.

مثلًا، يستطيع الوكيل قراءة الملفات وتجهيز الرد، لكنه لا يرسل الرسالة حتى توافق عليها. ويمكنه اكتشاف ملفات قديمة واقتراح حذفها، بينما يبقى الحذف الفعلي متوقفًا حتى تؤكد القائمة.

توصي Microsoft في إرشادات إدارة مخاطر الأنظمة الوكيلة بوجود آليات موثوقة لإيقاف الوكلاء وإتاحة المراجعة والموافقة البشرية خصوصًا في الإجراءات عالية المخاطر أو التي يصعب التراجع عنها.

لا تجعل الموافقة عبارة عامة مثل «هل تريد المتابعة؟» إذا كانت الخطوة حساسة. الأفضل أن تظهر للمستخدم بوضوح ما الذي سيتغير، وأين، وعلى أي بيانات قبل الموافقة.

اختبر الوكيل من جديد بطريقة تمنع تكرار الحادثة

بعد تعديل التعليمات أو الصلاحيات، لا تعطه مباشرة المهمة الكاملة نفسها. ابدأ باختبار محدود لا ينتج عنه أثر مهم حتى تتأكد من أن الحدود الجديدة تعمل.

1. شغل الوكيل بأدوات القراءة فقط إن أمكن.
2. استخدم حالة تجريبية مشابهة للحالة التي حدث فيها الخطأ.
3. راقب الخطة التي يقترحها قبل منحه صلاحية التنفيذ.
4. أعد تفعيل الأدوات واحدة بعد الأخرى إذا كانت المهمة تحتاج إليها فعلًا.
5. اختبر نقطة الموافقة على إجراء حساس وتأكد أن التنفيذ لا يحدث قبل موافقتك.
6. راجع سجل العملية بعد انتهائها للتأكد من عدم وجود خطوات إضافية غير متوقعة.

إذا عاد الوكيل إلى السلوك نفسه، فلا توسع التعليمات بصورة عشوائية. غالبًا تحتاج إلى تقليص نطاق المهمة أو فصل العملية إلى مراحل أصغر يسهل التحقق منها.

توضيحات إضافية

هل يكفي أن أكتب للوكيل «توقف»؟

قد يكفي ذلك في بعض الأنظمة، لكنه ليس ضمانًا إذا كان هناك إجراء جارٍ بالفعل. عند وجود تأثير حقيقي، استخدم آلية إيقاف التنفيذ أو عطّل الأداة المسؤولة أيضًا.

ماذا أفعل إذا نفذ الوكيل الإجراء قبل أن أتمكن من إيقافه؟

تحقق أولًا من النتيجة في النظام المستهدف، ثم تراجع عنها إذا كانت قابلة للعكس. بعد ذلك راجع السجل والصلاحيات قبل إعادة تشغيل الوكيل.

هل الخطأ يعني أنني يجب أن أحذف الوكيل بالكامل؟

ليس بالضرورة. إذا كان السبب أداة محددة أو صلاحية زائدة أو تعليمات غامضة، فقد يكفي عزل السبب وإعادة تصميم حدود التنفيذ.

ما الإجراءات التي يفضل أن تحتاج إلى موافقة يدوية؟

الإجراءات التي يصعب عكسها أو تؤثر في المال أو البيانات المهمة أو الحسابات أو التواصل الخارجي تستحق عادة نقطة مراجعة بشرية قبل تنفيذها.

كيف أعرف أن المشكلة لن تتكرر؟

لا يوجد ضمان مطلق، لكن يمكنك تقليل الاحتمال باختبار الحالة نفسها بصلاحيات محدودة، واستخدام نقاط موافقة، ومراجعة سجل الأدوات التي استدعاها الوكيل.

قد يهمك:

• كيف تمنع الذكاء الاصطناعي من تغيير أرقام الجداول؟
• ماذا تفعل إذا عجز الذكاء الاصطناعي عن قراءة صورة؟
• كيف تقارن عروض الأسعار بالذكاء الاصطناعي بدقة؟
• كيف تجعل الذكاء الاصطناعي يعتمد على معلومات حديثة؟

أعد السيطرة قبل إعادة التشغيل

افتح سجل آخر جلسة حدثت فيها المشكلة وحدد آخر إجراء صحيح وأول إجراء غير مطلوب؛ هذه النقطة هي أفضل مكان لبدء مراجعة التعليمات والأدوات والصلاحيات بدل إعادة بناء الوكيل كاملًا دون معرفة السبب.