القاهرة، مصر – في واقعة أثارت الانتباه داخل قطاع الذكاء الاصطناعي، كشفت شركة Anthropic عن تمكن نموذجها Claude من الوصول بالخطأ إلى أنظمة حقيقية تابعة لثلاث شركات، خلال اختبارات متخصصة لقياس قدراته في مجال الأمن السيبراني.
وكانت الاختبارات مصممة للعمل داخل بيئات افتراضية ومعزولة. وكان الهدف تدريب النموذج على اكتشاف الثغرات والتعامل مع سيناريوهات القرصنة بصورة آمنة. ومع ذلك، أدى خلل في إعداد بيئة الاختبار إلى إتاحة الاتصال بالإنترنت.
إعدادات غير صحيحة لبيئة التجربة
وبمجرد توفر الاتصال، تعامل Claude مع بعض الأنظمة الحقيقية التي وصل إليها باعتبارها جزءًا من الاختبار. كما نفذ عليها مجموعة من المهام التي كان يفترض أن تقتصر على البيئة التجريبية.
وأكدت الشركة أن ما حدث لم يكن محاولة متعمدة من النموذج للخروج من نطاق الاختبار. بل كان نتيجة الجمع بين قدرات النموذج وإعدادات غير صحيحة لبيئة التجربة.
وأثارت الواقعة تساؤلات حول المخاطر التي قد تنتج عن منح نماذج الذكاء الاصطناعي المتقدمة صلاحيات واسعة للوصول إلى الإنترنت وتنفيذ الأوامر بصورة مستقلة. خصوصًا مع تطور قدراتها في اكتشاف الثغرات وتحليل الأنظمة.
تشديد إجراءات العزل والمراقبة
ودفعت الحوادث شركة Anthropic إلى تشديد إجراءات العزل والمراقبة خلال الاختبارات الأمنية. كان الهدف منع النماذج مستقبلًا من التفاعل مع أنظمة حقيقية أو تنفيذ عمليات خارج الحدود المحددة للتجارب.
وتكشف الواقعة عن تحدٍ جديد أمام شركات الذكاء الاصطناعي. فكلما أصبحت النماذج أكثر قدرة على تنفيذ المهام بمفردها، ازدادت أهمية وضع ضوابط صارمة. ويجب أن تضمن هذه الضوابط بقاء هذه القدرات داخل البيئات الآمنة والمخصصة للاختبار.
