Kırmızı Ekip (Red Teaming)
AI kırmızı ekip çalışması, modelin güvenlik açıklarını, zararlı davranışlarını ve kötüye kullanım senaryolarını proaktif olarak bulmak amacıyla uygulanan düşman simülasyonu tekniğidir.
Duz Turkce Aciklama
Kırmızı ekip kavramı askeri tatbikatlardan gelir; bir grubun sistemi saldırgan gözüyle test etmesini ifade eder. AI'da kırmızı ekip çalışması, bir modelin güvenli olmayan, yanıltıcı veya zararlı çıktılar üretmesine yol açabilecek prompt'ları, senaryoları ve güvenlik açıklarını kasıtlı olarak aramaktır. Bu çalışma hem insan kırmızı ekipleri hem de otomatik adversarial araçlar aracılığıyla yapılır ve modelin piyasaya sürülmeden önce dayanıklılığını test eder.
Nerede Kullanilir?
AI güvenlik değerlendirmesi, model piyasaya çıkış süreci ve AI risk yönetimi bağlamlarında zorunlu bir adım haline gelmektedir. AB Yapay Zeka Yasası ve diğer düzenlemeler yüksek riskli sistemler için kırmızı ekip testini gerektirebilir.
Ornek
Anthropic, Claude modelini piyasaya sürmeden önce hem iç hem de dış kırmızı ekiplerle kapsamlı güvenlik testi yaparak olası jailbreak ve zararlı içerik senaryolarını belirledi.