Yapay Zeka Uygulamaları Yeni Bir Saldırı Yüzeyi Oluşturuyor
Büyük dil modelleri (LLM) ve yapay zeka destekli uygulamaların kurumsal sistemlere entegrasyonu, geleneksel uygulama güvenliğinin çözmediği yeni güvenlik sorunlarını beraberinde getirmektedir. Kullanıcı girdisini doğrudan model işlemine ileten sistemler; prompt injection, model manipülasyonu ve gizli bilgi sızdırma gibi saldırı vektörlerine karşı savunmasız hale gelebilmektedir.
OWASP, bu alandaki riskleri belgelemek için LLM Top 10 listesini yayımlamış; prompt injection, insecure output handling, training data poisoning ve model denial of service gibi kritik başlıkları sınıflandırmıştır. Kurumların LLM entegrasyonlarını devreye almadan önce veya sonrasında bu riskleri değerlendirmesi artık bir güvenlik olgunluğu gerekliliği haline gelmektedir.
OWASP'ın 2023'te yayımladığı LLM Application Security Top 10 listesi, yapay zeka güvenliği testleri için fiili bir referans çerçevesi haline gelmiştir. TUGAY testleri bu listedeki tüm risk kategorilerini kapsamaktadır.
AI/LLM Güvenlik Testi Kapsamı
TUGAY'ın AI güvenlik testleri, hem LLM katmanına özgü saldırı tekniklerini hem de entegrasyon mimarisinin geleneksel güvenlik açıklarını kapsamaktadır:
- Prompt injection — doğrudan ve dolaylı (indirect) saldırılar
- Jailbreak ve sistem talimatı bypass denemeleri
- Hassas bilgi ve eğitim verisi sızdırma testleri
- RAG (Retrieval Augmented Generation) pipeline güvenliği
- Tool calling ve fonksiyon yürütme güvenliği
- LLM çıktısının uygulamaya güvensiz entegrasyonu
- Model API kimlik doğrulama ve yetkilendirme testleri
- Aşırı yetki ve izin sınırı ihlalleri
Test Metodolojisi
- Mimari Analiz: LLM entegrasyonunun mimarisi, veri akışları, araç bağlantıları ve izin modeli incelenir.
- Tehdit Modelleme: OWASP LLM Top 10 ve MITRE ATLAS çerçeveleri kullanılarak olası saldırı vektörleri haritalandırılır.
- Prompt Injection Testleri: Doğrudan kullanıcı girdisi ve dolaylı (dış kaynak aracılığıyla) injection senaryoları uygulanır.
- Veri Sızdırma Denemeleri: Sistem promptu, eğitim verileri ve RAG veri deposu içeriğinin sızdırılması test edilir.
- Entegrasyon Güvenliği: LLM'in bağlandığı araçlar, API'ler ve veritabanları geleneksel güvenlik testleriyle değerlendirilir.
Raporlama ve Güvenlik Mimarisi Önerileri
AI güvenlik testi raporları, teknik bulgular ve pratik düzeltme önerilerinin yanı sıra güvenli LLM entegrasyon mimarisi için tasarım prensiplerini de içermektedir.
- OWASP LLM Top 10'a haritalanmış güvenlik açığı katalogu
- Prompt tasarımı ve sistem talimatı güçlendirme önerileri
- Input/output sanitizasyon ve filtreleme rehberi
- İzin minimizasyonu ve en az ayrıcalık uygulama kılavuzu