Yapay zeka Halüsinasyonları kurumsal güvenlik kabusu haline gelebilir
Salı günü bir İsrail güvenlik firmasındaki araştırmacılar, bilgisayar korsanlarının üretken bir yapay zekanın "halüsinasyonlarını" bir kuruluşun yazılım tedarik zinciri için nasıl bir kabusa dönüştürebileceğini ortaya çıkardı.
Salı günü bir İsrail güvenlik firmasındaki araştırmacılar, bilgisayar korsanlarının üretken bir yapay zekanın "halüsinasyonlarını" bir kuruluşun yazılım tedarik zinciri için nasıl bir kabusa dönüştürebileceğini ortaya çıkardı.
Vulcan Cyber web sitesindeki bir blog gönderisinde, araştırmacılar Bar Lanyado, Ortel Keizman ve Yair Divinsky, ChatGPT tarafından açık kaynaklı yazılım paketleri hakkında üretilen yanlış bilgilerden, bir geliştirme ortamına kötü amaçlı kod göndermek için nasıl yararlanılabileceğini gösterdi.
ChatGPT'nin gerçekte var olmayan URL'ler, referanslar ve hatta kod kitaplıkları ve işlevleri oluşturduğunu gördüklerini açıkladılar.
ChatGPT kod kitaplıkları veya paketleri üretiyorsa, saldırganların yazım hatası veya maskeleme gibi şüpheli ve zaten tespit edilebilir teknikler kullanmadan bu halüsinasyonları kötü amaçlı paketleri yaymak için kullanabileceğini belirttiler.
Araştırmacılar, bir saldırgan ChatGPT tarafından önerilen "sahte" paketleri değiştirmek için bir paket oluşturabilirse, bir kurbanın onu indirmesini ve kullanmasını sağlayabilir.
Giderek daha fazla sayıda geliştirici kod çözümleri için Stack Overflow gibi geleneksel çevrimiçi arama alanlarından ChatGPT gibi yapay zeka çözümlerine geçiş yaptıkça, bu senaryonun gerçekleşme olasılığının arttığını ileri sürdüler.
Halihazırda Kötü Amaçlı Paketler Oluşturuluyor
S&P Global Market'in bir parçası olan 451 Research'te bilgi güvenliği ve ağ oluşturma araştırma direktörü Daniel Kennedy, "Yazarlar, üretken AI daha popüler hale geldikçe, bir zamanlar Stack Overflow'a gidecek olan geliştirici sorularını almaya başlayacağını tahmin ediyorlar" dedi. Intelligence, küresel bir pazar araştırma şirketi.
TechNewsWorld'e verdiği demeçte, "Yapay zeka tarafından oluşturulan bu soruların yanıtları doğru olmayabilir veya artık var olmayan veya hiç var olmayan paketlere atıfta bulunabilir" dedi. "Kötü amaçlı kod eklemek için bu adla bir kod paketi oluşturabilen ve üretici yapay zeka aracı tarafından geliştiricilere sürekli olarak tavsiye edilmesini sağlayabilen kötü bir aktör gözlemliyor."
"Vulcan'daki araştırmacılar, Yığın Taşması hakkında en sık sorulan soruları yapay zekaya koyacakları sorular olarak önceliklendirerek ve var olmayan paketlerin nerede önerildiğini görerek bunu bir adım daha ileri götürdüler" diye ekledi.
Araştırmacılara göre, 40'tan fazla konu hakkında sorulan en yaygın soruları almak için Stack Overflow'u sorguladılar ve her konu için ilk 100 soruyu kullandılar.
Ardından, topladıkları tüm soruları API'si aracılığıyla ChatGPT'ye sordular. Bir saldırganın mümkün olan en kısa sürede var olmayan paket önerilerini alma yaklaşımını çoğaltmak için API'yi kullandılar.
Her yanıtta, paket yükleme komutunda bir kalıp aradılar ve önerilen paketi çıkardılar. Daha sonra önerilen paketin var olup olmadığını kontrol ettiler. Olmazsa, kendileri yayınlamaya çalıştılar.
Klugging Yazılımı
Kaliforniya, Palo Alto'da bulunan bir bağımlılık yönetimi şirketi olan Endor Labs'ta güvenlik araştırmacısı olan Henrik Plate, ChatGPT koduyla oluşturulan kötü amaçlı paketlerin paket yükleyicileri PyPI ve npm'de zaten tespit edildiğini belirtti.
"Büyük dil modelleri, aynı mantığı uygulayan ancak farklı biçim ve yapıya sahip kötü amaçlı yazılım varyantlarının oluşturulmasında da saldırganları destekleyebilir; örneğin, farklı işlevler arasında kötü amaçlı kod dağıtarak, tanımlayıcıları değiştirerek, sahte yorumlar ve ölü kod veya karşılaştırılabilir teknikler oluşturarak, ” TechNewsWorld'e söyledi.
Küresel bir otomatik yazılım güvenlik teknolojileri sağlayıcısı olan CYE'nin bilgi güvenliği sorumlusu Ira Winkler, bugün yazılımla ilgili sorunun bağımsız olarak yazılmaması olduğunu gözlemledi.
TechNewsWorld'e "Temelde zaten var olan birçok yazılımdan bir araya getirildi" dedi. "Bu çok verimli, dolayısıyla bir geliştiricinin sıfırdan ortak bir işlev yazması gerekmiyor." Ancak bu, geliştiricilerin kodu uygun şekilde incelemeden içe aktarmasına neden olabilir.
İsrail, Tel Aviv'deki bir uygulama güvenlik şirketi olan Checkmarx'ın yazılım tedarik zinciri güvenliği başkanı Jossef Harush, "ChatGPT kullanıcıları, meşru olduğunu düşündükleri halde kötü amaçlı bir paket yükleyebilen açık kaynaklı yazılım paketlerini yükleme talimatları alıyorlar" dedi.
TechNewsWorld'e "Genel olarak konuşursak," dedi, "kopyala-yapıştır-yürüt kültürü tehlikelidir. Vulcan araştırma ekibinin gösterdiği gibi, ChatGPT gibi kaynaklardan körü körüne bunu yapmak tedarik zinciri saldırılarına yol açabilir."
Kod Kaynaklarınızı Bilin
Kirkland, Washington'da bir yakınsama uç nokta yönetimi sağlayıcısı olan Tanium'da uç nokta güvenlik araştırması direktörü Melissa Bischoping de üçüncü taraf kodunun gevşek kullanımı konusunda uyarıda bulundu.
TechNewsWorld'e "Açık kaynak GitHub depoları veya şimdi ChatGPT önerileri gibi rastgele bir kaynaktan kaparak anlamadığınız ve test etmediğiniz bir kodu asla indirip çalıştırmamalısınız" dedi.
"Çalıştırmayı düşündüğünüz herhangi bir kod güvenlik açısından değerlendirilmeli ve özel kopyalarına sahip olmalısınız" diye tavsiyede bulundu. "Vulcan saldırısında kullanılanlar gibi halka açık depolardan doğrudan içe aktarmayın."
Paylaşılan veya içe aktarılan üçüncü taraf kitaplıkları aracılığıyla bir tedarik zincirine saldırmanın yeni bir şey olmadığını ekledi.
"Bu stratejinin kullanımı devam edecek," diye uyardı, "ve en iyi savunma, güvenli kodlama uygulamalarını kullanmak ve üretim ortamlarında kullanılması amaçlanan kodu - özellikle üçüncü taraflarca geliştirilen kodu - kapsamlı bir şekilde test edip gözden geçirmektir."
"İnternette veya bir AI ile sohbette bulduğunuz her kitaplığa veya pakete körü körüne güvenmeyin" diye uyardı.
Seattle'da bir yazılım tedarik zinciri güvenlik çözümleri üreticisi olan Chaingard'ın CEO'su ve kurucu ortağı Dan Lorenc, kodunuzun kaynağını bilin, diye ekledi.
TechNewsWorld'e "Geliştirici özgünlüğü, imzalı taahhütler ve paketler aracılığıyla doğrulandı ve güvenebileceğiniz bir kaynaktan veya satıcıdan açık kaynak yapıtları almak, açık kaynağa yönelik bu Sybil tarzı saldırılara karşı tek gerçek uzun vadeli önleme mekanizmalarıdır" dedi.
Erken Vuruşlar
Mountain View, Kaliforniya'da siber ve fiziksel güvenlik yazılım çözümleri geliştiricisi olan Viakoo'nun CEO'su Bud Broomhead, kodu doğrulamanın her zaman kolay olmadığını belirtiyor.
TechNewsWorld'e şunları söyledi: "Birçok dijital varlık türünde - ve özellikle IoT/OT cihazlarında - ürün yazılımı, dijital imzalama veya diğer güven oluşturma biçimlerinden hala yoksundur, bu da istismarları mümkün kılar."
“Hem siber saldırı hem de savunma için kullanılan üretken yapay zekanın ilk aşamalarındayız. Vulcan'a ve yeni tehditleri zamanında tespit eden ve uyaran diğer kuruluşlara, dil öğrenme modellerinin bu tür bir istismarı önlemeye yönelik olarak ayarlanması için teşekkür ederiz" diye ekledi.
"Unutmayın," diye devam etti, "Chat GPT'den yeni bir kötü amaçlı yazılım oluşturmasını isteyeli yalnızca birkaç ay oldu ve o da yapacaktı. Şimdi onu istemeden yaratması için çok özel ve yönlendirilmiş bir rehberlik gerekiyor. Ve umarım, bu yaklaşım bile yakında yapay zeka motorları tarafından engellenir.”