Takvim.com.tr Yapay zekanın içini okumak mümkün olabilir! Yapay zekanın kara kutusu açılıyor mu?
Eski OpenAI çalışanı Nick Cammarata, yapay zeka modellerinin sanıldığı kadar kapalı sistemler olmayabileceğini savundu. Kedi yüzü ile otomobilin önündeki ortak V biçimini örnek gösteren iddia, modellerin nasıl karar verdiğini anlama ve güvenlik açıklarını inceleme tartışmasını yeniden gündeme taşıdı. Çalışma henüz bağımsız olarak test edilmedi.
Takvim.com.tr Giriş Tarihi:
Eski OpenAI çalışanı ve Goodfire araştırmacısı Nick Cammarata, yapay zeka modellerinin iç işleyişinin sanıldığı kadar kapalı olmayabileceğini öne sürdü. Yaklaşık 26 bin kelimelik denemesinde, model nöronlarının ne yaptığının daha net biçimde görülebileceğini savundu; ancak bu iddialar henüz test edilmedi ve hakem değerlendirmesinden geçmedi.
GÖRÜNMEYEN BAĞLANTI V ŞEKLİ OLABİLİR
Cammarata'nın temel tezi, ilk bakışta ilgisiz görünen görüntüleri tanıyan bir nöronun aslında ortak bir görsel desene tepki veriyor olabileceği. Verdiği örnekte aynı nöron, bir kedi yüzünde ve bir otomobilin ön kısmında etkinleşiyor.
Bu iki görüntüyü birbirine bağlayan şeyin kedi ya da araç kavramı değil, ikisinde de bulunan V biçimli desen olduğunu söylüyor. Ona göre nöron, birbirinden kopuk iki nesneyi değil, bu ortak şekli algılıyor.
NÖRONLAR NEDEN KARA KUTU SAYILIYORDU?
Yapay zeka sistemleri, on milyarlarca parametresiyle genellikle araştırmacılar için bile çözülmesi zor bir kara kutu olarak görülüyor. Parametre, modelin öğrendiği ilişkileri taşıyan sayısal ayarlardan biri olarak tanımlanabilir.
Bu alandaki önde gelen açıklamalardan biri süperpozisyondu: Modeldeki nöron sayısı sınırlı olduğu için, bir nöron birbiriyle ilgisiz şeyleri aynı anda temsil ediyor olabilir. Cammarata ise nöronların böyle karışık düğümler olmadığı, daha anlaşılır örüntüler taşıdığı görüşünü öne çıkarıyor.
SEKTÖRÜN İLGİSİ NEDEN BÜYÜK?
Futurism'in aktardığına göre deneme, teknoloji dünyasında dikkat çekti. OpenAI Üst Yöneticisi Sam Altman paylaşımı övdü; OpenAI'da çalışan öne çıkan bir araştırmacı da çalışmayı "bilim tarihinde büyük bir an" diye niteledi.
Bu ilginin arkasında yapay zeka güvenliği tartışması var. Modellerin nasıl karar verdiğini anlamak, bir yapay zeka aracının güvenlik sınırlarını aşmasının ya da istenmeyen davranışlar sergilemesinin nedenlerini çözmeye yardımcı olabilir. Bu ihtimal, yapay zekanın insan amaçlarıyla uyumlu çalışmasını hedefleyen hizalama tartışması için önemli görülüyor.
SÜPERPOZİSYON TARTIŞMASI SÜRÜYOR
Her araştırmacı aynı iyimserliği paylaşmıyor. Google DeepMind'da mekanistik yorumlanabilirlik çalışmalarını yöneten Neel Nanda, çalışmayı ilginç bulduğunu ancak bunun yorumlanabilirliğe ilişkin genel tabloyu önemli ölçüde değiştirdiğini düşünmediğini belirtti.
Nanda, süperpozisyonun gerçek olduğu görüşünü koruduğunu ve çalışmanın kendi değerlendirme ölçütlerini değiştirmediğini yazdı. Bu itiraz, tek tek nöronlara anlam yüklemenin, bütün modelin birlikte nasıl davranacağını öngörmeye yetmeyebileceğine işaret ediyor.
KRİTİK SINIR
Nöronların işlevini daha iyi tanımlamak, yapay zeka güvenliğinin çözüldüğü anlamına gelmiyor.Teknik önlemlerin yanı sıra hukuki ve toplumsal çerçevelere de ihtiyaç bulunduğu vurgulanıyor.
TEKNİK BİR İPUCU, DAHA BÜYÜK SINIRLAR
Nöronların görevlerini daha iyi tanımlamak, yapay zeka güvenliğinin tek başına çözüldüğü anlamına gelmiyor. Kaynak metin, güvenli modeller için teknik önlemlerin yanı sıra hukuki ve toplumsal çerçevelere de ihtiyaç bulunduğunu vurguluyor.
Cammarata'nın yaklaşımının yapay zekanın iç mekanizmalarına ilişkin anlayışı ne ölçüde değiştireceği, bulguların sınanması ve bağımsız değerlendirmelerden sonra daha netleşecek.
