Haberin öne çıkan noktaları
- OpenAI’ın henüz kullanıma sunmadığı Astra modelinde, düşünme sürecinin bazı bölümlerini daha az görünür hâle getirebilen “recurrent depth” tekniğinin kullanıldığı öne sürüldü. Yapay zekâ güvenliği araştırmacıları, bu yaklaşımın modellerin karar süreçlerini denetlemeyi zorlaştırabileceği uyarısında bulundu.
OpenAI’ın henüz kullanıma açmadığı Astra adlı yeni yapay zekâ modeli, gelişmiş siber güvenlik kabiliyetleriyle birlikte kullandığı ileri sürülen farklı akıl yürütme yöntemi nedeniyle güvenlik tartışmalarının odağına yerleşti. Modelde “recurrent depth” adı verilen ve bazı kaynaklarda “looped transformer” olarak tanımlanan bir tekniğin kullanıldığı belirtilirken, bu yöntemin düşünme sürecinin belirli bölümlerini dışarıdan izlemeyi güçleştirebileceği ifade ediliyor. Yapay zekâ güvenliği araştırmacıları, “opaque recurrence” olarak da anılan yaklaşımın yaygınlaşması durumunda modellerin davranışlarını denetlemenin daha karmaşık hâle gelebileceğine dikkat çekiyor.
Recurrent depth yönteminde, modelin işlediği bilgiler yalnızca tek bir doğrusal işlem akışından geçmiyor. Bilgiler, modelin iç katmanları arasında birden fazla kez dolaştırılabiliyor ve böylece aynı problem üzerinde daha fazla hesaplama yapılabiliyor. Geleneksel akıl yürütme modellerinde işlemler çoğunlukla sıralı adımlar hâlinde ilerlerken, Astra’da kullanıldığı öne sürülen bu yapı, hesaplamanın bir bölümünü modelin iç temsilleri üzerinde tekrarlanan döngülerle gerçekleştirebiliyor. Bunun sonucunda model daha kapsamlı bir işlem kapasitesine ulaşabilirken, bu işlemlerin daha büyük bir kısmı doğal dille oluşturulan düşünce zincirinin dışında kalabiliyor.
Tartışmanın temelinde, yapay zekâ modellerinin “chain-of-thought” olarak adlandırılan düşünce zincirlerinin ne ölçüde izlenebileceği bulunuyor. Gelişmiş akıl yürütme sistemlerinin ürettiği ara düşünce adımları, araştırmacılar tarafından modelin istenmeyen bir davranış geliştirip geliştirmediğini anlamak için önemli bir inceleme aracı olarak değerlendiriliyor. Bu kayıtlar sayesinde bir modelin güvenlik kurallarını aşmaya çalışıp çalışmadığı veya kullanıcıdan gizlediği farklı bir strateji geliştirip geliştirmediği araştırılabiliyor.
OpenAI’ın daha önce gerçekleştirdiği otonom ajan testlerinde de düşünce zincirlerinden yararlanıldığı ve bu kayıtların modellerin neden belirli davranışları sergilediğini anlamada önemli rol oynadığı belirtiliyor. Modelin ara adımlarının incelenebilmesi, yalnızca nihai cevabın değerlendirilmesine kıyasla güvenlik ekiplerine daha ayrıntılı bir gözlem imkânı sunuyor. Ancak recurrent depth yaklaşımında hesaplamanın daha büyük bölümünün modelin iç temsilleri arasında gerçekleşmesi, güvenlik sistemlerinin inceleyebileceği okunabilir düşünce izlerini azaltabilir.
Redwood Research baş bilim insanı Ryan Greenblatt, bu yaklaşımın daha geniş ölçekte kullanılmaya başlaması hâlinde modellerin akıl yürütme süreçlerinin önemli bir bölümünün görünür kanalların dışına taşınabileceğini düşünüyor. Greenblatt ayrıca yapay zekâ şirketleri arasındaki performans rekabetinin, geliştiricileri daha yüksek başarı sağlayan ancak daha az gözlemlenebilen mimarilere yöneltebileceği uyarısında bulunuyor. Bu durumun, performans artışı ile güvenlik denetimi arasındaki dengenin daha da zor kurulmasına yol açabileceği değerlendiriliyor.
Redwood Research Üst Yöneticisi Buck Shlegeris de Astra’da “opaque recurrence” kullanıldığı iddiasına ilişkin endişelerini dile getirdi. Yapay zekâ güvenliği çalışmalarıyla tanınan Zvi Mowshowitz ise şirketlerin rekabet baskısıyla daha az izlenebilir sistemler geliştirmeye yönelmesini önlemek için gelecekte düzenlemelere ihtiyaç duyulabileceğini öne sürdü. Mowshowitz’in değerlendirmesi, yalnızca tek bir modelin teknik özelliklerine değil, sektör genelinde güvenlik standartlarının nasıl korunacağına ilişkin daha geniş bir tartışmaya işaret ediyor.
Bununla birlikte, Astra’nın bütünüyle izlenemeyen bir sisteme dönüştüğünü söylemek için henüz yeterli veri bulunmuyor. OpenAI’ın, araştırmacıların modelin düşünce sürecini takip edebilmesini korumak amacıyla recurrent depth kullanımını sınırlı tuttuğu aktarılıyor. Bu yaklaşıma göre Astra’nın düşünce zincirinin önemli bir bölümü okunabilir kalmaya devam edecek ve modelin karar süreçleri tamamen kapalı bir yapıya dönüşmeyecek.
OpenAI Baş Bilim İnsanı Jakub Pachocki, şirketin ilk akıl yürütme modellerinden itibaren chain-of-thought izleme yöntemlerini korumaya çalıştığını belirtti. Pachocki, bu çabanın OpenAI’ın mevcut araştırma programındaki temel hedeflerden biri olduğunu ifade etti. Astra’nın hesaplama derinliğinin GPT-4’ün yaklaşık iki katlık aralığında bulunduğunu da söyleyen Pachocki, bu nedenle ortaya çıkan mimari değişikliğin bazı değerlendirmelerde ileri sürüldüğü kadar büyük veya radikal olmayabileceğine işaret etti.
OpenAI ise Astra’da looped transformer kullanılıp kullanılmadığı konusunda doğrulama yapmadı ve iddiayı reddetmedi. Şirketin model için hazırladığı güvenlik önlemlerinde düşünce zinciri takibine özel önem verdiği belirtiliyor. OpenAI, modelin amaç dışı ya da uyumsuz davranışlar sergileme ihtimalini hızlı şekilde belirlemek ve bu davranışları sınırlandırmak amacıyla ek chain-of-thought izleme sistemlerini devreye alacağını daha önce açıklamıştı.
Modellerin daha fazla hesaplamayı kendi iç temsilleri üzerinden gerçekleştirmesi, belirli görevlerde performans artışı sağlayabilir. Ancak aynı teknik özellik, güvenlik araştırmacılarının modelin bir sonuca nasıl ulaştığını anlamasını güçleştirebilir. Benzer yöntemlerin Anthropic ve Google DeepMind bünyesinde de tartışıldığı belirtiliyor. Bu nedenle recurrent depth etrafındaki görüş ayrılığı, Astra modelinin sınırlarını aşarak yeni nesil yapay zekâ mimarilerinin ne kadar gözlemlenebilir olması gerektiğine ilişkin daha kapsamlı bir sektör tartışmasına dönüşebilir.
Yorumlar 0