ChatGPT Gibi Yapay Zekâ Nasıl Çalışır? Dil Modelleri Basitçe Anlatıldı

Bir sohbet botundan kara delikleri açıklamasını, bir e-posta taslağı hazırlamasını ya da kediniz hakkında bir şiir yazmasını isteyin; saniyeler içinde akıcı, çoğu zaman etkileyici bir metin üretir. ChatGPT, Gemini ve Claude gibi araçlar 2022’nin sonlarından bu yana yüz milyonlarca insanın günlük hayatının bir parçası oldu. Peki içeride gerçekte ne oluyor? Bilgisayar düşünüyor mu, dev bir veritabanında arama mı yapıyor, yoksa bambaşka bir şey mi? Yanıt, çoğu insanın beklediğinden hem daha basit hem daha tuhaf.

Temel fikir: sıradaki parçayı tahmin etmek

Bir sohbet botunun kalbinde büyük dil modeli (LLM) bulunur. Temel görevi neredeyse fazla basit gelir: Bir metin verildiğinde, sırada ne geleceğini tahmin etmek.

1. Metniniz token denen küçük parçalara bölünür. Bir token kısa bir kelime, uzun bir kelimenin bir bölümü ya da bir noktalama işareti olabilir.
2. Dev bir sinir ağı olan model, o ana kadarki tüm tokenları işler.
3. Olası her sonraki token için bir olasılık hesaplar. “Sabah kahvaltıda bir bardak” ifadesinden sonra “çay” ya da “süt” gibi kelimeler yüksek, “yanardağ” ise çok düşük olasılık alır.
4. Genellikle en olası olanlardan biri, metni doğal tutmak için biraz da rastgelelik katılarak seçilir.
5. Seçilen token metne eklenir ve tüm süreç, cevap tamamlanana kadar token token tekrarlanır.

Sohbet botu cevaplarının ekranda yavaş yavaş belirmesinin nedeni budur: Parça parça üretilirler.

Sinir ağları ve parametreler

Sinir ağı, beyinden kabaca esinlenmiş matematiksel bir yapıdır. Her sinyalin bir sonrakini ne kadar güçlü etkileyeceğini belirleyen parametre denen sayılarla birbirine bağlanmış basit birim katmanlarından oluşur. Büyük dil modellerinin milyarlarca parametresi vardır.

Eğitimin başında bu sayılar rastgeledir ve modelin tahminleri anlamsızdır. Eğitim onları yavaş yavaş ayarlar ve tahminler iyileşir. Kimse dil bilgisi kurallarını ya da bilgileri doğrudan programlamaz; model dil ve dünya hakkındaki örüntüleri verilerden kendisi yakalar.

Transformer: dikkat etmek

Modern dil modellerinin çoğu, Google araştırmacılarının 2017’de akılda kalıcı Attention Is All You Need (“İhtiyacınız Olan Tek Şey Dikkat”) başlıklı makalesinde tanıttığı transformer tasarımını kullanır. Temel bileşeni, modelin her tokenın diğer her tokenla ne kadar ilgili olduğunu tartmasını sağlayan dikkat (attention) mekanizmasıdır.

“Kupa bavula sığmadı, çünkü o çok büyüktü.” cümlesini düşünün. İyi tahmin yapmak için modelin “o”nun kupayı kastettiğini çözmesi gerekir. Dikkat mekanizması birbirinden uzak kelimeleri ilişkilendirmesini ve bağlam kurmasını sağlar. Transformerlar pek çok tokenı aynı anda işleyebildiği için onları güçlü bilgisayar çipleriyle devasa miktarda metin üzerinde eğitmek mümkün hâle geldi.

Bir sohbet botu nasıl eğitilir?

Bir sohbet botu yapmak genellikle birkaç aşamadan geçer:

OpenAI’dan Long Ouyang ve ekibinin 2022 tarihli makalesi, bu insan geri bildirimiyle pekiştirmeli öğrenmenin (RLHF) bir modeli talimatlara uymakta nasıl çok daha iyi hâle getirdiğini anlattı. Testlerinde insanlar, bu şekilde eğitilmiş çok daha küçük bir modelin cevaplarını, bu eğitimi almamış çok daha büyük bir modelinkilere tercih etti.

Sohbet botları neyde iyidir?

Dil modelleri, dildeki örüntülere dayanan işlerde çok iyidir:

• kavramları basit kelimelerle açıklamak,
• metinleri özetlemek ve çevirmek,
• e-posta, makale ve kod taslağı hazırlamak ve düzeltmek,
• fikir üretmek ve devam sorularını yanıtlamak.

Ayrıca pek çok akıl yürütme problemini, özellikle cevap vermeden önce “düşünmek” üzere eğitilmiş yeni modellerde, adım adım çözebilirler.

Sınırları

Dil modeli bilgileri aramak yerine akla yatkın metin ürettiği için bazı önemli zayıflıkları vardır:

• Halüsinasyonlar: Var olmayan alıntılar ya da kaynaklar dahil, kendinden emin ve akıcı ama düpedüz yanlış ifadeler üretebilir.
• Bilgi kesim tarihi: Eğitim verisi belirli bir tarihte biter. Arama aracı olmadan sonraki olayları bilmez.
• Önyargı: İnsan yazılarından öğrendiği için, geliştiriciler bunu azaltmaya çalışsa da o yazılardaki önyargıları yansıtabilir.
• Yerleşik doğrulama yok: Söylediklerini güvenilir kaynaklarla otomatik olarak kontrol etmez.

Sağlık, hukuk, para ya da güvenlik gibi önemli konularda sohbet botu cevaplarını bir başlangıç noktası olarak görün ve güvenilir kaynaklarla ya da uzmanlarla doğrulayın.

Gerçekten zeki mi?

Dil modellerinin dili “anlayıp anlamadığı”, bilimin ve felsefenin en canlı tartışmalarından biridir. Açıkça çok fazla bilgi yakalıyorlar ve kendilerine hiç açıkça gösterilmemiş problemleri çözebiliyorlar. Aynı zamanda insan zihninden çok farklı çalışıyorlar: Dünyada yaşayarak değil metinden öğreniyorlar ve hiçbir insanın yapmayacağı biçimlerde hata yapabiliyorlar. Araştırmacıların çoğu bir konuda hemfikir: Bu sistemler, yetenekleri ve sınırları hâlâ haritalanan güçlü araçlardır.

Özetle

• Sohbet botları, sıradaki tokenı tahmin etmek üzere eğitilmiş büyük dil modelleriyle çalışır.
• Metin tokenlara bölünür; model her seferinde birini seçer ve tekrarlar.
• Modellerin çoğu, dikkat mekanizması üzerine kurulu 2017 tarihli transformer tasarımını kullanır.
• Eğitim ön eğitim, ince ayar ve insan geri bildirimi (RLHF) aşamalarını içerir.
• Halüsinasyon görebilir, bir bilgi kesim tarihleri vardır ve önyargıları yansıtabilirler.
• Onları yardımcı asistanlar olarak kullanın, ama önemli cevapları doğrulayın.