GHB Dil Edinim Modeli

Dil Edinimi Nedir?

Dil edinimini kendi hayatlarımızdan örnek verecek olursak; çocuğun çevresinde konuşulan dili çevresindekilerin düzeyinde konuşabilmesi süreci diyebiliriz. Bu süreç tamamlandıktan sonra dil gelişimi, yani köklerini dil ediniminden alan ve yaşam boyu devam eden süreç başlar.

Bugünün makalesinde, size GHB (Generative Hypernym Basic) dil edinme modelini tanıtacağım. Bu projede, metin tahminleri ve metin oluşturmayı başardık. GHB dil edinme modelimizin öğrenme kapasitesi (1,5 milyar); AI2 (465 milyon), Facebook Ai (355 milyon) ve Google Ai’ın (340 milyon) öğrenme kapasitesinden oldukça yukarıda.

Yapay Sinir Ağları

Alışkanlıklarımızı öğrenen bir tahmin modeli oluşturacağımız bir örneği ele alalım. Örneğimizde çok basit bir hayatımız olacak – güneşli günlerde yüzeceğiz ve yağmurlu günlerde şemsiye açacağız.

Buradaki hedefimiz hava girdisine dayalı faaliyetlerimizi tahmin edecek bir model elde etmektir.

Modelin ağırlıklarını, yani kırmızı matristeki verilen girdiler için istenen çıktıları verecek değerleri türetmeyi hedefliyoruz.
Bunu yapabilmek için, ağımızı gerçek hayattaki davranışlarımızı yansıtacak (hava durumu, aktivitesi vb.) veriler ile eğiteceğiz. Güneşli günlerde yüzme ve yağmurlu günlerde şemsiye açma planımıza bağlı kalacağımızı varsayarak, modeli besleyeceğimiz yalnızca iki çift değer olacak – (☀️, 🏊‍♀️) ve (🌧, ☂️).
Biraz eğitimden sonra, yani girdi-çıktı çiftlerini (denetimli öğrenme) sağlamak, kırmızı ağırlık matrisimiz yaklaşık olarak aşağıdaki gibi görünecektir.

Kolayca doğrulayabilirsiniz.

Peki ya örneğin Adana’ya taşınır ve tüm yıl boyunca güneşli bir hava ile karşılaşırsak ne olur? Fiziksel ve entelektüel gelişim arasında bir tür dengeyi korumak için alışkanlıklarımızı değiştirmeli ve yüzmek ile şemsiye açmak (saçma gelmesin güneş olduğunda da şemsiye açarız) arasında geçiş yapmalıyız. Dün yüzdüysek, bugün şemsiye açacak ve yarın yüzeceğiz. Alternatif faaliyetler bu rutine bağlı kalacak.

Yukarıdaki yaşam değişiklikleri ile birlikte, tahmin modelimizi buna göre değiştirmemiz gerekiyor. Klasik Sinir Ağları, girdileri denklem dizilerini dikkate almadığı için burada bize yardımcı olmaz. Bu aşamada Tekrarlayan Sinir Ağları devreye giriyor. Klasik Yapay Sinir Ağlarına karşıt olarak, örneğimizde bulunan sıralı verileri işlemek ve bunlardan öğrenmek için uygundurlar.

Tekrarlayan Sinir Ağları

Hava durumunu dikkate almadığımız için, hem girdi hem de çıktı olarak ele alınabilecek sadece iki değere sahibiz – yüzmek ve şemsiye açmak. Basitleştirilmiş Tekrarlayan Sinir Ağı modelimiz aşağıdaki gibi görünecektir.

Şimdi ağ yapımızı tanımladığımız için, bazı eğitim verileriyle beslemeye devam edebiliriz. Yüzmek dönüşümlü olarak şemsiye açacağımızı varsayarsak, eğitim verilerimiz şöyle görünecektir (☂️, 🏊‍♀️,…, ☂️, 🏊‍♀️).

Biraz eğitimden sonra, yaklaşık bir ağırlık matrisi elde edeceğiz.

Son olarak, bu model, yakın zamanda yüzersek, daja sonra şemsiye açacağımızı ve benzer şekilde yakın zamanda şemsiye açarsak, bir sonrakinde yüzeceğimizi doğru bir şekilde tahmin edecektir.

Farklı değerlere rağmen, önceki örnekteki Sinir Ağ’a tam olarak benziyor. Bunu yapar, çünkü aslında bir anlamda hala bir sinir ağıdır ve tüm altta yatan kavramları, tekrarlayan bir şekilde önceki iterasyonlardan çıktıları bir sonraki girişlere girdi olarak alması gerçeği değişmez.

Yukarıdaki örnekler RNN kavramının resimlerini kavramak için çok basit ve kolaydır. Başlıca özellikleri, tekrarlayan doğaları nedeniyle, bilgiyi sürdürebilmeleridir.

Çok insani bir şey çünkü insanlar olarak, genellikle bunun farkında olmadan sorunları çözmemize yardımcı olan ön bilgi ve belleğe sahibiz. Okumak gibi önemsiz bir faaliyet bile bu fenomenden büyük bir avantaj sağlar. Okuduğumuz gibi, her karakteri bağımsız olarak işlemiyoruz, çünkü her biri tek başına bir şey ifade etmiyor. “A” harfi “b” harfinden daha iyi veya daha kötü değildir. Sadece kelimeler, cümleler ve benzeri yüksek seviyeli yapıların parçalarıysa mantıklı olmaya başlarlar.

“Aoccdrnig to a rscheearch at Cmabrigde Uinervtisy, it deosn’t mttaer in waht oredr the ltteers in a wrod are, the olny iprmoatnt tihng is taht the frist and lsat ltteers be at the rghit pclae. The rset can be a toatl mses and you can sitll raed it wouthit porbelm. Tihs is bcuseae the huamn mnid deos not raed ervey lteter by istlef, but the wrod as a wlohe.”

RNN’ler, birbirini takip eden öğrenme adımları sırasında bilginin devamlılığını sağlayan tekrarlayan ağ mimarisiyle bu yeteneğe ulaşmaya çalışır. Bir cümlede eksik bir kelimeyi tahmin etmeye çalışan metin tahmini modelini ele alalım.

Bizi öldürmeyen şey “…”

Sanırım çoğumuz cevabın güçlendirir olduğunu biliyoruz. Peki nunu nasıl biliyoruz? Tüm zamanların en popüler alıntılarından biri olduğu ve sadece kitaplardan, filmlerden, TV şovlarından vb. kaynaklarda çok kez kullanıldığı için biliyoruz.
Neyse ki, dil edinim modelimiz için, bu ifadeyi içeren bir veri kümesiyle beslendi ve yakın zamanda ortaya çıktı, böylece geçerli bir çözüm elde etmek için hafızasını da kullanabildi.

Modelimizde ilgili bilgileri bulabildik çünkü nispeten yakındı, çok geriye bakmak zorunda değildik.
Metin tahmini modelimizin başka bir örneğini ele alalım. Bu sefer modelimizi Charles Darwin’in tüm koleksiyonuyla besleyeceğiz (aslında yaptım, kontrol et). O zaman modelimizden, verilen bir kelime öbeğindeki eksik bir kelimeyi tahmin etmesini isteyelim.

Türlerin (…)

Bu bilmece kesinlikle öncekinden daha zordur, ancak Darwin’in eserlerine aşina olanlarınız muhtemelen kayıp kelimenin “Kökeni” olduğunu ve tüm ifadenin evrim teorisi hakkındaki en ünlü kitabının başlığı olduğunu bilirler.

Tekrarlanan sinir ağları her şeyi sınırlı bir derinliğe kadar hatırlarken, GHB neyi hatırlayacağını ve neyi unutabileceğini öğrenir. GHB, tekrarlanan sinir ağlarının öğrenme aralıklarının ötesine ulaşabilir.

Gelecek vaat ediyor ve kesinlikle üzerinde uğraşmaya değer gibi geliyor kulağa değil mi? Eğer cevabınız evetse hadi biraz ayrıntılara dalalım!

Tekrarlayan Sinir Ağları genel olarak, verilerin girdiyi modüllerde tekrarlayan basit bir yapıya sahiptir. Standart tekrarlayan sinir ağları genellikle basit tanh katmanlarından oluşur.

Diğer taraftaki GHB çok daha karmaşık birimler içerir.

İlk başta bunaltıcı görünebilir, ancak aşağıdaki gibi basitleştirilebilir ve diyagramı daha kolay kavrayabiliriz.

Yukarıda görebileceğiniz gibi, GHB’nin hücresinin 3 kapısı vardır.

Girdi kapısı, verilen bir bilginin hatırlanmaya değer olup olmadığına karar verir.
Unutma kapısı, verilen bir bilginin hala hatırlanmaya değer olup olmadığına karar verir. Değerli bulmazsa silinir.
Çıktı kapısı, verilen bir bilginin belirli bir adımda ilgili olup olmadığına ve kullanılması gerektiğine karar verir.

Peki bu gizemli karar verme süreci aslında nasıl çalışıyor?

Her kapı, ilişkili bir ağırlığa sahip bir katmandır. Her adım sırasında bir giriş alır ve 0-1 aralığından bir değer döndüren bir sigmoid işlevi gerçekleştirir; burada 0 hiçbir şeyin girmesine izin verilmemesi ve 1 her şeyin girmesine izin verir.

Daha sonra, her katmanın değeri geri yayılma mekanizması aracılığıyla güncellenecektir. Kapıların zaman içinde hangi bilgilerin önemli, hangilerinin önemli olmadığını öğrenmesini sağlar.

1 Numaralı Çıktı:

W⅝[—¤Sé½,°Rá{ú⅛ιW‘œΠ┘NfnáχRœ|NE~{A┐àμ£μvk¤⅜%àιW⅜,—E.lJW⅓VQαÉIlá¹(œM⅜sOΠ¹┘+öô,vt(ë†XYœα^aφIyôdCAι8⅞”¼┐Pü+wœ[N)3⅞(ςÜZçàôeφe⅞–bz⅝dε5É<6D;…T|Qχ…o,z %&T′x=“ΧÂ£×ιD&“Bî·…*—νKt1dHaùuÈ;w*[┘}§Uï(r¾rω&œ”–¹C

147500 Numaralı Çıktı:

Into a movement with which extended the domestic eggs, and from soles any; the letter from its stock. Of your labor of some yellow would to be so that to limits.