Geri yayılımsız öğrenmek

Derin öğrenmedeki yapay nöron bir sayı alır, bir sayı verir. Beyindeki nöron ise zaman içinde yaşar: zarındaki gerilim gelen akımla yavaş yavaş dolar, sızıntıyla boşalır ve bir eşiği aştığı anda kısa bir spike atıp sıfırlanır. Bilgi, sayıların büyüklüğünde değil spike’ların zamanlamasında taşınır. aura-mind bu tür nöronlardan kurulu.

Eşiğin altındaki akım ne kadar uzun sürerse sürsün tek bir spike üretmez: sızıntı her şeyi geri akıtır. Eşiği geçince hız hızla artar, sonra her spike’tan sonraki kısa dinlenme süresi (refrakter dönem) yüzünden doyar. Biraz gürültü eklemek, eşiğin hemen altındaki bir nöronu ara sıra ateşletir; beyin bu rastlantıyı bir özellik olarak kullanır.

Geri yayılım, ağın sonundaki hatayı bütün katmanlara geriye taşıyan küresel bir hesaptır. Beyinde böyle bir kanal yok gibi görünüyor. Onun yerine her sinaps sadece kendi iki ucunda olanı görür. STDP kuralı şunu söyler: gönderen nöron alıcıdan hemen önce ateşlendiyse, yani ona neden olmuş olabilirse, bağ güçlenir; hemen sonra ateşlendiyse zayıflar.

Kural tamamen yereldir: bir sinapsın öğrenmesi için ağın geri kalanını bilmesine gerek yoktur. aura-mind buna üçüncü bir faktör ekler, ödül ya da sürpriz gibi bir modülasyon sinyali, ki böylece “birlikte ateşlendik” bilgisi ancak işe yaradıysa kalıcı hale gelir.

Yerel öğrenme kurallarıyla bellek kurulabilir mi? Klasik bir örnek: her nöronun her nöronla bağlantılı olduğu bir ağ. Bir deseni saklamak için her bağı sadece iki ucundaki nöronun birlikte aktif olup olmadığına göre, ortalama aktiviteyi çıkararak güncellersin: Hebb’in kovaryans kuralı. Sonra deseni bozup ağı serbest bırakırsın; her nöron komşularından gelen toplam girdiye bakar, ortak bir ketleyici havuz da en güçlü sürülenler dışındakileri susturur, ve ağ adım adım saklanan desene geri kayar.

Birkaç desenle ağ ciddi bozulmaları bile onarır. Desen eklemeye devam et: bir noktadan sonra hatırlama çöker ve ağ desenlerin karışımı olan hayaletlere düşer. Birbirine benzeyen harflerde, E ile Z gibi, bu çöküş çok erken gelir; sekiz harfi birden yazıp E’yi bozmayı dene. Rastgele desenlerle kapasite daha yüksektir ama o da sınırsız değildir. Bu, felaket unutmanın küçük bir modeli: yeni bilgi eskisinin üstüne yazılır. aura-mind’ın bütün araştırması, yerelliği bozmadan bu çöküşü önleyecek mimariyi bulmak üzerine.