İlk Sinir Ağı

Bu alıştırmada, ilk küçük nöral ağımızı eğiteceğiz. Sinir ağları bize bu verileri kullanmadan doğrusal olmayan, özellikle çapraz çizgilerin kullanılması.

1. Görev: Buradaki model, iki giriş özelliğimizi birleştirerek bir nöron var. Bu model doğrusal olmayan şeyler öğrenecek mi? Uygulamanızı tahminde bulunabilirsiniz.

Görev 2: Gizli katmandaki nöron sayısını 1'den 2'ye yükseltin. Ayrıca, doğrusal aktivasyondan doğrusal olmayan aktivasyona geçmeyi deneyin. Mesela ReLU gibi. Doğrusal olmayan durumları öğrenebilen bir model oluşturabilir misiniz? Modelleyebilir mi? nasıl kullanıyor?

Görev 3: Gizli katmandaki nöron sayısını doğrusal olmayan bir aktivasyon kullanarak 2'den 3'e kadar gider. Verileri modelleyebiliyor mu? etkili mi? Model kalitesi çalıştırmadan çalıştırmaya nasıl değişiklik gösteriyor?

4. Görev: Gizli katmanlar ekleyerek veya kaldırarak denemeler yapmaya devam edin bir nöron olacak. Ayrıca öğrenme oranlarını, diğer öğrenme ayarları üzerine konuşacağız. En küçük hangisi test kaybı sağlayan kullanabileceğiniz nöron ve katman sayısı 0,177 veya daha düşük bir sürüm mü?

Model boyutunu büyütmek uyumu artırıyor mu veya ne kadar hızlı birleşiyor? Bu durum modelin iyi bir modele yaklaşma sıklığını değiştiriyor mu? Örneğin, şunu deneyin: şu mimariyi inceleyin:

• 3 nöronlu ilk gizli katman.
• 3 nöronlu ikinci gizli katman.
• 2 nöronlu üçüncü gizli katman.

(Yanıtlar alıştırmanın hemen altında görünür.)

---

---

1. Görev'in yanıtı için artı simgesini tıklayın.

Etkinleştirme Doğrusal olarak ayarlandığından bu model öğrenemez çözmek için kullanılabilecektir. Kayıp çok yüksek ve modelin uygunsuz olduğunu söyleyebiliriz. bahsedeceğim.

2. Görev'in yanıtı için artı simgesini tıklayın.

Doğrusal olmayan aktivasyon işlevi, doğrusal olmayan modelleri öğrenebilir. Ancak, tek bir gizli katman, tüm doğrusal olmayanları yansıtamaz olacaktır ve gürültü olmadan bile yüksek oranda kayba neden olacaktır. yeterli olmayabilir. Bu alıştırmalar deterministik olmadığından bazı etkili bir model öğrenmezken diğer çalıştırmalar oldukça iyi bir iş çıkaracaktır. En iyi model beklediğiniz şekle sahip olmayabilir!

3. Görev'in yanıtı için artı simgesini tıklayın.

Bu alıştırma, Playground'un deterministik olmayan doğasını öne çıkarıyor. CEVAP veri kümesini modellemek için 3 nöronlu tek bir gizli katman yeterlidir (mevcut olmayan gürültü) ancak tüm çalıştırmalar iyi bir model sonucu ortaya çıkmayabilir.

XOR işlevi, 3 yarım düzlemin kombinasyonu (ReLU aktivasyonu) olarak ifade edilebildiğinden 3 nöron yeterlidir. Bunu görmek için nöron görüntüleri oluşturabilirsiniz. İyi bir model ile 3 nöron ve ReLU etkinleştirmesi ile, neredeyse dikey çizgi, X¹'in pozitif (veya negatif) olduğu algılanıyor; işaret (değiştirilmeli) gibi, neredeyse yatay bir çizgiye sahip 1 resim gösteriliyor. Çapraz çizgiyle gösterilen X² ve 1 resim bahsedeceğim.

Ancak her çalıştırma iyi bir modele dönüşmez. Bazı çalıştırmalar daha iyi olduğunu anlayabilirsiniz. Bu öğelerde kopya nöronlar da durumlarda işe yarar.

4. Görev'in yanıtı için artı simgesini tıklayın.

3 nöronlu tek bir gizli katman verileri modelleyebilir ancak çalışır, bu nedenle birçok çalıştırmada bir nöronu kaybeder ve iyi bir modeldir. 3'ten fazla nörona sahip tek bir katmanda daha fazla yedek bulunur ve iyi bir modele yakınlaşma olasılığı da daha yüksektir.

Gördüğümüz gibi, yalnızca 2 nöron içeren tek bir gizli katman verileri modelleyemez. olur. Bunu denerseniz çıkış katmanındaki tüm öğelerin yalnızca bu iki düğümdeki çizgilerden oluşan şekiller olabilir. Böyle bir durumda, daha derin bir ağ, veri kümesini tek başına ilk gizli katmana göre daha iyi modelleyebilir: ikinci katmandaki ayrı nöronlar daha karmaşık şekiller modelleyebilir: nöronları birleştirerek ilk kareyi gösteren bir grafik oluşturabilirsiniz. Bunu eklerken ikinci gizli katman da veri kümesini ilk gizli katmandan daha iyi modelleyebilir katman tek başına kullanıldığında, veri analizini artırmak için ilk katmana daha fazla düğüm eklemek ikinci katmanın temelini oluşturan kitin parçası olarak daha fazla şekillere dokunun.

Ancak ilk gizli katmanda 1 nöron bulunan bir model, modelinizi geliştirir. Bunun nedeni, ilk katman yalnızca tek bir boyut (genellikle diyagonal çizgi) boyunca değişiklik gösterir, modellemek için yeterli. Sonraki katmanlar bunu telafi edemez, hayır ne kadar karmaşık olursa olsun giriş verilerindeki bilgiler onarılamaz şekilde emin olun.

Küçük bir ağa sahip olmak yerine çok sayıda katmanımız olsaydı çok fazla sinir hücresi kullanıyor musunuz? Gördüğümüz gibi ilk çok sayıda farklı çizgi eğimini deneyebilecektir. İkincisi ise katman, bunları birçok farklı şekilde biriktirme yeteneğine sahiptir. katmana doğru birçok şekille gösteriliyor.

Modelin çok sayıda farklı şekilde göz önünde bulundurmasını sağlayarak oluşturmak istiyorsanız, modelin başlatılması için yeterli alan eğitim setindeki gürültüyü kolayca ayarlamaya olanak tanır. grafiklerini oluşturmak yerine eğitim verilerinin odak noktalarını eşleştirmek için temel bilgileri özetledik. Bu örnekte, daha büyük modellerin veri noktalarıyla eşleşecek şekilde sınırları belirleyin. Olağan dışı durumlarda, büyük bir model tek bir gürültü noktasının çevresindeki adayı öğrenebiliriz. hazırlar. Modelin çok daha büyük olmasını sağlayarak daha basit modele göre daha iyi performans gösterdiğini sinir hücresi bulunuyor.