Yerleştirmeyi Google'da oluşturulan en gelişmiş algoritmalar dahil olmak üzere birkaç farklı yöntemle alabilirsiniz.
Standart Boyutlandırma Azaltma Teknikleri
Düşük boyutlu bir alanda yüksek boyutlu bir alanın önemli yapısını yakalamak için kullanılan birçok matematiksel teknik vardır. Teoride, bu tekniklerden herhangi biri makine öğrenimi sistemi için yerleştirme oluşturmak amacıyla kullanılabilir.
Örneğin, araya yerleştirilmiş kelimeler oluşturmak için ana bileşen analizi (PCA) kullanılmıştır. Bir dizi çantadan oluşan vektör gibi bir dizi örnek göz önünde bulundurulduğunda, PCA tek bir boyuta daraltılabilen, alaka düzeyi yüksek boyutları bulmaya çalışır.
Kelime2vec
Word2vec, Google'ın kelime yerleştirme eğitimi için geliştirdiği bir algoritmadır. Word2vec, anlamsal olarak benzer kelimeleri coğrafi olarak birbirine yakın yerleştirilmiş vektörlerle eşlemek için dağıtım hipotezine dayanır.
Dağılım hipotezinde, genellikle aynı komşu kelimelere sahip kelimeler semantik olarak benzer olma eğilimindedir. Hem "köpek" hem de "kedi" genellikle "veteriner" kelimesine yakın bir şekilde görünür ve bu bilgi, anlamsal benzerliklerini yansıtır. Dilbilimci John Firth'ün 1957 yılında yazdığı gibi, "yazısını taşıdığı şirket tarafından bir kelime öğreneceksiniz".
Word2Vec, nöral ağları eğitim alarak rastgele oluşturulan kelimelerin arasında gerçek anlamda birlikte geçen kelime gruplarını birbirinden ayırt edecek şekilde bağlamsal olarak bu bilgilerden yararlanır. Giriş katmanı, bir veya daha fazla bağlam kelimesiyle birlikte bir hedef kelimenin seyrek bir şekilde temsil edilmesini sağlar. Bu giriş, daha küçük olan tek bir gizli katmana bağlanır.
Algoritmanın bir sürümünde sistem, hedef kelime için rastgele bir gürültü kelimesini değiştirerek negatif bir örnek oluşturur. Olumlu örnek olan "uçak sinekleri" göz önüne alındığında, sistem, "zıplayan sinekler" için zıt anlamlı negatif örnek oluşturmak üzere "jogging" (jogging) ifadesini değiştirebilir.
Algoritmanın diğer sürümü, gerçek hedef kelimeyi rastgele seçilen içerik kelimeleriyle eşleştirerek negatif örnekler oluşturur. Bu nedenle, iyi örnekler (uçak, uçak), (uçuş, uçak) ve negatif örnekler (derlenen, uçak) ve (kim, uçak) gibi bilgiler alabilir ve hangi çiftlerin metinde birlikte göründüğünü belirleyebilirsiniz.
Sınıflandırıcı, sistemin her iki sürümü için de gerçek hedef değildir. Model eğitildikten sonra yerleştirme işlemi yaparsınız. Kelimelerin az temsil edilmesini daha küçük vektörlerle eşlemek için giriş katmanını gizli katmana bağlayan ağırlıkları kullanabilirsiniz. Bu yerleştirme diğer sınıflandırıcılarda yeniden kullanılabilir.
word2vec hakkında daha fazla bilgi için tensorflow.org adresindeki eğitim sayfasına bakın
Daha Büyük Modelin Bir parçası olarak Yerleştirme Eğitimi
Hedef göreviniz için nöral ağın bir parçası olarak yerleştirmeyi de öğrenebilirsiniz. Bu yaklaşım, sisteminize uygun şekilde özelleştirilmiş bir yerleştirme sağlar ancak yerleştirmeyi ayrı olarak eğitmekten daha uzun sürebilir.
Genel olarak, seyrek verileriniz (veya yerleştirmek istediğiniz yoğun veriler) olduğunda, yalnızca d boyutunda özel bir gizli birim türü olan bir yerleştirme birimi oluşturabilirsiniz. Bu yerleştirme katmanı, diğer özellikler ve gizli katmanlarla birleştirilebilir. Tüm DNN'lerde olduğu gibi son katman, optimize edilen kayıp olur. Örneğin, kullanıcıların diğer kullanıcıların ilgi alanlarını temel alarak kullanıcıların ilgi alanlarını tahmin etmek olan, ortak çalışmaya dayalı filtreleme yaptığımızı varsayalım. Bunu, kullanıcının olumlu etiket olarak izlediği filmlerin bazılarını rastgele dışarıda (veya bekleyerek) gözetimli bir öğrenme sorunu olarak modelleyebilir ve ardından softmax kaybını optimize edebiliriz.
5. Şekil. Ortak çalışma filtreleme verilerinden film yerleştirmeleri öğrenmek için örnek DNN mimarisi.
Bir başka örnek olarak, konut fiyatlarını tahmin etmek için DNN'nin parçası olarak bir emlak mülkündeki kelimeler için bir yerleşim katmanı oluşturmak isterseniz L2 Loss'u etiket olarak eğitim verilerinizde evlerin bilinen satış fiyatını kullanarak optimize edebilirsiniz.
d boyutlu bir yerleştirme öğrenilirken her öğe, d boyutlu bir noktadaki bir noktayla eşlenir, böylece bu alanda benzer öğeler yakında kalır. 6. şekilde, yerleştirme katmanında öğrenilen ağırlıklar ve geometrik görünüm arasındaki ilişki gösterilmiştir. Bir giriş düğümü ile d boyutlu yerleştirme katmanındaki düğümler arasındaki kenar ağırlıkları, d eksenlerinin her birinin koordinat değerlerine karşılık gelir.
6. Şekil. Yerleştirme katmanı ağırlıklarının geometrik görünümü.