Machine Learning Glossary

Glosarium Machine Learning

Glosarium ini mendefinisikan istilah machine learning umum serta istilah khusus untuk TensorFlow.

A

pengujian A/B (A/B testing)

Cara membandingkan dua (atau beberapa) teknik dengan statistik, biasanya antara yang sudah ada dengan pesaing baru. Pengujian A/B bertujuan untuk menentukan tidak hanya teknik mana yang memiliki performa lebih baik tetapi juga untuk memahami apakah perbedaannya signifikan secara statistik. Pengujian A/B biasanya hanya mempertimbangkan dua teknik menggunakan satu pengukuran, tetapi dapat diterapkan pada sejumlah teknik dan ukuran yang terbatas.

akurasi (accuracy)

Fraksi prediksi yang model klasifikasinya benar. Dalam klasifikasi kelas jamak, akurasi didefinisikan sebagai berikut:

$$\text{Akurasi} = \frac{\text{Prediksi Yang Benar}} {\text{Jumlah Total Contoh}}$$

Dalam klasifikasi biner, akurasi memiliki definisi berikut:

$$\text{Akurasi} = \frac{\text{Positif Benar} + \text{Negatif Benar}} {\text{Jumlah Total Contoh}}$$

Lihat positif benar dan negatif benar.

fungsi aktivasi (activation function)

Fungsi (misalnya, ULT atau sigmoid) yang menggunakan jumlah berbobot pada semua masukan dari lapisan sebelumnya, kemudian menghasilkan dan meneruskan nilai keluaran (biasanya nonlinear) ke lapisan berikutnya.

pemelajaran aktif (active learning)

Pendekatan pelatihan yang mana algoritme memilih beberapa data yang dipelajari oleh algoritme tersebut. Pemelajaran aktif sangat berharga jika contoh berlabel langka atau sulit untuk diperoleh. Bukannya mencari beragam rentang contoh berlabel secara acak, algoritme pemelajaran aktif secara selektif mencari rentang contoh tertentu yang diperlukan untuk pemelajaran.

AdaGrad

Algoritme penurunan gradien mutakhir yang menskalakan ulang gradien dari tiap parameter, yang secara efektif memberikan kecepatan pembelajaran independen ke tiap parameter. Untuk mengetahui penjelasan selengkapnya, lihat makalah ini.

pengelompokan aglomeratif (agglomerative clustering)

Lihat pengelompokan hierarki.

ABK (Area di Bawah Kurva KOP) (AUC (Area under the ROC Curve))

Metrik evaluasi yang mempertimbangkan semua batas klasifikasi yang memungkinkan.

Area di Bawah Kurva KOP adalah probabilitas yang mana pengklasifikasi akan lebih yakin bahwa contoh positif yang dipilih secara acak sebenarnya bernilai positif daripada contoh negatif yang dipilih secara acak bernilai positif.

bias otomatisasi (automation bias)

#fairness

Saat manusia lebih memilih rekomendasi yang dibuat oleh sistem pengambilan keputusan otomatis daripada informasi yang dibuat tanpa otomatisasi, meskipun sistem pengambilan keputusan otomatis membuat kesalahan.

B

propagasi mundur (backpropagation)

Algoritme utama untuk melakukan penurunan gradien pada jaringan neural. Pertama, nilai keluaran dari setiap simpul dihitung (dan disimpan dalam cache) dalam hitungan maju. Kemudian, turunan parsial dari error yang terkait dengan tiap parameter dihitung dalam hitungan mundur melalui grafik.

kumpulan kata-kata (bag of words)

Representasi kata-kata dalam frasa atau kutipan teks, terlepas dari urutannya. Misalnya, kumpulan kata-kata merepresentasikan tiga frasa berikut secara identik:

  • anjing itu melompat
  • melompat anjing itu
  • anjing melompat itu

Tiap kata dipetakan ke indeks dalam vektor jarang, yang mana vektor memiliki indeks untuk tiap kata dalam kosakata. Misalnya, frasa anjing itu melompat dipetakan ke dalam vektor fitur dengan nilai bukan nol pada tiga indeks yang sesuai dengan kata itu, anjing, dan melompat. Nilai bukan nol dapat berupa salah satu dari hal berikut:

  • A 1 untuk menunjukkan adanya sebuah kata.
  • Hitungan frekuensi kata yang muncul dalam tas. Misalnya, jika frasanya adalah anjing marun adalah anjing dengan bulu marun, marun dan anjing akan direpresentasikan sebagai 2, sementara kata lainnya akan direpresentasikan sebagai 1.
  • Beberapa nilai lainnya, seperti logaritme hitungan frekuensi kata yang muncul dalam kumpulan.

dasar pengukuran (baseline)

Model sederhana atau heuristik yang digunakan sebagai titik referensi untuk membandingkan seberapa baik performa suatu model. Dasar pengukuran membantu developer model mengukur performa minimal yang diharapkan pada kasus tertentu.

tumpukan (batch)

Set contoh yang digunakan dalam satu iterasi (yaitu, satu pembaruan gradien ) dari pelatihan model.

Lihat juga ukuran tumpukan.

normalisasi tumpukan (batch normalization)

Normalisasi masukan atau keluaran dari fungsi aktivasi dalam lapisan tersembunyi. Normalisasi tumpukan dapat memberikan manfaat berikut:

  • Membuat jaringan neural lebih stabil dengan melindunginya terhadap bobot pencilan.
  • Memungkinkan kecepatan pembelajaran yang lebih tinggi.
  • Mengurangi overfitting.

ukuran tumpukan (batch size)

Jumlah contoh dalam tumpukan. Misalnya, ukuran tumpukan PGS bernilai 1, sedangkan ukuran tumpukan untuk tumpukan mini biasanya bernilai antara 10 dan 1.000. Ukuran tumpukan biasanya bernilai tetap selama pelatihan dan inferensi; namun, TensorFlow mengizinkan ukuran tumpukan dinamis.

jaringan neural Bayesian (Bayesian neural network)

Jaringan neural probabilistik yang menghitung ketidakpastian dalam bobot dan keluaran. Model regresi jaringan neural standar biasanya memprediksi nilai skalar; misalnya, model memprediksi harga rumah senilai 853.000. Sebaliknya, jaringan neural Bayesian memprediksi distribusi nilai; misalnya, model memprediksi harga rumah senilai 853.000 dengan simpangan baku 67.200. Jaringan neural Bayesian mengandalkan Teorema Bayes untuk menghitung ketidakpastian dalam bobot dan prediksi. Jaringan neural Bayesian dapat berguna jika penghitungan ketidakpastian bersifat penting, seperti dalam model yang terkait dengan obat-obatan. Jaringan neural Bayesian juga dapat membantu mencegah overfitting.

bias (etika/fairness) (bias (ethics/fairness))

#fairness

1. Stereotip, prasangka atau favoritisme terhadap beberapa hal, orang, atau golongan dibandingkan yang lain. Bias tersebut dapat memengaruhi pengumpulan dan penafsiran data, desain sistem, dan cara pengguna berinteraksi dengan sistem. Bentuk-bentuk dari jenis bias ini meliputi:

2. Error sistematis yang diperkenalkan dengan prosedur sampling atau pelaporan. Bentuk-bentuk dari jenis bias ini meliputi:

Harap bedakan dengan istilah bias dalam model machine learning atau bias prediksi

bias (matematika) (bias (math))

Intersep atau ofset dari asal. Bias (juga dikenal sebagai istilah bias) disebut sebagai b atau w0 dalam model machine learning. Misalnya, bias bernilai b dalam formula berikut:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Harap bedakan dengan bias dalam etika dan fairness atau bias prediksi.

bigram (bigram)

N-gram yang mana N=2.

klasifikasi biner (binary classification)

Jenis klasifikasi yang menghasilkan satu dari dua kelas yang saling terpisah. Misalnya, model machine learning yang mengevaluasi pesan email dan keluaran sebagai "spam" atau "bukan spam" adalah pengklasifikasi biner.

pengelompokan (binning)

Lihat pengelompokan (bucketing).

peningkatan (boosting)

Teknik ML yang secara berulang menggabungkan set pengklasifikasi yang sederhana dan tidak terlalu akurat (disebut sebagai pengklasifikasi "lemah") menjadi pengklasifikasi dengan akurasi tinggi (pengklasifikasi "kuat") dengan meningkatkan bobot contoh yang saat ini salah diklasifikasikan oleh model.

pengelompokan (boosting)

Mengonversi fitur (biasanya berkelanjutan) menjadi beberapa fitur biner yang disebut pengelompokan (bucket atau bin), biasanya berdasarkan pada rentang nilai. Misalnya, daripada merepresentasikan suhu sebagai satu fitur floating-point yang berkelanjutan, Anda dapat membagi data berdasarkan nilai suhu menjadi bin yang terpisah. Dengan data suhu hingga akurasi sepersepuluh derajat, semua suhu antara 0,0 dan 15,0 derajat dapat dimasukkan ke dalam kelompok pertama, 15,1 hingga 30,0 derajat dapat dimasukkan dalam kelompok kedua, dan 30,1 hingga 50,0 derajat dapat dimasukkan dalam kelompok ketiga.

C

lapisan kalibrasi (calibration layer)

Penyesuaian pascaprediksi, biasanya diperhitungkan untuk bias prediksi. Prediksi dan probabilitas yang disesuaikan harus cocok dengan distribusi set label yang diamati.

pembuatan kandidat (candidate generation)

Set rekomendasi awal yang dipilih oleh sistem rekomendasi. Misalnya, pertimbangkan toko buku yang menawarkan 100.000 judul. Fase pembuatan kandidat membuat daftar buku yang cocok dengan jumlah yang lebih kecil untuk pengguna tertentu, misalnya 500. Namun, 500 buku tetap terlalu banyak untuk direkomendasikan kepada pengguna. Fase sistem rekomendasi berikutnya yang lebih sulit (seperti pemberian skor dan pemberian peringkat ulang) akan membagi 500 rekomendasi tersebut menjadi set rekomendasi yang jauh lebih kecil dan berguna.

sampling kandidat (candidate sampling)

Pengoptimalan waktu pelatihan yang mana probabilitas dihitung untuk semua label positif, misalnya, softmax, tetapi hanya untuk sampel label negatif acak. Misalnya, jika kita memiliki contoh berlabel anjing pemburu dan anjing, sampling kandidat akan menghitung probabilitas yang diprediksi dan istilah kerugian yang sesuai untuk keluaran kelas anjing pemburu dan anjing selain subset acak dari kelas yang tersisa (kucing, lolipop, pagar). Idenya adalah agar kelas negatif dapat belajar dari penguatan negatif yang jarang selama kelas positif selalu mendapatkan penguatan positif yang tepat, dan ini memang diamati secara empiris. Motivasi untuk melakukan sampling kandidat adalah kelebihannya dalam hal efisiensi komputasi karena tidak menghitung prediksi untuk semua kelas negatif.

data kategorik (categorical data)

Fitur yang memiliki set diskrit yang berisi nilai yang memungkinkan. Misalnya, pertimbangkan fitur kategorik bernama house style, yang memiliki set diskrit yang berisi tiga nilai yang memungkinkan: Tudor, ranch, colonial. Dengan merepresentasikan house style sebagai data kategorik, model dapat mempelajari dampak terpisah dari Tudor, ranch, dan colonial terkait harga rumah.

Terkadang, nilai-nilai dalam set diskrit bersifat eksklusif satu sama lain, dan hanya satu nilai yang dapat diterapkan pada contoh tertentu. Misalnya, fitur kategorik car maker mungkin hanya akan mengizinkan satu nilai (Toyota) per contoh. Adakalanya, nilai yang dapat diterapkan lebih dari satu. Satu mobil dapat dicat dengan lebih dari satu warna, sehingga fitur kategorik car color mungkin akan mengizinkan satu contoh memiliki beberapa nilai (misalnya, red dan white).

Fitur kategorik terkadang disebut fitur diskrit.

Berbeda dengan data numerik.

sentroid (centroid)

Pusat kluster seperti yang ditentukan oleh algoritme k-means atau k-median. Misalnya, jika k bernilai 3, algoritme k-means atau k-median akan menemukan 3 sentroid.

checkpoint

Data yang mengambil status variabel dari suatu model pada waktu tertentu. Checkpoint memungkinkan pengeksporan bobot model, serta pelatihan di beberapa sesi. Checkpoint juga memungkinkan pelatihan melanjutkan error yang lalu (misalnya, tugas yang sebelumnya). Perhatikan bahwa grafik itu sendiri tidak disertakan dalam checkpoint.

kelas (class)

Salah satu nilai yang digunakan untuk label. Misalnya, dalam model klasifikasi biner yang mendeteksi spam, kedua kelasnya adalah spam dan bukan spam. Dalam model klasifikasi kelas jamak yang mengidentifikasi ras anjing, kelasnya dapat berupa pudel, anjing pemburu, pug, dan lainnya.

model klasifikasi (classification model)

Jenis model machine learning untuk membedakan antara dua atau beberapa kelas diskrit. Misalnya, model klasifikasi natural language processing dapat menentukan apakah kalimat masukan dalam bahasa Prancis, Spanyol, atau Italia. Bandingkan dengan model regresi.

batas klasifikasi (classification threshold)

Kriteria nilai skalar yang diterapkan pada skor prediksi model untuk memisahkan kelas positif dari kelas negatif. Digunakan saat memetakan hasil regresi logistik ke klasifikasi biner. Misalnya, pertimbangkan model regresi logistik yang menentukan probabilitas pesan email tertentu adalah spam. Jika batas klasifikasi adalah 0,9, nilai regresi logistik di atas 0,9 diklasifikasikan sebagai spam dan yang di bawah 0,9 diklasifikasikan sebagai bukan spam.

kumpulan data kelas tidak seimbang (class-imbalanced data set)

Masalah klasifikasi biner yang mana label untuk dua kelas memiliki frekuensi yang berbeda secara signifikan. Misalnya, satu kumpulan data penyakit yang mana 0,0001 contoh memiliki label positif dan 0,9999 memiliki label negatif adalah contoh kelas yang tidak seimbang, tetapi prediksi pertandingan sepak bola yang mana 0,51 contoh memberi label suatu tim yang menang dan 0,49 contoh memberi label tim lain yang menang bukanlah masalah kelas tidak seimbang.

pemotongan (clipping)

Teknik untuk menangani pencilan. Secara khusus, mengurangi nilai fitur yang lebih besar dari nilai maksimum yang ditetapkan ke nilai maksimum tersebut. Selain itu, meningkatkan nilai fitur yang kurang dari nilai minimum tertentu ke nilai minimum tersebut.

Misalnya, anggaplah hanya beberapa nilai fitur yang memiliki nilai di luar rentang 40–60. Dalam hal ini, Anda dapat melakukan tindakan berikut:

  • Potong semua nilai di atas 60 menjadi tepat 60.
  • Potong semua nilai di bawah 40 menjadi tepat 40.

Selain menetapkan nilai masukan dalam rentang yang ditentukan, pemotongan juga dapat digunakan untuk memaksakan nilai gradien dalam rentang yang ditentukan selama pelatihan.

Cloud TPU

#TensorFlow
#GoogleCloud

Teknologi akselerator khusus untuk mempercepat proses machine learning di Google Cloud.

pengelompokan (clustering)

Mengelompokkan contoh terkait, khususnya selama unsupervised learning. Setelah semua contoh dikelompokkan, manusia dapat secara opsional memberikan arti pada setiap kluster.

Banyak algoritme pengelompokan tersedia. Misalnya, algoritme k-means mengelompokkan contoh berdasarkan kedekatannya dengan sentroid, seperti pada diagram berikut:

Kemudian peneliti manusia dapat meninjau kluster dan, misalnya, memberi label kluster 1 sebagai "pohon kerdil" dan kluster 2 sebagai "pohon berukuran normal".

Sebagai contoh lain, pertimbangkan algoritme pengelompokan berdasarkan jarak contoh dari titik tengah, yang diilustrasikan sebagai berikut:

penyaringan kolaboratif (collaborative filtering)

Membuat prediksi tentang minat pengguna berdasarkan minat dari pengguna lainnya. Penyaringan kolaboratif sering digunakan dalam sistem rekomendasi.

bias konfirmasi (confirmation bias)

#fairness

Kecenderungan untuk menelusuri, menafsirkan, mendukung, dan memperoleh informasi dengan cara yang memastikan keyakinan atau hipotesis yang sudah ada sebelumnya. Developer machine learning mungkin secara tidak sengaja mengumpulkan atau memberi label data dengan cara yang memengaruhi hasil yang mendukung keyakinan mereka yang sudah ada. Bias konfirmasi adalah bentuk dari bias implisit.

Bias pelaku eksperimen adalah bentuk bias konfirmasi yang mana pelaku eksperimen terus melatih model sampai hipotesis yang sudah ada sebelumnya dikonfirmasi.

matriks konfusi (confusion matrix)

Tabel NxN yang berisi rangkuman seberapa sukses prediksi model klasifikasi; yaitu, korelasi antara label dan klasifikasi model. Satu sumbu matriks konfusi adalah label yang diprediksi oleh model, dan sumbu lainnya adalah label yang sebenarnya. N merepresentasikan jumlah kelas. Dalam masalah klasifikasi biner, N=2. Misalnya, berikut ini sampel matriks konfusi untuk masalah klasifikasi biner:

Tumor (diprediksi) Bukan Tumor (diprediksi)
Tumor (sebenarnya) 18 1
Bukan Tumor (sebenarnya) 6 452

Matriks konfusi sebelumnya menunjukkan bahwa dari 19 sampel yang sebenarnya memiliki tumor, model secara benar mengklasifikasikan 18 sampel sebagai memiliki tumor (18 positif benar), dan salah mengklasifikasikan 1 sampel sebagai tidak memiliki tumor (1 negatif palsu). Demikian pula, dari 458 sampel yang sebenarnya tidak memiliki tumor, 452 sampel diklasifikasikan dengan benar (452 negatif benar) dan 6 sampel salah diklasifikasikan (6 positif palsu).

Matriks konfusi untuk masalah klasifikasi kelas jamak dapat membantu Anda menentukan pola kesalahan. Misalnya, matriks konfusi dapat mengungkapkan bahwa model yang dilatih untuk mengenali digit tulisan tangan cenderung salah memprediksi 9 bukannya 4, atau 1 bukannya 7.

Matriks konfusi berisi informasi yang memadai untuk menghitung berbagai metrik performa, termasuk presisi dan perolehan.

fitur berkelanjutan (continuous feature)

Fitur floating-point dengan rentang nilai yang memungkinkan yang tidak terbatas. Berbeda dengan fitur diskrit.

convenience sampling

Menggunakan kumpulan data yang tidak dikumpulkan secara ilmiah untuk menjalankan eksperimen sederhana dalam waktu singkat. Pada tahapan eksperimen yang lebih dalam, gunakanlah kumpulan data yang dikumpulkan secara ilmiah.

konvergensi (convergence)

Secara informal, sering merujuk pada status yang dicapai selama pelatihan yang mana kerugian pelatihan dan kerugian validasi sedikit berubah atau tidak berubah sama sekali dengan setiap iterasi setelah sejumlah iterasi tertentu. Dengan kata lain, model mencapai konvergensi saat pelatihan tambahan pada data saat ini tidak akan meningkatkan model. Dalam deep learning, nilai kerugian terkadang tetap konstan atau hampir konstan untuk banyak iterasi sebelum akhirnya menurun, yang menghasilkan konvergensi palsu untuk sementara.

Lihat juga penghentian awal.

Lihat juga Boyd dan Vandenberghe, Pengoptimalan Konveks.

fungsi konveks (convex function)

Fungsi yang mana daerah di atas grafik fungsi adalah himpunan konveks. Fungsi konveks prototipikal berbentuk seperti huruf U. Misalnya, semua fungsi berikut adalah fungsi konveks:

Fungsi konveks yang khas berbentuk seperti huruf 'U'.

Sebaliknya, fungsi berikut bukan konveks. Perhatikan bagaimana daerah di atas grafik bukan himpunan konveks:

Fungsi konveks tegas memiliki tepat satu titik minimum lokal, yang juga merupakan titik minimum global. Fungsi berbentuk U klasik adalah fungsi konveks tegas. Namun, beberapa fungsi konveks (misalnya, garis lurus) tidak termasuk.

Banyak fungsi kerugian umum, termasuk yang berikut ini, adalah fungsi konveks:

Banyak variasi penurunan gradien dijamin untuk menemukan titik yang mendekati minimum fungsi konveks tegas. Demikian pula, banyak variasi penurunan gradien stokastik memiliki probabilitas tinggi (meskipun, bukan jaminan) untuk menemukan titik yang mendekati minimum fungsi konveks tegas.

Jumlah dari dua fungsi konveks (misalnya, kerugian L2 + regularisasi L1) adalah fungsi konveks.

Model dalam bukanlah fungsi konveks. Hebatnya, algoritme yang didesain untuk pengoptimalan konveks cenderung menemukan solusi yang cukup baik pada jaringan dalam, meskipun solusi tersebut tidak dijamin menjadi minimum global.

pengoptimalan konveks (convex optimization)

Proses penggunaan teknik matematika seperti penurunan gradien untuk mencari minimum fungsi konveks. Banyak riset dalam machine learning telah berfokus pada perumusan berbagai masalah sebagai masalah pengoptimalan konveks dan dalam pemecahan masalah tersebut secara lebih efisien.

Untuk mengetahui detail selengkapnya, lihat Boyd dan Vandenberghe, Pengoptimalan Konveks.

himpunan konveks (convex set)

Subset dari ruang Euclid sehingga garis yang ditarik antara dua titik dalam subset tetap sepenuhnya dalam subset. Misalnya, dua bentuk berikut ini adalah himpunan konveks:

Persegi panjang dan semielips keduanya adalah himpunan konveks.

Sebaliknya, dua bentuk berikut ini bukanlah himpunan konveks:

Diagram lingkaran dengan satu potongan yang tidak ada dan satu kembang api keduanya adalah himpunan nonkonveks.

konvolusi (convolution)

Dalam matematika, konvolusi adalah campuran dua fungsi. Dalam machine learning, konvolusi mencampur saringan konvolusional dan matriks masukan untuk melatih bobot.

Istilah "konvolusi" dalam machine learning biasanya merupakan cara singkat untuk merujuk pada operasi konvolusional atau lapisan konvolusional.

Tanpa konvolusi, algoritme machine learning harus mempelajari bobot terpisah untuk setiap sel dalam tensor besar. Misalnya, pelatihan algoritme machine learning pada gambar 2 ribu x 2 ribu akan dipaksa menemukan bobot terpisah sebesar 4 juta. Berkat konvolusi, algoritme machine learning hanya harus menemukan bobot untuk setiap sel dalam saringan konvolusional, yang secara drastis mengurangi memori yang diperlukan untuk melatih model. Saat diterapkan, saringan konvolusional hanya direplikasi di sel sehingga setiap sel akan dikalikan dengan saringan tersebut.

saringan konvolusional (convolutional filter)

Salah satu dari dua komponen dalam operasi konvolusional. (Komponen lainnya adalah potongan dari matriks masukan.) Saringan konvolusional adalah matriks yang memiliki urutan yang sama dengan matriks masukan, tetapi bentuknya lebih kecil. Misalnya, dalam matriks masukan 28x28, saringannya dapat berupa matriks 2D yang lebih kecil dari 28x28.

Dalam manipulasi fotografi, semua sel dalam saringan konvolusional biasanya ditetapkan ke pola konstan satu dan nol. Dalam machine learning, saringan konvolusional biasanya ditetapkan dengan angka acak, kemudian jaringan melatih nilai yang ideal.

lapisan konvolusional (convolutional layer)

Lapisan jaringan neural dalam yang mana saringan konvolusional diteruskan di semua matriks masukan. Misalnya, pertimbangkan saringan konvolusional 3x3 berikut:

Animasi berikut menunjukkan lapisan konvolusional yang terdiri dari 9 operasi konvolusional yang mencakup matriks masukan 5x5. Perhatikan bahwa setiap operasi konvolusional bekerja pada potongan matriks masukan 3x3 yang berbeda. Matriks 3x3 yang dihasilkan (di sebelah kanan) terdiri dari hasil 9 operasi konvolusional:

jaringan neural konvolusional (convolutional neural network)

Jaringan neural yang mana setidaknya satu lapisannya adalah lapisan konvolusional. Jaringan neural konvolusional umum terdiri dari beberapa gabungan lapisan berikut:

  • lapisan konvolusional
  • lapisan penggabungan
  • lapisan padat

Jaringan neural konvolusional telah berhasil menyelesaikan jenis masalah tertentu, seperti pengenalan gambar.

operasi konvolusional (convolutional operation)

Berikut ini operasi matematika dua langkah:

  1. Perkalian berbasis elemen dari saringan konvolusional dan potongan dari matriks masukan. (Potongan dari matriks masukan memiliki urutan dan ukuran yang sama dengan saringan konvolusional.)
  2. Penjumlahan semua nilai dalam matriks produk yang dihasilkan.

Misalnya, pertimbangkan matriks masukan 5x5 berikut:

Sekarang bayangkan saringan konvolusional 2x2 berikut:

Setiap operasi konvolusional melibatkan potongan 2x2 tunggal dari matriks masukan. Misalnya, anggap kita menggunakan potongan 2x2 di bagian kiri atas dari matriks masukan. Jadi, operasi konvolusional pada potongan ini akan terlihat sebagai berikut:

Lapisan konvolusional terdiri dari serangkaian operasi konvolusional, masing-masing bekerja pada potongan matriks masukan yang berbeda.

ongkos (cost)

Sinonim dari kerugian.

bias cakupan (coverage bias)

Lihat bias seleksi.

crash blossom (crash blossom)

Kalimat atau frasa dengan makna ambigu. Crash blossom menghadirkan masalah signifikan dalam natural language understanding. Misalnya, judul Red Tape Holds Up Skyscraper adalah crash blossom karena model NLU dapat menafsirkan judul secara harfiah atau kiasan.

entropi silang (cross-entropy)

Generalisasi kerugian log untuk masalah klasifikasi kelas jamak. Entropi silang menghitung perbedaan antara dua distribusi probabilitas. Lihat juga perpleksitas.

validasi silang (cross-validation)

Mekanisme untuk memperkirakan seberapa baik suatu model akan melakukan generalisasi untuk menghasilkan data baru, dengan menguji model terhadap satu atau beberapa subkumpulan data yang tidak tumpang tindih, yang ditahan dari set pelatihan.

Estimator khusus (custom Estimator)

#TensorFlow

Estimator yang Anda tulis sendiri dengan mengikuti petunjuk ini.

Berbeda dengan Estimator pasokan.

D

analisis data (data analysis)

Memperoleh pemahaman data dengan mempertimbangkan sampel, pengukuran, dan visualisasi. Analisis data dapat sangat berguna saat pertama kali kumpulan data diterima, sebelum membuat model yang pertama. Analisis data juga penting dalam memahami masalah eksperimen dan proses debug dengan sistem.

augmentasi data (data augmentation)

Secara artifisial, meningkatkan rentang dan jumlah contoh pelatihan dengan mengubah contoh yang ada untuk membuat contoh tambahan. Misalnya, anggaplah gambar adalah salah satu fitur Anda, tetapi kumpulan data Anda tidak berisi contoh gambar yang memadai bagi model untuk mempelajari asosiasi yang berguna. Idealnya, tambahkan gambar berlabel yang memadai ke kumpulan data Anda agar model Anda dapat dilatih dengan benar. Jika tindakan tersebut tidak memungkinkan, augmentasi data dapat diputar, dilebarkan, dan dicerminkan setiap gambar untuk memproduksi berbagai variasi dari gambar aslinya, yang mungkin menghasilkan data berlabel yang memadai agar dapat melakukan pelatihan yang sangat baik.

DataFrame

Jenis data yang populer untuk merepresentasikan kumpulan data di Pandas. DataFrame dapat dianalogikan dengan tabel. Setiap kolom pada DataFrame memiliki nama (header), dan setiap baris diidentifikasi oleh angka.

kumpulan data (data set)

Sekumpulan contoh.

Dataset API (tf.data)

#TensorFlow

TensorFlow API dengan level tinggi untuk membaca data dan mengubahnya menjadi bentuk yang diperlukan oleh algoritme machine learning. Objek tf.data.Dataset merepresentasikan urutan elemen, yang mana setiap elemen berisi satu atau beberapa Tensor. Objek tf.data.Iterator memberikan akses ke elemen Dataset.

Untuk mengetahui detail tentang Dataset API, lihat Mengimpor Data di Panduan Pemrogram TensorFlow.

batas keputusan (decision boundary)

Pemisah antarkelas yang dipelajari oleh model pada masalah klasifikasi kelas jamak atau kelas biner. Misalnya, dalam gambar berikut yang merepresentasikan masalah klasifikasi biner, batas keputusan adalah perbatasan antara kelas berwarna oranye dan kelas berwarna biru:

Batas yang jelas antara satu kelas dan kelas lainnya.

pohon keputusan (decision tree)

Model direpresentasikan sebagai urutan pernyataan percabangan. Misalnya, cabang pohon keputusan yang sudah disederhanakan berikut ini digunakan untuk memprediksi harga rumah (dalam ribuan USD) beberapa kali. Menurut pohon keputusan ini, sebuah rumah yang lebih besar dari 160 meter persegi, memiliki lebih dari tiga kamar tidur, dan dibangun kurang dari 10 tahun yang lalu akan memiliki harga yang diprediksi sebesar 510 ribu USD.

Pohon tiga tingkat yang rantingnya memprediksi harga rumah.

Machine learning dapat menghasilkan pohon keputusan yang mendalam.

model dalam (deep model)

Suatu jenis jaringan neural yang berisi beberapa lapisan tersembunyi.

Berbeda dengan model lebar.

jaringan neural dalam

Sinonim dari model dalam.

fitur padat (dense feature)

Fitur yang mana sebagian besar nilainya bukan nol, biasanya merupakan Tensor yang memiliki nilai floating-point. Berbeda dengan fitur renggang.

lapisan padat (dense layer)

Sinonim dari lapisan terhubung seluruhnya.

perangkat (device)

#TensorFlow

Kategori hardware yang dapat menjalankan sesi TensorFlow, yang meliputi CPU, GPU, dan TPU.

penurunan dimensi (dimension reduction)

Menurunkan jumlah dimensi yang digunakan untuk merepresentasikan fitur tertentu dalam vektor fitur, umumnya dengan melakukan konversi menjadi embedding.

fitur diskrit (discrete feature)

Fitur dengan set nilai yang memungkinkan dan terbatas. Misalnya, fitur yang nilainya hanya dapat berupa hewan, sayuran, atau mineral adalah fitur diskrit (atau kategoris). Berbeda dengan fitur berkontinu.

model diskriminatif (discriminative model)

Model yang memprediksi label dari set yang terdiri dari satu atau beberapa fitur. Secara lebih formal, model diskriminatif mendefinisikan probabilitas bersyarat dari keluaran yang diberi fitur dan bobot; yaitu:

p(output | features, weights)

Misalnya, model yang memprediksi apakah email termasuk spam dari fitur dan bobot adalah model diskriminatif.

Sebagian besar model supervised learning, termasuk model klasifikasi dan regresi, merupakan model diskriminatif.

Berbeda dengan model generatif.

diskriminator (discriminator)

Sistem yang menentukan apakah contoh itu nyata atau palsu.

Subsistem dalam jaringan adversarial generatif yang menentukan apakah contoh yang dibuat oleh generator itu nyata atau palsu.

pengelompokan divisif (divisive clustering)

Lihat pengelompokan hierarki.

downsampling

Istilah yang berlebihan yang dapat berarti salah satu dari hal berikut:

  • Mengurangi jumlah informasi dalam fitur untuk melatih model secara lebih efisien. Misalnya, sebelum melatih model pengenalan gambar, lakukan downsampling pada gambar yang memiliki resolusi tinggi menjadi format dengan resolusi yang lebih rendah.
  • Melatih contoh kelas yang terlalu banyak direpresentasikan yang memiliki persentase rendah dan tidak proporsional untuk meningkatkan pelatihan model pada kelas yang kurang direpresentasikan. Misalnya, dalam kumpulan data kelas tidak seimbang, model cenderung banyak mempelajari kelas mayoritas dan tidak cukup mempelajari kelas minoritas. Downsampling membantu menyeimbangkan jumlah pelatihan pada kelas mayoritas dan minoritas.

regularisasi dengan pelolosan (dropout regularization)

Bentuk regularisasi yang berguna dalam melatih jaringan neural. Regularisasi dengan pelolosan bekerja dengan menghapus pilihan acak dari unit yang berjumlah tetap dalam lapisan jaringan untuk satu langkah gradien. Semakin banyak unit yang lolos, semakin kuat regularisasi tersebut. Hal ini dianalogikan dengan pelatihan jaringan untuk mengemulasi eksponensial ansambel yang besar dari jaringan yang lebih kecil. Untuk mengetahui detail selengkapnya, lihat Pelolosan: Cara Sederhana untuk Mencegah Overfitting pada Jaringan Neural.

model dinamis (dynamic model)

Model yang dilatih secara online dengan cara diperbarui terus menerus. Artinya, data terus memasuki model.

E

eager execution

#TensorFlow

Lingkungan pemrograman TensorFlow yang mana operasi dijalankan secara langsung. Sebaliknya, operasi yang disebut dengan eksekusi grafik tidak akan dijalankan sampai dievaluasi secara eksplisit. Eager execution adalah antarmuka imperatif, seperti kode dalam sebagian besar bahasa pemrograman. Program eager execution umumnya jauh lebih mudah untuk dilakukan debug daripada program eksekusi grafik.

penghentian awal (early stopping)

Metode untuk regularisasi yang melibatkan pelatihan model berakhir sebelum kerugian pelatihan selesai menurun. Di penghentian awal, Anda dapat mengakhiri pelatihan model saat kerugian pada kumpulan data validasi mulai meningkat, yaitu saat performa generalisasi memburuk.

embeddings

Fitur kategorik yang direpresentasikan sebagai fitur dengan nilai berkelanjutan. Biasanya, embedding adalah terjemahan dari vektor berdimensi tinggi menjadi ruang berdimensi rendah. Misalnya, Anda dapat merepresentasikan kata-kata dalam kalimat bahasa Inggris dengan salah satu dari dua cara berikut:

  • Sebagai vektor jarang dengan satu juta elemen (berdimensi tinggi) yang mana semua elemen adalah bilangan bulat. Setiap sel dalam vektor merepresentasikan kata bahasa Inggris yang terpisah; nilai dalam sel merepresentasikan frekuensi kata tersebut muncul dalam kalimat. Karena satu kalimat bahasa Inggris tidak mungkin berisi lebih dari 50 kata, hampir setiap sel dalam vektor akan berisi nilai 0. Beberapa sel yang tidak bernilai 0 akan berisi bilangan bulat rendah (biasanya 1) yang merepresentasikan frekuensi kata tersebut muncul dalam kalimat.
  • Sebagai vektor padat dengan beberapa ratus elemen (berdimensi rendah) yang mana setiap elemen memiliki nilai floating-point antara 0 dan 1. Ini adalah embedding.

Dalam TensorFlow, embeddings dilatih oleh kehilangan propagasi mundur seperti parameter lain dalam jaringan neural.

ruang sematan (embedding space)

Ruang vektor d dimensi yang ditampilkan dari ruang vektor berdimensi lebih tinggi akan dipetakan. Idealnya, ruang sematan berisi struktur yang menghasilkan hasil matematika yang berarti; misalnya, dalam ruang sematan yang ideal, penjumlahan dan pengurangan embeddings dapat memecahkan tugas analogi kata.

Produk dot dari dua embeddings adalah ukuran kesamaan dari embedding tersebut.

minimalisasi risiko empiris (MRE) (empirical risk minimization (ERM))

Memilih fungsi yang meminimalkan kerugian pada set pelatihan. Berbeda dengan minimalisasi risiko struktural.

ansambel (ensemble)

Penggabungan dari prediksi beberapa model. Anda dapat membuat ansambel melalui satu atau beberapa hal berikut:

  • inisialisasi yang berbeda
  • hyperparameter yang berbeda
  • struktur keseluruhan yang berbeda

Model dalam dan lebar adalah jenis ansambel.

iterasi pelatihan (epoch)

Pass pelatihan penuh pada seluruh kumpulan data sehingga setiap contoh telah dilihat satu kali. Jadi, iterasi pelatihan merepresentasikan iterasi pelatihan N/ukuran tumpukan, yang mana N adalah jumlah total contoh.

Estimator

#TensorFlow

Contoh dari kelas tf.Estimator, yang merangkum logika yang membuat grafik TensorFlow dan menjalankan sesi TensorFlow. Anda dapat membuat Estimator khusus milik Anda (seperti yang dijelaskan di sini) atau membuat contoh Estimator pasokan yang dibuat oleh orang lain.

contoh (example)

Satu baris kumpulan data. Contoh berisi satu atau beberapa fitur dan mungkin label. Lihat juga contoh berlabel dan contoh tak berlabel.

bias pelaku eksperimen (experimenter's bias)

#fairness

Lihat bias konfirmasi.

F

negatif palsu (NP) (false negative (FN))

Contoh yang mana model salah memprediksi kelas negatif. Misalnya, model menyimpulkan bahwa pesan email tertentu bukan spam (kelas negatif), tetapi pesan email tersebut sebenarnya adalah spam.

positif palsu (PP): (false positive (FP))

Contoh yang mana model salah memprediksi kelas positif. Misalnya, model menyimpulkan bahwa pesan email tertentu adalah spam (kelas positif), tetapi pesan email tersebut sebenarnya bukan spam.

rasio positif palsu (rasio PP) (false positive rate (FPR))

Sumbu x dalam kurva KOP. Rasio positif palsu didefinisikan sebagai berikut:

$$\text{Rasio Positif Palsu} = \frac{\text{Positif Palsu}}{\text{Positif Palsu} + \text{Negatif Benar}}$$

fitur (feature)

Variabel masukan yang digunakan dalam membuat prediksi.

Kolom fitur (tf.feature_column) (Feature column (tf.feature_column))

#TensorFlow

Fungsi yang menentukan bagaimana model harus menafsirkan fitur tertentu. Daftar yang mengumpulkan keluaran yang ditampilkan oleh panggilan ke fungsi tersebut adalah parameter yang diperlukan untuk semua konstruktor Estimator.

Fungsi tf.feature_column memungkinkan model melakukan eksperimen dengan mudah dengan representasi fitur masukan yang berbeda. Untuk mengetahui detailnya, lihat bab Kolom Fitur di Panduan Pemrogram TensorFlow.

"Kolom fitur" adalah terminologi khusus Google. Kolom fitur disebut sebagai "namespace" dalam sistem VW (di Yahoo/Microsoft), atau kolom.

persilangan fitur (feature cross)

Fitur sintetis yang dibentuk dengan menyilangkan (menggunakan produk Kartesius dari) setiap fitur biner yang diperoleh dari data kategorik atau fitur berkelanjutan melalui pengelompokan. Persilangan fitur membantu merepresentasikan hubungan nonlinear.

rekayasa fitur (feature engineering)

Proses penentuan fitur mana yang mungkin berguna dalam melatih model, kemudian mengonversi data mentah dari file log dan sumber lain ke dalam fitur tersebut. Di TensorFlow, rekayasa fitur sering kali berarti mengonversi entri file log mentah menjadi buffer protokol tf.Example. Lihat juga tf.Transform.

Rekayasa fitur terkadang disebut ekstraksi fitur.

set fitur (feature set)

Kelompok fitur yang dilatih oleh model machine learning Anda. Misalnya, kode pos, ukuran properti, dan kondisi properti mungkin terdiri dari set fitur sederhana untuk model yang memprediksi harga rumah.

spesifikasi fitur (feature spec)

#TensorFlow

Menjelaskan informasi yang diperlukan untuk mengekstrak data fitur dari buffer protokol tf.Example. Karena buffer protokol tf.Example hanyalah container data, Anda harus menentukan hal berikut:

  • data yang akan diekstrak (yaitu, kunci untuk fitur)
  • tipe data (misalnya, float atau int)
  • Panjang (tetap atau variabel)

Estimator API memberikan fasilitas untuk memproduksi spesifikasi fitur dari daftar FeatureColumns.

pemelajaran beberapa tahap (few-shot learning)

Pendekatan machine learning, sering digunakan untuk klasifikasi objek, didesain untuk mempelajari pengklasifikasi yang efektif hanya dari sejumlah kecil contoh pelatihan.

Lihat juga pemelajaran satu tahap.

full softmax

Lihat softmax. Berbeda dengan sampling kandidat.

lapisan terhubung seluruhnya (fully connected layer)

Lapisan tersembunyi yang mana setiap simpul terhubung ke setiap simpul di lapisan tersembunyi berikutnya.

Lapisan terhubung seluruhnya juga dikenal sebagai lapisan padat.

G

GAN

Singkatan dari jaringan adversarial generatif.

generalisasi (generalization)

Mengacu pada kemampuan model Anda untuk membuat prediksi yang benar terkait data baru yang sebelumnya tidak terlihat, bukannya data yang digunakan untuk melatih model.

model linear tergeneralisasi (generalized linear model)

Generalisasi dari model regresi kuadrat terkecil, yang didasarkan pada derau Gaussian, untuk jenis model lain berdasarkan jenis derau lainnya, seperti derau Poisson atau derau kategoris. Contoh model linear tergeneralisasi meliputi:

Parameter dari model linear tergeneralisasi dapat ditemukan melalui pengoptimalan konveks.

Model linear tergeneralisasi menunjukkan properti berikut:

  • Prediksi rata-rata dari model regresi kuadrat terkecil yang optimal sama dengan label rata-rata pada data pelatihan.
  • Probabilitas rata-rata yang diprediksi oleh model regresi logistik yang optimal sama dengan label rata-rata pada data pelatihan.

Kemampuan model linear tergeneralisasi dibatasi oleh fiturnya. Tidak seperti model dalam, model linear tergeneralisasi tidak dapat "mempelajari fitur baru".

jaringan adversarial generatif (GAN) (generative adversarial network (GAN))

Sistem yang digunakan untuk membuat data baru yang mana generator membuat data dan diskriminator menentukan apakah data yang dibuat tersebut valid atau tidak valid.

model generatif (generative model)

Secara praktis, model yang melakukan salah satu tindakan berikut:

  • Membuat (menghasilkan) contoh baru dari kumpulan data pelatihan. Misalnya, model generatif dapat membuat puisi setelah melatih kumpulan data yang terdiri dari beberapa puisi. Bagian generator dari jaringan adversarial generatif termasuk dalam kategori ini.
  • Menentukan probabilitas bahwa contoh baru berasal dari set pelatihan, atau dibuat dari mekanisme yang sama yang membuat set pelatihan. Misalnya, setelah melatih kumpulan data yang terdiri dari kalimat bahasa Inggris, model generatif dapat menentukan probabilitas bahwa masukan baru adalah kalimat bahasa Inggris yang valid.

Model generatif dapat secara teoretis memahami distribusi contoh atau fitur tertentu dalam kumpulan data. Yaitu:

p(examples)

Model unsupervised learning bersifat generatif.

Berbeda dengan model diskriminatif.

generator

Subsistem dalam jaringan adversarial generatif yang membuat contoh baru.

Berbeda dengan model diskriminatif.

gradien (gradient)

Vektor turunan parsial yang terkait dengan semua variabel independen. Dalam machine learning, gradien adalah vektor turunan parsial dari fungsi model. Gradien menunjukkan ke arah peningkatan paling curam.

pemotongan gradien (gradient clipping)

Memotong nilai gradien sebelum menerapkannya. Pemotongan gradien membantu memastikan stabilitas numerik dan mencegah gradien yang meledak.

penurunan gradien (gradient descent)

Teknik yang digunakan untuk meminimalkan kerugian dengan menghitung gradien kerugian yang terkait dengan parameter model, tergantung pada data pelatihan. Secara informal, penurunan gradien menyesuaikan parameter secara berulang, yang secara bertahap menemukan kombinasi terbaik dari bobot dan bias untuk meminimalkan kerugian.

grafik (graph)

#TensorFlow

Di TensorFlow, spesifikasi perhitungan. Simpul dalam grafik merepresentasikan operasi. Edge diarahkan dan merepresentasikan penerusan hasil operasi (Tensor) sebagai operand ke operasi lain. Gunakan TensorBoard untuk memvisualisasikan grafik.

eksekusi grafik (graph execution)

#TensorFlow

Lingkungan pemrograman TensorFlow yang mana program mengonstruksi grafik terlebih dahulu, kemudian mengeksekusi semua atau sebagian grafik tersebut. Eksekusi grafik adalah mode eksekusi default di TensorFlow 1.x.

Berbeda dengan eager execution.

bias atribusi golongan (group attribution bias)

#fairness

Dengan asumsi bahwa hal yang benar bagi individu juga benar bagi semua orang dalam golongan tersebut. Efek dari bias atribusi golongan dapat diperburuk jika convenience sample digunakan untuk pengumpulan data. Dalam sampel bukan perwakilan, atribusi dapat dibuat yang tidak mencerminkan realitas.

Lihat juga bias kehomogenan luar golongan dan bias dalam golongan.

H

heuristik (heuristic)

Solusi praktis dan tidak optimal terhadap masalah, yang memadai untuk membuat kemajuan atau untuk pemelajaran.

lapisan tersembunyi (hidden layer)

Lapisan sintetis dalam jaringan neural antara lapisan masukan (yaitu, fitur) dan lapisan keluaran (prediksi). Lapisan tersembunyi biasanya berisi fungsi aktivasi (seperti ULT) untuk pelatihan. Jaringan neural dalam berisi lebih dari satu lapisan tersembunyi.

pengelompokan hierarki (hierarchical clustering)

Kategori algoritme pengelompokan yang membuat pohon kluster. Pengelompokan hierarki sangat cocok untuk data hierarki, seperti taksonomi botani. Ada dua jenis algoritme pengelompokan hierarki:

  • Pengelompokan aglomeratif menetapkan setiap contoh ke klusternya sendiri terlebih dahulu, dan secara berulang menggabungkan kluster terdekat untuk membuat pohon hierarki.
  • Pengelompokan divisif mengelompokkan semua contoh ke dalam satu kluster terlebih dahulu, kemudian secara berulang membagi kluster ke dalam pohon hierarki.

Berbeda dengan pengelompokan partisi.

kerugian engsel (hinge loss)

Kelompok fungsi kerugian untuk klasifikasi yang didesain untuk menemukan batas keputusan sejauh mungkin dari setiap contoh pelatihan, sehingga memaksimalkan margin antara contoh dan batas. KSVMs menggunakan kerugian engsel (atau fungsi terkait, seperti kerugian engsel kuadrat). Untuk klasifikasi biner, fungsi kerugian engsel didefinisikan sebagai berikut:

$$\text{kerugian} = \text{maks}(0, 1 - (y' * y))$$

yang mana y' adalah keluaran mentah dari model pengklasifikasi:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

dan y adalah label yang benar, -1 atau +1.

Akibatnya, plot kerugian engsel vs. (y * y') akan terlihat sebagai berikut:

data pisahan (holdout data)

Contoh sengaja tidak digunakan ("dipisah") selama pelatihan. Kumpulan data validasi dan kumpulan data pengujian adalah contoh dari data pisahan. Data pisahan membantu mengevaluasi kemampuan model Anda dalam menggeneralisasi data selain data yang dilatihnya. Kerugian pada set pisahan memberikan perkiraan kerugian yang lebih baik pada kumpulan data yang tidak terlihat daripada kerugian pada set pelatihan.

hyperparameter (hyperparameter)

"Knob" yang Andasesuaikan selama menjalankan pelatihan model berturut-turut. Misalnya, kecepatan pembelajaran adalah hyperparameter.

Berbeda dengan parameter.

bidang-hiper (hyperplane)

Batas yang memisahkan ruang menjadi dua subruang. Misalnya, garis adalah bidang-hiper dalam dua dimensi dan bidang adalah bidang-hiper dalam tiga dimensi. Biasanya dalam machine learning, bidang-hiper adalah batas yang memisahkan ruang berdimensi tinggi. Kernel Support Vector Machines menggunakan bidang-hiper untuk memisahkan kelas positif dari kelas negatif, biasanya dalam ruang yang berdimensi sangat tinggi.

I

kumpulan data tidak seimbang (imbalanced data set)

Sinonim dari kumpulan data kelas tidak seimbang.

bias implisit (implicit bias)

#fairness

Secara otomatis membuat asosiasi atau asumsi berdasarkan memori dan model mental seseorang. Bias implisit dapat memengaruhi hal-hal berikut:

  • Cara data dikumpulkan dan diklasifikasikan.
  • Cara sistem ML didesain dan dikembangkan.

Misalnya, saat membuat pengklasifikasi untuk mengidentifikasi foto pernikahan, engineer dapat menggunakan keberadaan gaun putih di foto sebagai fitur. Namun, gaun putih telah menjadi kebiasaan selama era tertentu dan dalam budaya tertentu saja.

Lihat juga bias konfirmasi.

terdistribusi secara independen dan identik (d.i.i) (independently and identically distributed (i.i.d))

Data diambil dari distribusi yang tidak berubah, dan setiap nilai yang diambil tidak bergantung pada nilai yang telah diambil sebelumnya. d.i.i adalah gas ideal machine learning—konstruksi matematis yang berguna namun hampir tidak pernah benar-benar ditemukan di dunia nyata. Misalnya, distribusi pengunjung halaman dapat terdistribusi secara independen dan identik selama jendela waktu yang singkat; artinya, distribusi tidak berubah selama jendela waktu tersebut dan kunjungan satu orang umumnya tidak bergantung pada kunjungan orang lain. Namun, jika Anda memperluas jendela waktu tersebut, perbedaan musiman pada pengunjung halaman mungkin akan muncul.

inferensi (inference)

Dalam machine learning, inferensi biasanya mengacu pada proses pembuatan prediksi dengan menerapkan model yang terlatih ke contoh tak berlabel. Dalam statistik, inferensi mengacu pada proses penyesuaian parameter distribusi yang bergantung pada sejumlah data yang diamati. (Lihat artikel Wikipedia tentang inferensi statistik.)

bias dalam golongan (in-group bias)

#fairness

Menunjukkan keberpihakan pada golongan atau karakteristik milik seseorang. Jika penguji atau pelabel terdiri dari teman, keluarga, atau rekan developer machine learning, bias dalam golongan dapat membatalkan validasi pengujian produk atau kumpulan data.

Bias dalam golongan adalah bentuk bias atribusi golongan. Lihat juga bias kehomogenan luar golongan.

fungsi masukan (input function)

#TensorFlow

Di TensorFlow, fungsi yang menampilkan data masukan ke metode pelatihan, evaluasi, atau prediksi dari Estimator. Misalnya, fungsi masukan pelatihan menampilkan tumpukan fitur dan label dari set pelatihan.

lapisan masukan (input layer)

Lapisan pertama (lapisan yang menerima data masukan) dalam jaringan neural.

contoh (instance)

Sinonim dari contoh.

penafsiran (interpretability)

Kadar terkait prediksi model yang dapat dengan mudah dijelaskan. Model dalam sering tidak dapat ditafsirkan; yaitu, lapisan yang berbeda pada model dalam dapat menjadi sulit dipahami. Sebaliknya, model regresi linear dan model lebar biasanya lebih dapat ditafsirkan.

kecocokan antar-pelabel (inter-rater agreement)

Pengukuran terkait seberapa sering pelabel manusia setuju saat melakukan tugas. Jika pelabel tidak setuju, petunjuk tugas mungkin perlu disempurnakan. Terkadang disebut juga kecocokan antar-anotator atau reliabilitas antar-pelabel. Lihat juga kappa Cohen, yang merupakan salah satu pengukuran kecocokan antar-pelabel yang paling populer.

matriks item (item matrix)

Dalam sistem rekomendasi, matriks embeddings dihasilkan oleh faktorisasi matriks yang memiliki sinyal laten terkait setiap item. Setiap baris matriks item memiliki nilai fitur laten tunggal untuk semua item. Misalnya, pertimbangkan sistem rekomendasi film. Setiap kolom dalam matriks item merepresentasikan satu film. Sinyal laten mungkin merepresentasikan genre, atau mungkin berupa sinyal yang lebih sulit ditafsirkan yang melibatkan interaksi kompleks antara genre, bintang, batasan usia film, atau faktor lainnya.

Matriks item memiliki jumlah kolom yang sama dengan matriks target yang sedang difaktorkan. Misalnya, dalam sistem rekomendasi film yang mengevaluasi 10.000 judul film, matriks item akan memiliki 10.000 kolom.

item

Dalam sistem rekomendasi, entitas yang direkomendasikan oleh sistem. Misalnya, video adalah item yang direkomendasikan oleh toko video, sedangkan buku adalah item yang direkomendasikan oleh toko buku.

iterasi (iteration)

Pembaruan tunggal dari bobot model selama pelatihan. Iterasi terdiri dari penghitungan gradien parameter yang terkait dengan kerugian pada satu tumpukan data.

K

k-means

Algoritme pengelompokan populer yang mengelompokkan contoh dalam unsupervised learning. Algoritme k-means pada dasarnya melakukan hal berikut:

  • Secara berulang menentukan titik tengah k terbaik (dikenal sebagai sentroid).
  • Menetapkan setiap contoh ke sentroid terdekat. Contoh tersebut yang terdekat dari sentroid yang sama akan berada pada kelompok yang sama.

Algoritme k-means memilih lokasi sentroid untuk meminimalkan kuadrat kumulatif jarak dari setiap contoh ke sentroid terdekatnya.

Misalnya, perhatikan plot tinggi anjing terhadap lebar anjing berikut:

Jika k=3, algoritme k-means akan menentukan tiga sentroid. Setiap contoh ditetapkan ke sentroid terdekatnya, yang menghasilkan tiga kelompok:

Bayangkan ada produsen yang ingin menentukan ukuran ideal untuk sweater berukuran kecil, medium, dan besar untuk anjing. Tiga sentroid tersebut mengidentifikasi tinggi rata-rata dan lebar rata-rata setiap anjing dalam kluster tersebut. Jadi, produsen mungkin seharusnya mendasarkan ukuran sweater pada tiga sentroid tersebut. Perhatikan bahwa sentroid kluster biasanya bukan merupakan contoh dalam kluster.

Ilustrasi sebelumnya menunjukkan k-means untuk contoh dengan dua fitur saja (tinggi dan lebar). Perhatikan bahwa k-means dapat mengelompokkan contoh di banyak fitur.

k-median

Algoritme pengelompokan sangat terkait dengan k-means. Perbedaan praktis antara keduanya adalah sebagai berikut:

  • Dalam k-means, sentroid ditentukan dengan meminimalkan jumlah kuadrat jarak antara kandidat sentroid dan setiap contohnya.
  • Dalam k-median, sentroid ditentukan dengan meminimalkan jumlah jarak antara kandidat sentroid dan setiap contohnya.

Perhatikan bahwa definisi jarak juga berbeda:

  • k-means bergantung pada jarak Euclid dari sentroid ke contoh. (Dalam dua dimensi, jarak Euclid berarti menggunakan teorema Pythagoras untuk menghitung sisi miring.) Misalnya, jarak k-means antara (2,2) dan (5,-2) adalah:
$${\text{jarak Euclid}} = {\sqrt {(2-5)^2 + (2--2)^2}} = 5$$
  • k-median bergantung pada jarak Manhattan dari sentroid ke contoh. Jarak ini adalah jumlah delta absolut di setiap dimensi. Misalnya, jarak k-median antara (2,2) dan (5,-2) adalah:
$${\text{jarak Manhattan}} = \lvert 2-5 \rvert + \lvert 2--2 \rvert = 7$$

Keras

API machine learning Python yang populer. Keras berjalan pada beberapa framework deep learning, termasuk TensorFlow, yang mana tersedia sebagai tf.keras.

Kernel Support Vector Machines (KSVMs)

Algoritme klasifikasi yang mencoba memaksimalkan margin antara kelas negatif dan kelas positif dengan memetakan vektor data masukan ke ruang berdimensi yang lebih tinggi. Misalnya, pertimbangkan masalah klasifikasi yang mana kumpulan data masukan terdiri dari seratus fitur. Untuk memaksimalkan margin antara kelas positif dan negatif, KSVMs dapat secara internal memetakan fitur tersebut dalam ruang satu juta dimensi. KSVMs menggunakan fungsi kerugian yang disebut kerugian engsel.

L

kerugian L1 (L1 loss)

Fungsi kerugian berdasarkan nilai absolut dari perbedaan antara nilai yang diprediksi model dan nilai label yang sebenarnya. Kerugian L1 kurang sensitif terhadap pencilan daripada kerugian L2.

regularisasi L1 (L1 regularization)

Jenis regularisasi yang mengganjar bobot sesuai dengan jumlah nilai absolut dari bobot. Dalam model yang mengandalkan fitur renggang, regularisasi L1 membantu mendorong bobot fitur yang tidak relevan atau hampir tidak relevan menjadi tepat 0, yang menghapus fitur tersebut dari model. Berbeda dengan regularisasi L2.

kerugian L2 (L2 loss)

Lihat kerugian kuadrat.

regularisasi L2 (L2 regularization)

Jenis regularisasi yang mengganjar bobot sesuai dengan jumlah kuadrat bobot. Regularisasi L2 membantu mendorong bobot pencilan (bobot dengan nilai positif tinggi atau negatif rendah) lebih dekat ke 0 tetapi tidak benar-benar 0. (Berbeda dengan regularisasi L1.) Regularisasi L2 selalu meningkatkan generalisasi dalam model linear.

label

Dalam supervised learning, bagian "jawaban" atau "hasil" dari contoh. Setiap contoh dalam kumpulan data berlabel terdiri dari satu atau beberapa fitur dan label. Misalnya, dalam kumpulan data perumahan, fitur mungkin meliputi jumlah kamar tidur, jumlah kamar mandi, dan usia rumah, sedangkan label mungkin berupa harga rumah. Dalam kumpulan data deteksi spam, fitur mungkin menyertakan baris subjek, pengirim, dan pesan email itu sendiri, sedangkan label mungkin berupa "spam" atau "bukan spam".

contoh berlabel (labeled example)

Contoh yang berisi fitur dan label. Dalam pelatihan supervised, model mempelajari contoh berlabel.

lambda

Sinonim dari derajat regularisasi.

(Ini adalah istilah yang berlebihan. Di sini kita berfokus pada definisi istilah dalam regularisasi.)

lapisan (layer)

Set neuron dalam jaringan neural yang memproses set fitur masukan, atau keluaran dari neuron tersebut.

Selain itu, abstraksi di TensorFlow. Lapisan adalah fungsi Python yang menggunakan Tensor dan opsi konfigurasi sebagai masukan serta menghasilkan tensor lain sebagai keluaran. Setelah Tensor yang diperlukan disusun, pengguna dapat mengonversi hasilnya menjadi Estimator melalui fungsi model.

Layers API (tf.layers)

#TensorFlow

TensorFlow API untuk mengonstruksi jaringan neural dalam sebagai komposisi lapisan. Layers API memungkinkan Anda membuat berbagai jenis lapisan, seperti:

Saat menulis Estimator khusus, Anda menyusun objek Lapisan untuk menentukan karakteristik semua lapisan tersembunyi.

Layers API mengikuti konvensi Keras layers API. Artinya, selain dari awalan yang berbeda, semua fungsi dalam Layers API memiliki nama dan signature yang sama dengan pasangannya di Keras layers API.

kecepatan pembelajaran (learning rate)

Skalar yang digunakan untuk melatih model melalui penurunan gradien. Selama setiap iterasi, algoritme penurunan gradien mengalikan kecepatan pembelajaran dengan gradien. Produk yang dihasilkan disebut langkah gradien.

Kecepatan pembelajaran adalah hyperparameter utama.

regresi kuadrat terkecil (least squares regression)

Model regresi linear dilatih dengan meminimalkan Kerugian L2.

regresi linear (linear regression)

Jenis model regresi yang menghasilkan nilai berkelanjutan dari kombinasi linear fitur masukan.

regresi logistik (logistic regression)

Model yang menghasilkan probabilitas untuk setiap nilai label diskrit yang memungkinkan dalam masalah klasifikasi dengan menerapkan fungsi sigmoid ke prediksi linear. Meskipun sering digunakan dalam masalah klasifikasi biner, regresi logistik juga dapat digunakan dalam masalah klasifikasi kelas jamak (yang mana disebut regresi logistik kelas jamak atau regresi multinomial).

logits

Vektor prediksi mentah (tidak dinormalisasi) yang dihasilkan model klasifikasi, yang kemudian biasanya diteruskan ke fungsi normalisasi. Jika model menyelesaikan masalah klasifikasi kelas jamak, logits biasanya menjadi masukan untuk fungsi softmax. Kemudian fungsi softmax menghasilkan vektor probabilitas (dinormalisasi) dengan satu nilai untuk setiap kelas yang memungkinkan.

Selain itu, logits terkadang mengacu pada invers berbasis elemen dari fungsi sigmoid. Untuk mengetahui informasi selengkapnya, lihat tf.nn.sigmoid_cross_entropy_with_logits.

kerugian log (Log Loss)

Fungsi kerugian yang digunakan dalam regresi logistik biner.

log-peluang (log-odds)

Logaritma dari peluang beberapa peristiwa.

Jika peristiwa mengacu pada probabilitas biner, peluang akan mengacu pada rasio probabilitas keberhasilan (p) terhadap probabilitas kegagalan (1-p). Misalnya, anggaplah bahwa peristiwa tertentu memiliki probabilitas keberhasilan sebesar 90% dan probabilitas kegagalan sebesar 10%. Dalam hal ini, peluang dihitung sebagai berikut:

$$ {\text{peluang}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

Log-peluang hanyalah logaritma dari peluang. Dengan konvensi, "logaritma" mengacu pada logaritma natural, tetapi logaritma sebenarnya dapat menjadi basis berapa pun yang lebih besar dari 1. Sesuai dengan konvensi, log-peluang dari contoh kita adalah:

$$ {\text{log-peluang}} = ln(9) ~= 2.2 $$

Log-peluang adalah invers dari fungsi sigmoid.

kerugian (loss)

Ukuran seberapa jauh prediksi model berasal dari labelnya. Atau, dengan kata lain, ukuran seberapa buruk modelnya. Untuk menentukan nilai ini, model harus menentukan fungsi kerugian. Misalnya, model regresi linear biasanya menggunakan rataan kuadrat galat untuk fungsi kerugian, sedangkan model regresi logistik menggunakan kerugian log.

kurva kerugian (loss curve)

Grafik kerugian sebagai fungsi dari iterasi pelatihan. Contoh:

Grafik kerugian versus iterasi pelatihan, yang menunjukkan penurunan yang stabil saat iterasi meningkat, tetapi kemudian ada sedikit peningkatan kerugian dalam jumlah iterasi yang tinggi.

Kurva kerugian dapat membantu Anda menentukan kapan terjadi konvergensi, overfitting, atau underfitting pada model Anda.

permukaan kerugian (loss surface)

Grafik bobot vs. kerugian. Penurunan gradien bertujuan untuk menemukan bobot saat permukaan kerugian berada pada minimum lokal.

M

machine learning

Program atau sistem yang membuat (melatih) model prediktif dari data masukan. Sistem ini menggunakan model yang dipelajari untuk membuat prediksi yang berguna dari data baru (yang tidak pernah dilihat sebelumnya), yang diambil dari distribusi yang sama seperti yang digunakan untuk melatih model. Machine learning juga mengacu pada bidang studi yang membahas program atau sistem ini.

kelas mayoritas (majority class)

Label yang lebih umum dalam kumpulan data kelas tidak seimbang. Misalnya, dalam kumpulan data yang berisi 99% label bukan spam dan 1% label spam, label bukan spam adalah kelas mayoritas.

faktorisasi matriks (matrix factorization)

Dalam matematika, mekanisme untuk menemukan matriks yang produk titiknya mendekati matriks target.

Dalam sistem rekomendasi, matriks target biasanya memiliki nilai pengguna pada item. Misalnya, matriks target untuk sistem rekomendasi film mungkin terlihat seperti berikut, yang mana bilangan bulat positif adalah nilai pengguna dan 0 berarti bahwa pengguna tidak menilai film:

  Casablanca The Philadelphia Story Black Panther Wonder Woman Pulp Fiction
Pengguna 1 5,0 3,0 0,0 2,0 0,0
Pengguna 2 4,0 0,0 0,0 1,0 5,0
Pengguna 3 3,0 1,0 4,0 5,0 0,0

Sistem rekomendasi film bertujuan untuk memprediksi nilai pengguna untuk film yang tidak dinilai. Misalnya, apakah Pengguna 1 akan menyukai Black Panther?

Salah satu pendekatan untuk sistem rekomendasi adalah menggunakan faktorisasi matriks untuk menghasilkan dua matriks berikut:

  • Matriks pengguna, dibentuk dari jumlah pengguna X jumlah dimensi embedding.
  • Item matriks, dibentuk dari jumlah dimensi embedding X jumlah pengguna.

Misalnya, penggunaan faktorisasi matriks pada tiga pengguna dan lima item kita dapat menghasilkan matriks pengguna dan matriks item berikut:

User Matrix                 Item Matrix

1.1   2.3           0.9   0.2   1.4    2.0   1.2
0.6   2.0           1.7   1.2   1.2   -0.1   2.1
2.5   0.5

Produk titik dari matriks pengguna dan matriks item menghasilkan matriks rekomendasi yang tidak hanya berisi nilai pengguna asli, tetapi juga prediksi film yang belum ditonton oleh setiap pengguna. Misalnya, pertimbangkan nilai Pengguna 1 untuk film Casablanca, yaitu 5,0. Produk titik yang sesuai dengan sel dalam matriks rekomendasi semestinya bernilai sekitar 5,0, dan perhitungannya:

(1.1 * 0.9) + (2.3 * 1.7) = 4.9

Yang terpenting, apakah Pengguna 1 akan menyukai Black Panther? Menggunakan produk titik yang sesuai dengan baris pertama dan kolom ketiga menghasilkan nilai yang diprediksi sebesar 4,3:

(1.1 * 1.4) + (2.3 * 1.2) = 4.3

Faktorisasi matriks biasanya menghasilkan matriks pengguna dan matriks item yang, bersama-sama, secara signifikan lebih rapat daripada matriks target.

Rataan Kuadrat Galat (RKG) (Mean Squared Error (MSE))

Rata-rata kerugian kuadrat per contoh. RKG dihitung dengan membagi kerugian kuadrat dengan jumlah contoh. Nilai yang ditampilkan oleh TensorFlow Playground untuk "Kerugian pelatihan" dan "Kerugian pengujian" adalah RKG.

metrik (metric)

#TensorFlow

Angka yang menjadi perhatian Anda. Mungkin atau tidak mungkin langsung dioptimalkan dalam sistem machine learning. Metrik yang coba dioptimalkan oleh sistem Anda disebut objektif.

Metrics API (tf.metrics)

TensorFlow API untuk mengevaluasi model. Misalnya, tf.metrics.accuracy menentukan seberapa sering prediksi model cocok dengan label. Saat menulis Estimator khusus, Anda menggunakan fungsi Metrics API untuk menentukan bagaimana model Anda harus dievaluasi.

tumpukan mini (mini-batch)

Subset kecil yang dipilih secara acak dari seluruh tumpukan contoh yang dijalankan bersama dalam satu iterasi pelatihan atau inferensi. Ukuran tumpukan dari tumpukan mini biasanya antara 10 dan 1.000. Penghitungan kerugian pada tumpukan mini jauh lebih efisien dibandingkan pada data pelatihan lengkap.

penurunan gradien stokastik (PGS) tumpukan mini (mini-batch stochastic gradient descent (SGD))

Algoritme penurunan gradien yang menggunakan tumpukan mini. Dengan kata lain, tumpukan mini PGS memperkirakan gradien berdasarkan subset kecil dari data pelatihan. Vanilla PGS menggunakan tumpukan mini berukuran 1.

kelas minoritas (minority class)

Label yang kurang umum dalam kumpulan data kelas tidak seimbang. Misalnya, dalam kumpulan data yang berisi 99% label bukan spam dan 1% label spam, label spam adalah kelas minoritas.

ML

Singkatan dari machine learning.

MNIST

Kumpulan data domain publik yang dikompilasi oleh LeCun, Cortes, dan Burges yang berisi 60.000 gambar, setiap gambar menunjukkan cara manusia secara manual menulis digit tertentu dari 0–9. Setiap gambar disimpan sebagai array bilangan bulat berukuran 28x28, yang mana setiap bilangan bulat adalah nilai hitam putih antara 0 dan 255, inklusif.

MNIST adalah kumpulan data kanonis untuk machine learning, yang sering digunakan untuk menguji pendekatan ML baru. Untuk mengetahui detailnya, lihat Database MNIST untuk Digit Tulisan Tangan.

model

Representasi dari apa yang telah dipelajari oleh sistem ML dari data pelatihan. Dalam TensorFlow, model adalah istilah yang berlebihan, yang dapat memiliki salah satu dari dua makna terkait berikut:

  • Grafik TensorFlow yang mengekspresikan struktur tentang bagaimana prediksi akan dihitung.
  • Bobot dan bias tertentu dari grafik TensorFlow tersebut, yang ditentukan oleh pelatihan.

fungsi model (model function)

#TensorFlow

Fungsi dalam Estimator yang menerapkan pelatihan, evaluasi, dan inferensi ML. Misalnya, bagian pelatihan dari fungsi model mungkin menangani tugas-tugas seperti mendefinisikan topologi jaringan neural dalam dan mengidentifikasi fungsi pengoptimalnya. Saat menggunakan Estimator pasokan, seseorang telah menulis fungsi model untuk Anda. Saat menggunakan Estimator khusus, Anda harus menulis sendiri fungsi model tersebut.

Untuk mengetahui detail tentang cara menulis fungsi model, lihat Membuat Estimator Khusus.

pelatihan model (model training)

Proses penentuan model terbaik.

Momentum

Algoritme penurunan gradien yang canggih yang mana langkah pemelajaran tidak hanya bergantung pada turunan dalam langkah saat ini, tetapi juga pada turunan dari langkah yang segera mendahuluinya. Momentum melibatkan penghitungan rata-rata pergerakan gradien yang diberi bobot eksponen seiring waktu, yang dianalogikan dengan momentum dalam fisika. Momentum terkadang mencegah pemelajaran terjebak dalam minimum lokal.

klasifikasi kelas jamak (multi-class classification)

Masalah klasifikasi yang membedakan antara lebih dari dua kelas. Misalnya, ada sekitar 128 spesies pohon maple, jadi model yang dikategorikan spesies pohon maple akan berupa kelas jamak. Sebaliknya, model yang membagi email menjadi hanya dua kategori (spam dan bukan spam) akan berupa model klasifikasi biner.

klasifikasi multinomial (multinomial classification)

Sinonim dari klasifikasi kelas jamak.

N

perangkap NaN (NaN trap)

Saat di mana satu angka dalam model Anda menjadi NaN selama pelatihan, yang menyebabkan banyak atau semua angka lain dalam model Anda akhirnya menjadi NaN.

NaN adalah singkatan dari "Not a Number" (Bukan Angka).

natural language understanding

Menentukan niat pengguna berdasarkan apa yang diketik atau dikatakan pengguna. Misalnya, mesin telusur menggunakan natural language understanding untuk menentukan apa yang ditelusuri pengguna berdasarkan apa yang diketik atau dikatakan pengguna.

kelas negatif (negative class)

Dalam klasifikasi biner, satu kelas disebut positif dan kelas lain disebut negatif. Kelas positif adalah hal yang kita cari dan kelas negatif adalah kemungkinan lainnya. Misalnya, kelas negatif dalam tes medis mungkin "bukan tumor". Kelas negatif dalam pengklasifikasi email mungkin "bukan spam". Lihat juga kelas positif.

jaringan neural (neural network)

Model yang, menggunakan inspirasi dari otak manusia, terdiri dari beberapa lapisan (setidaknya satu lapisan tersembunyi) yang terdiri dari unit yang terhubung secara sederhana atau neuron yang diikuti oleh nonlinearitas.

neuron

Simpul dalam jaringan neural, yang biasanya menggunakan beberapa nilai masukan dan menghasilkan satu nilai keluaran. Neuron tersebut menghitung nilai keluaran dengan menerapkan fungsi aktivasi (transformasi nonlinear) ke jumlah nilai masukan yang diberi bobot.

N-gram

Rangkaian N kata yang berurutan. Misalnya, truly madly bernilai 2 gram. Karena urutan bersifat relevan, nilai 2 gram pada madly truly berbeda dari truly madly.

N Nama untuk jenis N-gram ini Contoh
2 bigram atau 2 gram to go, go to, eat lunch, eat dinner
3 trigram atau 3 gram ate too much, three blind mice, the bell tolls
4 4 gram walk in the park, dust in the wind, the boy ate lentils

Banyak model natural language understanding bergantung pada N-gram untuk memprediksi kata selanjutnya yang akan diketik atau dikatakan oleh pengguna. Misalnya, anggaplah pengguna mengetik three blind. Model NLU berdasarkan trigram kemungkinan akan memprediksi bahwa pengguna selanjutnya akan mengetik mice.

Bedakan N-gram dengan kumpulan kata-kata, yang merupakan set kata yang tidak berurutan.

NLU

Singkatan dari natural language understanding.

simpul (jaringan neural) (node (neural network))

Neuron dalam lapisan tersembunyi.

simpul (grafik TensorFlow) (node (TensorFlow graph))

#TensorFlow

Operasi dalam grafik TensorFlow.

derau (noise)

Secara garis besar, segala sesuatu yang mengaburkan sinyal dalam kumpulan data. Derau dapat dimasukkan ke dalam data dengan berbagai cara. Contoh:

  • Pelabel manusia membuat kesalahan dalam pelabelan.
  • Manusia dan instrumen salah mencatat atau menghilangkan nilai fitur.

bias abstain (non-response bias)

#fairness

Lihat bias seleksi.

normalisasi (normalization)

Proses konversi rentang nilai yang sebenarnya menjadi rentang nilai standar, biasanya -1 hingga +1 atau 0 hingga 1. Misalnya, anggaplah rental alami dari fitur tertentu adalah 800 hingga 6.000. Melalui pengurangan dan pembagian, Anda dapat menormalisasi nilai tersebut ke dalam rentang -1 hingga +1.

Lihat juga penskalaan.

data numerik (numerical data)

Fitur yang direpresentasikan sebagai bilangan bulat atau bilangan asli. Misalnya, dalam model real estate, Anda mungkin akan merepresentasikan ukuran rumah (dalam kaki persegi atau meter persegi) sebagai data numerik. Merepresentasikan fitur sebagai data numerik menunjukkan bahwa nilai fitur memiliki hubungan matematika satu sama lain dan mungkin ke label. Misalnya, merepresentasikan ukuran rumah sebagai data numerik menunjukkan bahwa rumah berukuran 200 meter persegi dua kali lebih besar dari rumah berukuran 100 meter persegi. Selain itu, jumlah meter persegi pada rumah mungkin memiliki sejumlah hubungan matematika dengan harga rumah.

Tidak semua data bilangan bulat harus direpresentasikan sebagai data numerik. Misalnya, kode pos di beberapa belahan dunia berupa bilangan bulat; namun, kode pos bilangan bulat tidak boleh direpresentasikan sebagai data numerik dalam model. Hal tersebut karena kode pos 20000 tidak dua kali (atau setengah) sama kuatnya dengan kode pos 10000. Selain itu, meskipun kode pos yang berbeda benar-benar berkorelasi dengan nilai real estate yang berbeda, kita tidak dapat berasumsi bahwa nilai real estate pada kode pos 20000 dua kali sama berharganya dengan nilai real estate pada kode pos 10000. Kode pos sebaiknya direpresentasikan sebagai data kategorik.

Fitur numerik terkadang disebut fitur berkelanjutan.

numpy

Library matematika open-source yang menyediakan operasi array yang efisien dalam Python. pandas dibuat di numpy.

O

objektif (objective)

Metrik yang coba dioptimalkan oleh algoritme Anda.

inferensi offline (offline inference)

Menghasilkan sekelompok prediksi, menyimpan prediksi tersebut, kemudian menggunakan prediksi tersebut sesuai permintaan. Berbeda dengan inferensi online.

enkode one-hot (one-hot encoding)

Vektor jarang yang mana:

  • Satu elemen ditetapkan ke 1.
  • Semua elemen lainnya ditetapkan ke 0.

Enkode one-hot biasanya digunakan untuk merepresentasikan string atau ID yang memiliki set nilai yang memungkinkan dan terbatas. Misalnya, anggaplah dalam kumpulan data botani yang mencatat 15.000 spesies yang berbeda, masing-masing dilambangkan dengan ID string yang unik. Sebagai bagian dari rekayasa fitur, Anda mungkin akan mengenkode ID string tersebut sebagai vektor one-hot yang mana vektor memiliki ukuran sebesar 15.000.

pemelajaran satu tahap (one-shot learning)

Pendekatan machine learning, sering digunakan untuk klasifikasi objek, yang didesain untuk mempelajari pengklasifikasi yang efektif dari satu contoh pelatihan.

Lihat juga pemelajaran beberapa tahap.

satu vs. semua (one-vs.-all)

Dalam masalah klasifikasi dengan N kemungkinan solusi, solusi satu vs. semua terdiri dari N pengklasifikasi biner terpisah—satu pengklasifikasi biner untuk setiap kemungkinan hasil. Misalnya, dalam model yang mengklasifikasikan contoh sebagai hewan, sayuran, atau mineral, solusi satu vs. semua akan memberikan tiga pengklasifikasi biner terpisah berikut:

  • hewan vs. bukan hewan
  • sayuran vs. bukan sayuran
  • mineral vs. bukan mineral

inferensi online (online inference)

Menghasilkan prediksi sesuai permintaan. Berbeda dengan inferensi offline.

Operasi (op) (Operation (op))

#TensorFlow

Simpul dalam grafik TensorFlow. Di TensorFlow, prosedur apa pun yang membuat, memanipulasi, atau menghancurkan Tensor adalah operasi. Misalnya, perkalian matriks adalah operasi yang menggunakan dua Tensor sebagai masukan dan menghasilkan satu Tensor sebagai keluaran.

pengoptimal (optimizer)

Implementasi spesifik dari algoritme penurunan gradien. Kelas dasar TensorFlow untuk pengoptimal adalah tf.train.Optimizer. Pengoptimal yang berbeda dapat memanfaatkan satu atau beberapa konsep berikut untuk meningkatkan keefektifan penurunan gradien pada set pelatihan tertentu:

  • momentum (Momentum)
  • frekuensi update (AdaGrad = ADAptive GRADient descent; Adam = ADAptive with Momentum; RMSProp)
  • ketersebaran/regularisasi (Ftrl)
  • matematika yang lebih kompleks (Proximal, dan lainnya)

Anda dapat membayangkan pengoptimal yang didorong NN.

bias kehomogenan luar golongan (out-group homogeneity bias)

#fairness

Kecenderungan untuk melihat anggota di luar golongan lebih mirip daripada anggota dalam kelompok saat membandingkan sikap, nilai, ciri kepribadian, dan karakteristik lainnya. Dalam golongan mengacu pada orang yang berinteraksi dengan Anda secara berkala; luar golongan mengacu pada orang yang tidak berinteraksi dengan Anda secara berkala. Jika Anda membuat kumpulan data dengan meminta orang untuk memberikan atribut tentang luar golongan, atribut tersebut mungkin kurang bernuansa dan lebih stereotip daripada atribut yang dicantumkan oleh peserta untuk orang di dalam golongan mereka.

Misalnya, Liliput mungkin mendeskripsikan rumah Liliput lain dengan sangat mendetail, dengan menyebutkan perbedaan kecil dalam gaya arsitektur, jendela, pintu, dan ukuran. Namun, Liliput yang sama mungkin hanya menyatakan bahwa semua Brobdingnagian tinggal di rumah yang identik.

Bias kehomogenan luar golongan adalah bentuk bias atribusi golongan.

Lihat juga bias dalam golongan.

pencilan (outliers)

Nilai yang berbeda dengan sebagian besar nilai lainnya. Dalam machine learning, salah satu dari hal berikut adalah pencilan:

  • Bobot dengan nilai absolut yang tinggi.
  • Nilai yang diprediksi relatif jauh dari nilai yang sebenarnya.
  • Data masukan yang nilainya lebih dari 3 simpangan baku dari rataan.

Pencilan biasanya menyebabkan masalah dalam pelatihan model.

lapisan keluaran (output layer)

Lapisan "terakhir" dari jaringan neural. Lapisan yang berisi jawaban.

overfitting

Membuat model yang cocok dengan data pelatihan sangat dekat sehingga model gagal membuat prediksi yang benar pada data baru.

P

pandas

API analisis data yang berorientasi pada kolom. Banyak framework ML, termasuk TensorFlow, mendukung struktur data pandas sebagai masukan. Lihat dokumentasi pandas.

parameter

Variabel model yang dilatih sendiri oleh sistem ML. Misalnya, bobot adalah parameter yang nilainya dipelajari secara bertahap oleh sistem ML melalui iterasi pelatihan berurutan. Berbeda dengan hyperparameter.

Server Parameter (SP)

#TensorFlow

Pekerjaan yang melacak parameter model dalam setelan terdistribusi.

Lihat Model Berperforma Tinggi untuk mengetahui detailnya.

pembaruan parameter (parameter update)

Operasi menyesuaikan parameter model selama pelatihan, biasanya dalam satu iterasi penurunan gradien.

turunan parsial (partial derivative)

Turunan yang mana semua kecuali satu variabel dianggap sebagai konstanta. Misalnya, turunan parsial f(x, y) yang terkait dengan x adalah turunan dari f yang dianggap sebagai fungsi x saja (yaitu, mempertahankan konstanta y). Turunan parsial f yang terkait dengan x hanya berfokus pada bagaimana x mengubah dan mengabaikan semua variabel lain dalam persamaan.

bias partisipasi (participation bias)

#fairness

Sinonim dari bias abstain. Lihat bias seleksi.

pengelompokan partisi (partition clustering)

Kategori algoritme pengelompokan yang mengelola data menjadi kluster nonhierarki. k-means adalah algoritme pengelompokan partisi yang paling banyak digunakan.

Berbeda dengan algoritme pengelompokan hierarki.

strategi partisi (partitioning strategy)

Algoritme yang mana variabel dibagi di semua server parameter.

perceptron

Sistem (hardware atau software) yang menggunakan satu atau beberapa nilai masukan, menjalankan fungsi pada jumlah masukan yang berbobot, dan menghitung satu nilai keluaran. Dalam machine learning, fungsi ini biasanya nonlinear, seperti ULT, sigmoid, atau tanh. Misalnya, perceptron berikut bergantung pada fungsi sigmoid untuk memproses tiga nilai masukan:

$$f(x_1, x_2, x_3) = \text{sigmoid}(w_1 x_1 + w_2 x_2 + w_3 x_3)$$

Dalam ilustrasi berikut, perceptron menggunakan tiga masukan, yang masing-masing dimodifikasi sediri oleh bobot sebelum memasuki perceptron:

Perceptron yang mengambil 3 masukan, masing-masing dikalikan dengan bobot terpisah. Perceptron menghasilkan satu nilai.

Perceptron adalah (simpul) dalam jaringan neural dalam. Yaitu, jaringan neural dalam terdiri dari beberapa perceptron yang terhubung, ditambah dengan algoritme propagasi mundur untuk memperkenalkan masukan.

performa (performance)

Istilah yang berlebihan dengan makna berikut:

  • Makna tradisional dalam rekayasa software. Yaitu: Seberapa cepat (atau efisien) software ini berjalan?
  • Makna dalam ML. Di sini, performa menjawab pertanyaan berikut: Seberapa benar model ini? Yaitu, seberapa bagus prediksi modelnya?

perpleksitas (perplexity)

Salah satu ukuran terkait seberapa baik model menyelesaikan tugasnya. Misalnya, tugas Anda adalah membaca beberapa huruf pertama dari kata yang diketik pengguna pada keyboard smartphone, dan menawarkan daftar kemungkinan kata penyelesaian. Perpleksitas, P, untuk tugas ini adalah perkiraan jumlah tebakan yang perlu Anda tawarkan agar daftar Anda berisi kata sebenarnya yang ingin diketik pengguna.

Perpleksitas terkait dengan entropi silang sebagai berikut:

$$P= 2^{-\text{entropi silang}}$$

pipeline

Infrastruktur yang berkaitan dengan algoritme machine learning. Pipeline meliputi mengumpulkan data, memasukkan data ke file data pelatihan, melatih satu atau beberapa model, dan mengekspor model ke produksi.

penggabungan (pooling)

Mengurangi satu atau beberapa matriks yang dibuat oleh lapisan konvolusional sebelumnya ke matriks yang lebih kecil. Penggabungan biasanya melibatkan penggunaan nilai maksimum atau rata-rata di semua area yang digabungkan. Misalnya, kita memiliki matriks 3x3 berikut:

Operasi penggabungan, seperti operasi konvolusional, membagi matriks tersebut menjadi beberapa potongan, kemudian menggeser operasi konvolusional tersebut dengan jangka. Misalnya, operasi penggabungan membagi matriks konvolusional menjadi 2x2 potongan dengan jangka 1x1. Seperti yang digambarkan oleh diagram berikut, terjadi empat operasi penggabungan. Bayangkan jika setiap operasi penggabungan mengambil nilai maksimum dari empat operasi tersebut dalam potongan tersebut:

Penggabungan membantu menerapkan invariansi tranlasi dalam matriks masukan.

Penggabungan untuk aplikasi visi dikenal lebih formal sebagai penggabungan spasial. Penerapan deret waktu biasanya mengacu pada penggabungan sebagai penggabungan sementara. Secara kurang formal, penggabungan biasanya disebut subsampling atau downsampling.

kelas positif (positive class)

Dalam klasifikasi biner, dua kelas yang memungkinkan diberi label sebagai positif dan negatif. Hasil positif adalah hal yang kita uji. (Memang, kita secara bersamaan melakukan pengujian untuk mendapatkan kedua hasil, tetapi sebagai ukuran sementara.) Misalnya, kelas positif dalam uji medis mungkin adalah "tumor". Kelas positif dalam pengklasifikasi email mungkin adalah "spam".

Berbeda dengan kelas negatif.

presisi (precision)

Metrik untuk model klasifikasi. Presisi mengidentifikasi frekuensi terkait apakah model benar saat memprediksi kelas positif. Yaitu:

$$\text{Presisi} = \frac{\text{Positif Benar}} {\text{Positif Benar} + \text{Positif Palsu}}$$

prediksi (prediction)

Keluaran model saat diberikan dengan contoh masukan.

bias prediksi (prediction bias)

#fairness

Nilai yang menunjukkan seberapa jauh rata-rata prediksi dari rata-rata label dalam kumpulan data.

Harap bedakan dengan istilah bias dalam model machine learning atau dengan bias dalam etika dan fairness.

Estimator pasokan (premade Estimator)

#TensorFlow

Estimator yang telah dibuat oleh seseorang. TensorFlow menyediakan beberapa Estimator pasokan, termasuk DNNClassifier, DNNRegressor, dan LinearClassifier. Untuk mempelajari lebih lanjut Estimator pasokan, lihat Estimator Pasokan atau Estimator Pasokan untuk Pemula ML.

Berbeda dengan Estimator khusus.

model terlatih (pre-trained model)

Model atau komponen model (seperti embeddings) yang telah terlatih. Terkadang, Anda perlu memasukkan embeddings terlatih ke dalam jaringan neural. Di lain waktu, model Anda akan melatih embeddings sendiri, bukannya bergantung pada embeddings terlatih.

keyakinan awal (prior belief)

Hal yang Anda yakini terkait data sebelum Anda mulai melatih data tersebut. Misalnya, regularisasi L2 bergantung pada keyakinan awal bahwa bobot harus kecil dan umumnya didistribusikan dengan nilai sekitar nol.

label proxy (proxy labels)

Data yang digunakan untuk memperkirakan label yang tidak tersedia secara langsung dalam kumpulan data.

Misalnya, Anda menginginkan apakah hujan? menjadi label Boolean untuk kumpulan data Anda, tetapi kumpulan data tersebut tidak berisi data hujan. Jika foto tersedia, Anda mungkin membuat foto orang yang membawa payung sebagai label proxy untuk apakah hujan? Namun, label proxy dapat mengubah hasilnya. Misalnya, di beberapa tempat, mungkin membawa payung lebih umum dilakukan untuk memberikan perlindungan terhadap matahari daripada hujan.

Q

kuantil (quantile)

Setiap bucket dalam pengelompokan kuantil.

pengelompokan kuantil (quantile bucketing)

Mendistribusikan nilai fitur ke dalam bucket sehingga setiap bucket berisi jumlah contoh yang sama (atau hampir sama). Misalnya, gambar berikut membagi 44 poin dalam 4 bucket, yang masing-masing berisi 11 poin. Agar setiap bucket dalam gambar berisi jumlah titik yang sama, beberapa bucket memiliki lebar nilai x yang berbeda.

40 titik data dibagi menjadi 4 bucket yang masing-masing berisi 11 titik. Beberapa bucket berisi rentang nilai fitur yang lebih luas daripada yang lain.

kuantisasi (quantization)

Algoritme yang menerapkan pengelompokan kuantil pada fitur tertentu dalam sebuah kumpulan data.

antrean (queue)

#TensorFlow

Operasi TensorFlow yang menerapkan struktur data antrean. Biasanya digunakan dalam I/O.

R

random forest

Pendekatan ensambel untuk menemukan pohon keputusan yang paling sesuai dengan data pelatihan dengan membuat banyak pohon keputusan, kemudian menentukan "rata-rata" pohon. Bagian "random" dari istilah ini mengacu pada pembuatan setiap pohon keputusan dari pilihan fitur acak; "forest" mengacu pada set pohon keputusan.

urutan (ordinalitas) (rank (ordinality))

Posisi ordinal dari kelas dalam masalah ML yang mengategorikan kelas dari tertinggi hingga terendah. Misalnya, sistem urutan perilaku dapat mengurutkan hadiah anjing dari tertinggi (daging steak) hingga terendah (sayuran kale layu).

rank (Tensor)

#TensorFlow

Jumlah dimensi dalam Tensor. Misalnya, skalar memiliki rank 0, vektor memiliki rank 1, dan matriks memiliki rank 2.

Harap bedakan dengan urutan (ordinalitas).

pelabel (rater)

Manusia yang memberi label dalam contoh. Terkadang disebut "anotator".

perolehan (recall)

Metrik untuk model klasifikasi yang menjawab pertanyaan berikut: Dari semua kemungkinan label positif, berapa banyak model yang diidentifikasi dengan benar? Yaitu:

\[\text{Perolehan} = \frac{\text{Positif Benar}} {\text{Positif Benar} + \text{Negatif Palsu}}\]

sistem rekomendasi (recommendation system)

Sistem yang memilih set yang relatif kecil untuk item yang diinginkan dari korpus besar untuk setiap pengguna. Misalnya, sistem rekomendasi video mungkin merekomendasikan dua video dari korpus yang berisi 100.000 video, yang memilih Casablanca dan The Philadelphia Story untuk satu pengguna, serta Wonder Woman dan Black Panther untuk pengguna yang lain. Sistem rekomendasi video mungkin mendasarkan rekomendasinya pada sejumlah faktor seperti:

  • Film yang telah dinilai atau ditonton oleh pengguna yang sama.
  • Genre, sutradara, aktor, demografi target...

Unit Linear Terarah (ULT) (Rectified Linear Unit (ReLU))

Fungsi aktivasi dengan aturan berikut:

  • Jika masukan bernilai negatif atau nol, maka keluaran bernilai 0.
  • Jika masukan bernilai positif, maka keluaran bernilai sama dengan masukan.

jaringan neural berulang (recurrent neural network)

Jaringan neural yang sengaja dijalankan beberapa kali, yang mana bagian dari setiap proses dimasukkan ke proses berikutnya. Secara khusus, lapisan tersembunyi dari proses sebelumnya memberikan bagian dari masukan ke lapisan tersembunyi yang sama pada proses berikutnya. Jaringan neural berulang terutama berguna untuk mengevaluasi urutan, sehingga lapisan tersembunyi dapat mempelajari proses jaringan neural sebelumnya pada bagian awal dari urutan tersebut.

Misalnya, gambar berikut menunjukkan jaringan neural berulang yang dijalankan empat kali. Perhatikan bahwa nilai yang dipelajari di lapisan tersembunyi dari proses pertama menjadi bagian dari masukan untuk lapisan tersembunyi yang sama dalam proses kedua. Demikian pula, nilai yang dipelajari dalam lapisan tersembunyi pada proses kedua menjadi bagian dari masukan untuk lapisan tersembunyi yang sama dalam proses ketiga. Dengan cara ini, jaringan neural berulang secara bertahap melatih dan memprediksi maksud dari keseluruhan urutan, bukannya hanya maksud dari setiap kata.

RNN yang berjalan empat kali untuk memproses empat kata masukan.

model regresi (regression model)

Jenis model yang menghasilkan nilai berkelanjutan (biasanya, floating-point). Bandingkan dengan model klasifikasi, yang menghasilkan nilai diskrit, seperti "day lily" atau "tiger lily".

regularisasi (regularization)

Ganjaran pada kompleksitas model. Regularisasi membantu mencegah overfitting. Berbagai jenis regularisasi meliputi:

derajat regularisasi (regularization rate)

Nilai skalar, direpresentasikan sebagai lambda, yang menentukan derajat pentingnya fungsi regularisasi yang bersifat relatif. Persamaan kerugian yang disederhanakan berikut menunjukkan pengaruh derajat regularisasi:

$$\text{minimalkan(fungsi kerugian + }\lambda\text{(fungsi regularisasi))}$$

Menaikkan derajat regularisasi akan mengurangi overfitting tetapi dapat membuat model menjadi kurang akurat.

bias pelaporan (reporting bias)

#fairness

Kenyataan bahwa frekuensi yang digunakan orang untuk menulis tentang tindakan, hasil, atau properti bukanlah cerminan dari frekuensi mereka di dunia nyata atau sejauh mana properti merupakan karakteristik dari kelas individu. Bias pelaporan dapat memengaruhi komposisi data yang dipelajari oleh sistem ML.

Misalnya, dalam buku, kata tertawa lebih umum daripada bernapas. Model ML yang memperkirakan frekuensi relatif tertawa dan bernapas dari korpus buku mungkin akan menentukan bahwa tertawa lebih umum daripada bernapas.

representasi (representation)

Proses memetakan data ke fitur yang berguna.

pengurutan ulang (re-ranking)

Tahap akhir dari sistem rekomendasi, yang mana item yang diberi skor dapat dinilai ulang menurut beberapa algoritme (biasanya, non-ML) lainnya. Pengurutan ulang mengevaluasi daftar item yang dihasilkan berdasarkan fase pemberian skor, dengan mengambil tindakan seperti:

  • Menghilangkan item yang telah dibeli oleh pengguna.
  • Menaikkan skor item yang lebih baru.

RNN

Singkatan dari jaringan neural berulang.

Kurva KOP (karakteristik operasi penerima) (ROC (receiver operating characteristic) Curve)

Kurva rasio positif benar vs. rasio positif palsu pada batas klasifikasi yang berbeda. Lihat juga ABK.

direktori utama (root directory)

#TensorFlow

Direktori yang Anda tentukan untuk menghosting subdirektori dari checkpoint TensorFlow dan file peristiwa dari beberapa model.

Akar Rataan Kuadrat Galat (ARKG) (Root Mean Squared Error (RMSE))

Akar kuadrat dari Rataan Kuadrat Galat.

invariansi rotasional (rotational invariance)

Dalam masalah klasifikasi gambar, kemampuan suatu algoritme agar berhasil mengklasifikasikan gambar meskipun orientasi gambar berubah. Misalnya, algoritme tersebut tetap dapat mengidentifikasi raket tenis apakah mengarah ke atas, ke samping, atau ke bawah. Perhatikan bahwa invariansi rotasional tidak selalu diinginkan; misalnya, 9 terbalik seharusnya tidak diklasifikasikan sebagai 9.

Lihat juga invariansi translasi dan invariansi ukuran.

S

bias sampling (sampling bias)

#fairness

Lihat bias seleksi.

SavedModel

#TensorFlow

Format yang direkomendasikan untuk menyimpan dan memulihkan model TensorFlow. SavedModel adalah format serialisasi yang dapat dipulihkan dengan bahasa netral, yang memungkinkan sistem dan fitur berlevel tinggi untuk memproduksi, mengonsumsi, dan mengubah model TensorFlow.

Lihat Menyimpan dan Memulihkan dalam Panduan Programer TensorFlow untuk mengetahui detail selengkapnya.

Saver

#TensorFlow

Objek TensorFlow yang bertanggung jawab untuk menyimpan checkpoint model.

penskalaan (scaling)

Praktik yang umumnya digunakan dalam rekayasa fitur untuk menyesuaikan rentang nilai fitur agar cocok dengan rentang fitur lainnya dalam kumpulan data. Misalnya, Anda ingin semua fitur floating-point dalam kumpulan data memiliki rentang 0 hingga 1. Dalam rentang fitur tertentu dari 0 hingga 500, Anda dapat menskalakan fitur tersebut dengan membagi setiap nilai dengan 500.

Lihat juga normalisasi.

scikit-learn

Platform ML open source yang populer. Lihat www.scikit-learn.org.

pemberian skor (scoring)

Bagian dari sistem rekomendasi yang memberikan nilai atau urutan untuk setiap item yang dihasilkan oleh fase pembuatan kandidat.

bias seleksi (selection bias)

#fairness

Error dalam kesimpulan yang diambil dari sampel data karena proses seleksi yang menghasilkan perbedaan sistematis antara sampel yang diamati dalam data dan sampel yang tidak diamati. Berikut ini beberapa bentuk bias seleksi:

  • bias cakupan: Populasi yang direpresentasikan dalam kumpulan data tidak sesuai dengan populasi yang digunakan ML untuk membuat prediksi.
  • bias sampling: Data tidak dikumpulkan secara acak dari grup target.
  • bias abstain (disebut juga bias partisipasi): Kecenderungan pengguna dari kelompok tertentu untuk memilih tidak ikut survei berbeda jika dibandingkan dengan pengguna dari kelompok lain.

Misalnya, Anda membuat model ML yang memprediksi tingkat kepuasan orang terhadap film. Untuk mengumpulkan data pelatihan, Anda membagikan survei kepada semua orang di barisan depan teater yang menayangkan film. Secara spontan, hal ini mungkin terdengar seperti cara yang wajar untuk mengumpulkan kumpulan data; namun, bentuk pengumpulan data semacam ini dapat memperkenalkan bentuk-bentuk bias seleksi berikut:

  • bias cakupan: Dengan mengambil sampel dari populasi yang memilih untuk menonton film, prediksi model Anda tidak dapat digeneralisasikan kepada orang-orang yang belum mengekspresikan minat terhadap film tersebut.
  • bias sampling: Ketimbang mengambil sampel secara acak dari populasi yang diharapkan (semua orang di film), Anda hanya mengambil sampel dari orang-orang di barisan depan. Ada kemungkinan bahwa orang-orang yang duduk di barisan depan lebih tertarik dengan film daripada orang-orang yang duduk di baris lain.
  • bias abstain: Secara umum, orang-orang dengan opini yang kuat cenderung menanggapi survei opsional lebih sering daripada orang-orang dengan opini yang lemah. Karena survei film bersifat opsional, tanggapannya lebih mungkin membentuk distribusi bimodal daripada distribusi normal (berbentuk lonceng).

semi-supervised learning

Melatih model pada data yang mana beberapa contoh pelatihan memiliki label tetapi tidak untuk contoh pelatihan lain. Salah satu teknik untuk semi-supervised learning adalah menyimpulkan label untuk contoh tak berlabel, kemudian melatih label yang disimpulkan untuk membuat model baru. Semi-supervised learning dapat berguna jika label sulit diperoleh tetapi contoh tak berlabel berjumlah banyak.

analisis sentimen (sentiment analysis)

Menggunakan algoritme statistik atau machine learning untuk menentukan sikap keseluruhan kelompok—positif atau negatif—terhadap layanan, produk, organisasi, atau topik. Misalnya, menggunakan natural language understanding, algoritme dapat melakukan analisis sentimen terkait masukan tekstual dari mata kuliah universitas untuk menentukan sejauh mana mahasiswa umumnya menyukai atau tidak menyukai mata kuliah tersebut.

model barisan (sequence model)

Model yang masukannya memiliki dependensi berurutan. Misalnya, memprediksi video berikutnya yang akan ditonton berdasarkan urutan video yang ditonton sebelumnya.

menayangkan (serving)

Sinonim dari menyimpulkan.

sesi (tf.session) (session (tf.session))

#TensorFlow

Objek yang merangkum status waktu proses TensorFlow dan menjalankan semua atau sebagian grafik. Saat menggunakan TensorFlow API berlevel rendah, Anda dapat langsung membuat contoh dan mengelola satu atau beberapa objek tf.session. Saat menggunakan Estimators API, Estimator memberi contoh objek sesi untuk Anda.

fungsi sigmoid (sigmoid function)

Fungsi yang memetakan keluaran regresi logistik atau multinomial (log-peluang) ke probabilitas, yang menampilkan nilai antara 0 dan 1. Fungsi sigmoid memiliki formula berikut:

$$y = \frac{1}{1 + e^{-\sigma}}$$

yang mana \(\sigma\) dalam masalah regresi logistik memiliki formula berikut:

$$\sigma = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Dengan kata lain, fungsi sigmoid mengonversi \(\sigma\) menjadi probabilitas antara 0 dan 1.

Dalam beberapa jaringan neural, fungsi sigmoid bertindak sebagai fungsi aktivasi.

ukuran kesamaan (similarity measure)

Dalam algoritme pengelompokan, metrik yang digunakan untuk menentukan seberapa mirip dua contoh yang diberikan.

invariansi ukuran (size invariance)

Dalam masalah klasifikasi gambar, kemampuan algoritme agar berhasil mengklasifikasikan gambar meskipun ukuran gambar berubah. Misalnya, algoritme tetap dapat mengidentifikasi gambar kucing apakah gambar tersebut menggunakan 2 juta piksel atau 200 ribu piksel. Perhatikan bahwa algoritme klasifikasi gambar terbaik pun masih memiliki batas praktis terkait invariansi ukuran. Misalnya, algoritme (atau manusia) tidak mungkin mengklasifikasi gambar kucing yang hanya menggunakan 20 piksel dengan benar.

Lihat juga invariansi translasi dan invariansi rotasional.

softmax

Fungsi yang memberikan probabilitas untuk setiap kemungkinan kelas dalam model klasifikasi kelas jamak. Jumlah dari semua probabilitas adalah tepat 1,0. Misalnya, softmax mungkin menentukan bahwa probabilitas gambar tertentu adalah anjing pada 0,9, kucing pada 0,08, dan kuda pada 0,02. (Juga disebut full softmax).

Berbeda dengan sampling kandidat.

fitur renggang (sparse feature)

Vektor fitur yang nilainya hampir nol atau kosong. Misalnya, vektor yang berisi satu nilai 1 dan satu juta nilai 0 bersifat renggang. Sebagai contoh lain, kata-kata dalam kueri penelusuran juga dapat menjadi fitur renggang—ada banyak kemungkinan kata dalam bahasa tertentu, tetapi hanya beberapa kata yang muncul dalam kueri yang diberikan.

Berbeda dengan fitur padat.

representasi renggang (sparse representation)

Representasi tensor yang hanya menyimpan elemen selain nol.

Misalnya, bahasa Inggris terdiri dari sekitar satu juta kata. Pertimbangkan dua cara untuk merepresentasikan jumlah kata yang digunakan dalam satu kalimat bahasa Inggris:

  • Representasi padat dari kalimat ini harus menetapkan bilangan bulat untuk semua satu juta sel, yang menempatkan 0 di sebagian besar sel tersebut, dan bilangan bulat rendah ke sebagian kecil sel tersebut.
  • Representasi renggang dari kalimat ini hanya menyimpan sel tersebut yang melambangkan kata sebenarnya dalam kalimat. Jadi, jika kalimat hanya berisi 20 kata unik, representasi renggang untuk kalimat tersebut akan menyimpan bilangan bulat hanya dalam 20 sel.

Misalnya, pertimbangkan dua cara untuk merepresentasikan kalimat, "Dogs wag tails". Seperti yang ditunjukkan tabel berikut, representasi padat menggunakan sekitar satu juta sel; representasi renggang hanya menggunakan 3 sel:

Representasi Padat
Nomor Sel Kata Kemunculan
0 a 0
1 aardvark 0
2 aargh 0
3 aarti 0
… 140.391 kata lainnya dengan kemunculan 0
140395 dogs 1
… 633.062 kata dengan kemunculan 0
773458 tails 1
... 189.136 kata dengan kemunculan 0
962594 wag 1
... banyak kata lain dengan kemunculan 0
Representasi Renggang
Nomor Sel Kata Kemunculan
140395 dogs 1
773458 tails 1
962594 wag 1

ketersebaran (sparsity)

Jumlah elemen yang ditetapkan ke nol dalam vektor atau matriks yang dibagi dengan jumlah total entri dalam vektor atau matriks tersebut. Misalnya, pertimbangkan matriks 10x10 yang mana 98 sel berisi nol. Perhitungan ketersebaran adalah sebagai berikut:

$$ {\text{ketersebaran}} = \frac{\text{98}} {\text{100}} = {\text{0,98}} $$

Ketersebaran Fitur mengacu pada ketersebaran dari vektor fitur; ketersebaran model mengacu pada ketersebaran dari bobot model.

penggabungan spasial (spatial pooling)

Lihat penggabungan.

kerugian engsel kuadrat (squared hinge loss)

Kuadrat dari kerugian engsel. Kerugian engsel kuadrat bereaksi lebih kuat terhadap pencilan daripada kerugian engsel reguler.

kerugian kuadrat (squared loss)

Fungsi kerugian digunakan dalam regresi linear. (Juga dikenal sebagai Kerugian L2.) Fungsi ini menghitung kuadrat dari perbedaan antara nilai prediksi model untuk contoh berlabel dan nilai label yang sebenarnya. Karena adanya kuadrat, fungsi kerugian ini memperkuat pengaruh prediksi buruk. Artinya, kerugian kuadrat bereaksi lebih kuat terhadap pencilan daripada kerugian L1.

model statis (static model)

Model yang dilatih secara offline.

stasioneritas (stationarity)

Properti data dalam kumpulan data, yang mana distribusi data tetap konstan di satu atau beberapa dimensi. Paling umum, dimensi tersebut adalah waktu, yang berarti bahwa data yang menunjukkan stasioneritas tidak berubah seiring waktu. Misalnya, data yang menunjukkan stasioneritas tidak berubah dari bulan September hingga Desember.

langkah (step)

Evaluasi maju dan mundur dari satu tumpukan.

ukuran langkah (step size)

Sinonim dari kecepatan pembelajaran.

penurunan gradien stokastik (PGS) (stochastic gradient descent (SGD))

Algoritme penurunan gradien yang mana ukuran tumpukan bernilai satu. Dengan kata lain, PGS bergantung pada satu contoh yang dipilih secara seragam dan acak dari kumpulan data untuk menghitung perkiraan gradien pada setiap langkah.

jangka (stride)

Dalam operasi konvolusional atau penggabungan, delta di setiap dimensi dari rangkaian potongan masukan berikutnya. Misalnya, animasi berikut menunjukkan jangka (1,1) selama operasi konvolusional. Oleh karena itu, potongan masukan berikutnya memulai satu posisi di sebelah kanan dari potongan masukan sebelumnya. Saat operasi mencapai sisi sebelah kanan, potongan berikutnya menyeberang sepenuhnya ke sebelah kiri tetapi satu posisi ke bawah.

Contoh di atas menunjukkan jangka dua dimensi. Jika matriks masukan memiliki tiga dimensi, jangkanya juga akan memiliki tiga dimensi.

minimalisasi risiko struktural (MRS) (structural risk minimization (SRM))

Algoritme yang menyeimbangkan dua sasaran:

  • Keinginan untuk membuat model yang paling prediktif (misalnya, kerugian terendah).
  • Keinginan untuk mempertahankan model sesederhana mungkin (misalnya, regularisasi yang kuat).

Misalnya, fungsi yang meminimalkan kerugian+regularisasi pada set pelatihan adalah algoritme minimalisasi risiko struktural.

Untuk mengetahui informasi selengkapnya, lihat http://www.svms.org/srm/.

Berbeda dengan minimisasi risiko empiris.

subsampling

Lihat penggabungan.

ringkasan (summary)

#TensorFlow

Di TensorFlow, nilai atau set nilai yang dihitung pada langkah tertentu, biasanya digunakan untuk melacak metrik model selama pelatihan.

supervised machine learning

Melatih model dari data masukan dan labelnya yang sesuai. Supervised machine learning dianalogikan dengan siswa yang mempelajari subjek dengan mempelajari set pertanyaan dan jawabannya yang sesuai. Setelah menguasai pemetaan antara pertanyaan dan jawaban, siswa kemudian dapat memberikan jawaban atas pertanyaan baru (yang tidak pernah dilihat sebelumnya) pada topik yang sama. Bandingkan dengan unsupervised machine learning.

fitur sintetis (synthetic feature)

Fitur yang tidak ada di antara fitur masukan, tetapi dibuat dari satu atau beberapa fitur masukan. Jenis fitur sintetis meliputi:

  • Mengelompokkan fitur berkelanjutan ke dalam bin rentang.
  • Mengalikan (atau membagi) satu nilai fitur dengan nilai fitur lain atau dengan nilai fitur itu sendiri.
  • Membuat persilangan fitur.

Fitur yang dibuat dengan melakukan normalisasi atau penskalaan saja tidak dianggap sebagai fitur sintetis.

T

target

Sinonim dari label.

data temporal (temporal data)

Data yang dicatat pada waktu-waktu yang berbeda. Misalnya, jumlah penjualan mantel musim dingin yang dicatat untuk setiap hari dalam setahun adalah data temporal.

Tensor

#TensorFlow

Struktur data utama dalam program TensorFlow. Tensor adalah struktur data N dimensi (yang mana N dapat bernilai sangat besar), yang paling sering berupa skalar, vektor, atau matriks. Elemen Tensor dapat memuat nilai bilangan bulat, floating-point, atau string.

TensorBoard

#TensorFlow

Dasbor yang menampilkan ringkasan yang disimpan selama satu atau beberapa program TensorFlow dijalankan.

TensorFlow

#TensorFlow

Platform machine learning berskala besar dan terdistribusi. Istilah ini juga mengacu pada lapisan API dasar dalam tumpukan TensorFlow, yang mendukung penghitungan umum pada grafik aliran data.

Meskipun TensorFlow terutama digunakan untuk machine learning, Anda juga dapat menggunakan TensorFlow untuk tugas non-ML yang memerlukan penghitungan numerik menggunakan grafik aliran data.

TensorFlow Playground

#TensorFlow

Program yang memvisualisasikan pengaruh hyperparameter yang berbeda terhadap pelatihan (terutama jaringan neural) model. Buka http://playground.tensorflow.org untuk melakukan eksperimen dengan TensorFlow Playground.

TensorFlow Serving

#TensorFlow

Platform untuk menerapkan model terlatih dalam produksi.

Tensor Processing Unit (TPU)

#TensorFlow

ASIC (sirkuit terintegrasi khusus aplikasi) yang mengoptimalkan performa program TensorFlow.

rank Tensor (Tensor rank)

#TensorFlow

Lihat rank (Tensor).

bentuk Tensor (Tensor shape)

#TensorFlow

Jumlah elemen yang dimiliki oleh Tensor dalam berbagai dimensi. Misalnya, Tensor [5, 10] memiliki 5 bentuk dalam satu dimensi dan 10 bentuk dalam dimensi lain.

ukuran Tensor (Tensor size)

#TensorFlow

Jumlah total skalar yang dimiliki oleh Tensor. Misalnya, Tensor [5, 10] memiliki ukuran sebesar 50.

set pengujian (test set)

Subset dari kumpulan data yang Anda gunakan untuk menguji model Anda setelah model melalui pemeriksaan awal oleh set validasi.

Berbeda dengan set pelatihan dan set validasi.

tf.Example

#TensorFlow

Buffer protokol standar yang digunakan untuk mendeskripsikan data masukan untuk pelatihan atau inferensi model machine learning.

analisis runtun waktu (time series analysis)

Subbidang machine learning dan statistik yang menganalisis data temporal. Berbagai jenis masalah machine learning memerlukan analisis runtun waktu, termasuk klasifikasi, pengelompokan, perkiraan, dan deteksi anomali. Misalnya, Anda dapat menggunakan analisis runtun waktu untuk memperkirakan jumlah penjualan mantel musim dingin di masa mendatang menurut bulan berdasarkan data penjualan historis.

TPU

#TensorFlow
#GoogleCloud

Singkatan dari Tensor Processing Unit.

chip TPU (TPU chip)

#TensorFlow
#GoogleCloud

Akselerator aljabar linear yang bisa diprogram yang performanya dioptimalkan untuk beban kerja machine learning, khususnya fase pelatihan. Juga dikenal sebagai shard.

master TPU (TPU master)

#TensorFlow
#GoogleCloud

Proses koordinasi pusat yang berjalan pada mesin host yang mengirim serta menerima data dan hasil, program, serta performa dan data kesehatan kepada pekerja TPU. Master ini juga mengelola penyiapan dan penonaktifan perangkat dalam konfigurasi TPU.

simpul TPU (TPU node)

#TensorFlow
#GoogleCloud

Salah satu dari dua pemroses independen (inti) pada chip TPU.

resource TPU (TPU resource)

#TensorFlow
#GoogleCloud

ID untuk instantiasi TPU.

pekerja TPU (TPU worker)

#TensorFlow
#GoogleCloud

Proses yang berjalan pada mesin host yang terhubung ke TPU yang menjalankan program TensorFlow pada simpul TPU.

pelatihan (training)

Proses penentuan parameter ideal yang membentuk sebuah model.

set pelatihan (training set)

Subset dari kumpulan data yang digunakan untuk melatih model.

Berbeda dengan set validasi dan set pengujian.

pemelajaran transfer (transfer learning)

Mentransfer informasi dari satu tugas machine learning ke tugas yang lain. Misalnya, dalam pemelajaran tugas jamak, satu model menyelesaikan banyak tugas, seperti model dalam yang memiliki simpul keluaran yang berbeda untuk tugas yang berbeda. Pemelajaran transfer mungkin melibatkan transfer pengetahuan dari solusi tugas yang lebih sederhana ke tugas yang lebih kompleks, atau melibatkan transfer pengetahuan dari tugas yang memiliki lebih banyak data ke tugas yang memiliki lebih sedikit data.

Sebagian besar sistem machine learning menyelesaikan satu tugas. Pemelajaran transfer adalah langkah awal menuju kecerdasan buatan yang mana satu program dapat menyelesaikan beberapa tugas.

invariansi translasi (translational invariance)

Dalam masalah klasifikasi gambar, kemampuan algoritme agar berhasil mengklasifikasikan gambar meskipun posisi objek dalam gambar berubah. Misalnya, algoritme tetap dapat mengidentifikasi gambar anjing, apakah berada di tengah bingkai atau di ujung kiri bingkai.

Lihat juga invariansi ukuran dan invariansi rotasional.

trigram

N-gram yang mana N=3.

negatif benar (NB): (true negative (TN))

Contoh yang mana model dengan benar memprediksi kelas negatif. Misalnya, model menyimpulkan bahwa pesan email tertentu bukan spam, dan pesan email tersebut benar-benar bukan spam.

positif benar (PB): (true positive (TP))

Contoh yang mana model dengan benar memprediksi kelas positif. Misalnya, model menyimpulkan bahwa pesan email tertentu adalah spam, dan pesan email tersebut benar-benar spam.

rasio positif benar (RPB) (true positive rate (TPR))

Sinonim dari perolehan. Yaitu:

$$\text{Rasio Positif Benar} = \frac{\text{Positif Benar}} {\text{Positif Benar} + \text{Negatif Palsu}}$$

Rasio positif benar adalah sumbu y dalam kurva KOP.

U

underfitting

Menghasilkan model dengan kemampuan prediktif yang buruk karena model belum menangkap kompleksitas dari data pelatihan. Banyak masalah dapat menyebabkan underfitting, termasuk:

  • Melatih set fitur yang salah.
  • Melatih dengan iterasi pelatihan yang terlalu sedikit atau kecepatan pembelajaran yang terlalu rendah.
  • Melatih dengan derajat regularisasi yang terlalu tinggi.
  • Memberikan lapisan tersembunyi yang terlalu sedikit di jaringan neural dalam.

contoh tak berlabel (unlabeled example)

Contoh yang berisi fitur tetapi tanpa label. Contoh tak berlabel adalah masukan untuk inferensi. Dalam semi-supervised dan unsupervised learning, contoh tak berlabel digunakan selama pelatihan.

unsupervised machine learning

Melatih model untuk menemukan pola dalam kumpulan data, biasanya kumpulan data tak berlabel.

Penggunaan unsupervised machine learning yang paling umum adalah mengelompokkan data ke dalam beberapa kelompok contoh yang serupa. Misalnya, algoritme unsupervised machine learning dapat mengelompokkan lagu berdasarkan berbagai properti musik. Kluster yang dihasilkan dapat menjadi masukan untuk algoritme machine learning lainnya (misalnya, untuk layanan rekomendasi musik). Pengelompokan dapat berguna pada area di mana label yang benar sulit diperoleh. Misalnya, dalam domain seperti anti-penyalahgunaan dan penipuan, kluster dapat membantu manusia untuk lebih memahami data.

Contoh lain dari unsupervised machine learning adalah analisis komponen utama (PCA). Misalnya, penerapan PCA pada kumpulan data yang berupa isi dari jutaan keranjang belanja mungkin mengungkapkan bahwa keranjang belanja yang berisi lemon biasanya juga berisi antasida.

Bandingkan dengan supervised machine learning.

upweighting

Menerapkan bobot ke kelas di mana downsampling telah dilakukan dan bobot tersebut sama dengan faktor yang digunakan ketika melakukan downsampling.

matriks pengguna (user matrix)

Dalam sistem rekomendasi, embedding yang dihasilkan oleh faktorisasi matriks yang memiliki sinyal laten terkait preferensi pengguna. Setiap baris dari matriks pengguna memiliki informasi tentang kekuatan relatif dari berbagai sinyal laten untuk satu pengguna. Misalnya, pertimbangkan sistem rekomendasi film. Pada sistem ini, sinyal laten dalam matriks pengguna mungkin merepresentasikan minat setiap pengguna dalam genre tertentu, atau mungkin sinyal-sinyal yang lebih sulit untuk ditafsirkan yang melibatkan interaksi kompleks dari berbagai faktor.

Matriks pengguna memiliki satu kolom untuk setiap fitur laten dan satu baris untuk setiap pengguna. Artinya, matriks pengguna memiliki jumlah baris yang sama dengan matriks target yang sedang difaktorisasi. Misalnya, dalam sistem rekomendasi film untuk 1.000.000 pengguna, matriks pengguna akan memiliki 1.000.000 baris.

V

set validasi (validation set)

Subset dari kumpulan data—terpisah dari set pelatihan—yang Anda gunakan untuk menyesuaikan hyperparameter.

Berbeda dengan set pelatihan dan set pengujian.

W

bobot (weight)

Koefisien untuk fitur dalam model linear, atau tepian dalam jaringan dalam. Sasaran dari pelatihan model linear adalah menentukan bobot ideal untuk setiap fitur. Jika bobot suatu fitur bernilai 0, fitur tersebut tidak akan berkontribusi pada model.

model lebar (wide model)

Model linear yang biasanya memiliki banyak fitur masukan renggang. Kita menyebutnya sebagai "lebar" karena model semacam itu adalah jenis jaringan neural khusus dengan sejumlah besar masukan yang terhubung langsung ke simpul keluaran. Biasanya lebih mudah untuk melakukan debug dan pemeriksaan pada model lebar daripada model dalam. Meskipun model lebar tidak dapat mengekspresikan nonlinearitas melalui lapisan tersembunyi, model ini dapat menggunakan transformasi seperti persilangan fitur dan pengelompokan untuk memodelkan nonlinearitas dengan cara lain.

Berbeda dengan model dalam.