Laboratorium

Tentang dokumen ini

Dengan membaca artikel ini, Anda akan:

  • Pahami strategi apa yang harus dibuat sebelum membuat laporan ringkasan.
  • Memperkenalkan Noise Lab, alat yang membantu memahami efek berbagai parameter derau, dan yang memungkinkan eksplorasi serta penilaian cepat berbagai strategi pengelolaan derau.
Screenshot Noise Lab
Noise Lab

Bagikan masukan

Meskipun dokumen ini merangkum beberapa prinsip penggunaan laporan ringkasan, ada beberapa pendekatan terhadap pengelolaan derau yang mungkin tidak ditunjukkan di sini. Kami sangat mengharapkan saran, tambahan, dan pertanyaan dari Anda!

  • Untuk memberikan masukan publik tentang strategi pengelolaan derau, kegunaan atau privasi API (epsilon), dan untuk membagikan pengamatan Anda saat melakukan simulasi dengan Noise Lab: Komentar tentang masalah ini
  • Untuk memberikan masukan publik tentang Noise Lab (mengajukan pertanyaan, melaporkan bug, meminta fitur): Buat masalah baru di sini
  • Untuk memberikan masukan publik terkait aspek lain dari API: Buat masalah baru di sini

Sebelum memulai

  1. Baca Pelaporan Atribusi: laporan ringkasan dan ringkasan sistem lengkap Pelaporan Atribusi untuk pengantar.
  2. Pindai artikel Memahami derau dan Memahami kunci agregasi untuk memanfaatkan panduan ini sebaik mungkin.

Keputusan desain

Prinsip desain inti

Ada perbedaan mendasar antara cara kerja laporan ringkasan dan cookie pihak ketiga. Salah satu perbedaan utama adalah derau yang ditambahkan ke data pengukuran dalam laporan ringkasan. Cara lainnya adalah dijadwalkan.

Untuk mengakses data pengukuran laporan ringkasan dengan rasio sinyal ke derau yang lebih tinggi, platform sisi permintaan (DSP) dan penyedia pengukuran iklan harus bekerja sama dengan pengiklan mereka untuk mengembangkan strategi pengelolaan derau. Untuk mengembangkan strategi ini, DSP dan penyedia pengukuran perlu membuat keputusan desain. Keputusan ini berkisar pada satu konsep penting:

Meskipun nilai derau distribusi diambil, secara mutlak, hanya bergantung pada dua parameter⏤epsilon dan anggaran kontribusi⏤Anda memiliki sejumlah kontrol lain yang dapat digunakan yang akan memengaruhi rasio sinyal terhadap derau dari data pengukuran output.

Meskipun kami memperkirakan proses berulang akan mengarah pada keputusan terbaik, setiap variasi pada keputusan ini akan mengarah pada penerapan yang sedikit berbeda. Oleh karena itu, keputusan ini harus diambil sebelum menulis setiap iterasi kode (dan sebelum menjalankan iklan).

Keputusan: Perincian dimensi

Coba di Noise Lab

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Amati parameter default. Secara default, TOTAL jumlah konversi harian yang dapat diatribusikan adalah 1.000. Rata-ratanya adalah sekitar 40 per bucket jika Anda menggunakan konfigurasi default (dimensi default, jumlah default kemungkinan nilai yang berbeda untuk setiap dimensi, Strategi utama A). Perhatikan bahwa nilainya adalah 40 dalam input Jumlah konversi rata-rata harian yang dapat diatribusikan PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Di panel samping Parameter, cari Dimensi. Ganti nama Geografi menjadi Kota dan ubah jumlah kemungkinan nilai yang berbeda menjadi 50.
  6. Amati bagaimana hal ini mengubah Jumlah konversi rata-rata harian yang dapat diatribusikan PER BUCKET. Sekarang jauh lebih rendah. Hal ini karena jika Anda meningkatkan jumlah kemungkinan nilai dalam dimensi ini tanpa mengubah apa pun, Anda menambah jumlah total bucket tanpa mengubah jumlah peristiwa konversi yang akan jatuh di setiap bucket.
  7. Klik Simulasikan.
  8. Amati rasio derau dari simulasi yang dihasilkan: rasio derau kini lebih tinggi daripada simulasi sebelumnya.

Berdasarkan prinsip desain inti, nilai ringkasan kecil cenderung lebih berisik daripada nilai ringkasan besar. Oleh karena itu, pilihan konfigurasi Anda memengaruhi jumlah peristiwa konversi teratribusi yang berakhir di setiap bucket (atau disebut sebagai kunci agregasi), dan kuantitas tersebut memengaruhi derau dalam laporan ringkasan output akhir.

Salah satu keputusan desain yang memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah perincian dimensi. Pertimbangkan contoh kunci agregasi berikut dan dimensinya:

  • Pendekatan 1: satu struktur kunci dengan dimensi kasar: Negara x Kampanye Iklan (atau bucket agregasi kampanye terbesar) x Tipe Produk (dari 10 jenis produk yang mungkin)
  • Pendekatan 2: satu struktur utama dengan dimensi terperinci: Kota x ID Materi Iklan x Produk (dari 100 produk yang tersedia)

Kota adalah dimensi yang lebih terperinci daripada Negara; ID Materi Iklan lebih terperinci daripada Kampanye; dan Produk lebih terperinci daripada Tipe produk. Oleh karena itu, Pendekatan 2 akan memiliki jumlah peristiwa (konversi) per bucket (= per kunci) yang lebih rendah dalam output laporan ringkasannya daripada Pendekatan 1. Mengingat bahwa derau yang ditambahkan ke output tidak bergantung pada jumlah peristiwa dalam bucket, data pengukuran dalam laporan ringkasan akan lebih berisik dengan Pendekatan 2. Untuk setiap pengiklan, bereksperimenlah dengan berbagai kompromi terperinci dalam desain kunci untuk mendapatkan utilitas maksimum dalam hasilnya.

Keputusan: Struktur kunci

Coba di Noise Lab

Dalam mode Sederhana, struktur kunci default akan digunakan. Dalam mode Lanjutan, Anda dapat bereksperimen dengan berbagai struktur kunci. Beberapa contoh dimensi disertakan; Anda juga dapat mengubahnya.

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Strategi utama. Perhatikan bahwa strategi default, yang bernama A pada alat ini, menggunakan satu struktur kunci terperinci yang mencakup semua dimensi: Geografi x ID Kampanye x Kategori produk.
  3. Klik Simulasikan.
  4. Amati rasio derau dari simulasi yang dihasilkan.
  5. Ubah Strategi kunci menjadi B. Tindakan ini akan menampilkan kontrol tambahan agar Anda dapat mengonfigurasi struktur kunci.
  6. Konfigurasikan struktur kunci Anda, mis., sebagai berikut:
    1. Jumlah struktur kunci: 2
    2. Struktur kunci 1 = Geografi x Kategori produk.
    3. Struktur kunci 2 = ID Kampanye x Kategori produk.
  7. Klik Simulasikan.
  8. Perhatikan bahwa sekarang Anda mendapatkan dua laporan ringkasan per jenis sasaran pengukuran (dua untuk jumlah pembelian, dua untuk nilai pembelian), mengingat Anda menggunakan dua struktur utama yang berbeda. Amati rasio deraunya.
  9. Anda juga dapat mencobanya dengan dimensi kustom Anda sendiri. Untuk melakukannya, cari Data yang ingin Anda lacak: Dimensi. Pertimbangkan untuk menghapus dimensi contoh, dan membuat dimensi sendiri menggunakan tombol Tambahkan/Hapus/Reset di bawah dimensi terakhir.

Keputusan desain lain yang akan memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah struktur kunci yang Anda putuskan untuk digunakan. Pertimbangkan contoh kunci agregasi berikut:

  • Satu struktur utama dengan semua dimensi; sebut saja Strategi Kunci ini A.
  • Dua struktur utama, masing-masing dengan subset dimensi; sebut saja Strategi Kunci ini B.
{i>Diagram<i}:

Strategi A lebih sederhana—tetapi Anda mungkin perlu menggabungkan (menjumlahkan) nilai ringkasan berisi laporan ringkasan untuk mengakses insight tertentu. Dengan menjumlahkan nilai-nilai ini, Anda juga menjumlahkan noise tersebut. Dengan Strategi B, nilai ringkasan yang diekspos dalam laporan ringkasan mungkin sudah memberikan informasi yang Anda butuhkan. Artinya, Strategi B kemungkinan akan menghasilkan rasio sinyal terhadap derau yang lebih baik daripada Strategi A. Namun, derau ini mungkin sudah dapat diterima dengan Strategi A, sehingga Anda mungkin masih memutuskan untuk mendukung Strategi A agar lebih praktis. Pelajari lebih lanjut dalam contoh mendetail yang menguraikan kedua strategi ini.

Pengelolaan kunci adalah topik yang mendalam. Sejumlah teknik rumit dapat dipertimbangkan untuk meningkatkan rasio sinyal terhadap kebisingan. Salah satunya dijelaskan dalam Pengelolaan kunci lanjutan.

Keputusan: Frekuensi pengelompokan

Coba di Noise Lab

  1. Masuk ke mode Sederhana (atau mode Lanjutan — kedua mode berfungsi dengan cara yang sama terkait frekuensi pengelompokan)
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Frekuensi pengelompokan. Hal ini mengacu pada frekuensi pengelompokan laporan agregat yang diproses dengan layanan agregasi dalam satu tugas.
  3. Amati frekuensi pengelompokan default: secara default, frekuensi pengelompokan harian disimulasikan.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Ubah frekuensi pengelompokan menjadi mingguan.
  7. Amati rasio derau dari simulasi yang dihasilkan: rasio derau kini lebih rendah (lebih baik) daripada simulasi sebelumnya.

Keputusan desain lainnya yang akan memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah frekuensi pengelompokan yang Anda pilih untuk digunakan. Frekuensi pengelompokan adalah seberapa sering Anda memproses laporan agregat.

Laporan yang dijadwalkan untuk digabungkan lebih sering (misalnya setiap jam) akan memiliki lebih sedikit peristiwa konversi yang disertakan daripada laporan yang sama dengan jadwal agregasi yang lebih jarang (misalnya, setiap minggu). Akibatnya, laporan per jam akan menyertakan lebih banyak derau.``` memiliki lebih sedikit peristiwa konversi yang disertakan daripada laporan yang sama dengan jadwal agregasi yang lebih jarang (mis. setiap minggu). Akibatnya, laporan per jam akan memiliki rasio sinyal terhadap derau yang lebih rendah daripada laporan mingguan, yang semuanya setara. Lakukan eksperimen dengan persyaratan pelaporan di berbagai frekuensi, dan nilai rasio sinyal terhadap derau untuk setiap frekuensi.

Pelajari lebih lanjut di bagian Pengelompokan dan Menggabungkan dalam jangka waktu yang lebih lama.

Keputusan: Variabel kampanye yang memengaruhi konversi yang dapat diatribusikan

Coba di Noise Lab

Meskipun hal ini mungkin sulit diprediksi dan dapat memiliki variasi yang signifikan selain efek musiman, coba dan perkirakan jumlah konversi harian yang dapat diatribusikan dengan sekali sentuh ke pangkat terdekat 10: 10, 100, 1.000, atau 10.000.

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Amati parameter default. Secara default, TOTAL jumlah konversi harian yang dapat diatribusikan adalah 1.000. Rata-ratanya adalah sekitar 40 per bucket jika Anda menggunakan konfigurasi default (dimensi default, jumlah default kemungkinan nilai yang berbeda untuk setiap dimensi, Strategi utama A). Perhatikan bahwa nilainya adalah 40 dalam input Jumlah konversi rata-rata harian yang dapat diatribusikan PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Sekarang tetapkan TOTAL jumlah konversi harian yang dapat diatribusikan ke 100. Perhatikan bahwa ini akan menurunkan nilai Jumlah konversi rata-rata harian yang dapat diatribusikan PER BUCKET.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau kini lebih tinggi: hal ini karena jika Anda memiliki lebih sedikit konversi per bucket, lebih banyak derau yang diterapkan untuk menjaga privasi.

Perbedaan penting adalah jumlah total kemungkinan konversi untuk pengiklan, vs. jumlah total kemungkinan konversi yang diatribusikan. Yang terakhir adalah yang pada akhirnya memengaruhi derau dalam laporan ringkasan. Konversi yang diatribusikan adalah subkumpulan konversi total yang rentan terhadap variabel kampanye, seperti anggaran iklan dan penargetan iklan. Misalnya, Anda mengharapkan jumlah konversi yang diatribusikan lebih tinggi untuk kampanye iklan senilai $10 juta dibandingkan dengan kampanye iklan senilai $10 ribu, jika semua hal lainnya akan tetap sama.

Hal yang perlu diperhatikan:

  • Menilai konversi yang diatribusikan berdasarkan model atribusi perangkat yang sama dan sekali sentuh, karena hal ini berada dalam cakupan laporan ringkasan yang dikumpulkan dengan Attribution Reporting API.
  • Pertimbangkan jumlah skenario kasus terburuk dan jumlah skenario kasus terbaik untuk konversi yang diatribusikan. Misalnya, jika semua hal lainnya sama, pertimbangkan anggaran kampanye minimum dan maksimum yang memungkinkan untuk pengiklan, lalu project konversi yang dapat diatribusikan untuk kedua hasil tersebut sebagai input ke simulasi Anda.
  • Jika Anda mempertimbangkan untuk menggunakan Android Privacy Sandbox, pertimbangkan konversi yang diatribusikan lintas platform dalam penghitungan.

Keputusan: Menggunakan penskalaan

Coba di Noise Lab

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan. Opsi ini diatur ke Ya secara {i>default<i}.
  3. Untuk memahami efek positif penskalaan pada rasio derau, tetapkan Scaling ke No.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Tetapkan Scaling ke Yes. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan berdasarkan rentang (nilai rata-rata dan nilai maksimum) sasaran pengukuran untuk skenario Anda. Dalam penyiapan sistem atau uji coba origin yang sebenarnya, sebaiknya Anda mengimplementasikan penghitungan sendiri untuk faktor penskalaan.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau sekarang lebih rendah (lebih baik) dalam simulasi kedua ini. Hal ini karena Anda menggunakan penskalaan.

Dengan prinsip desain inti, derau yang ditambahkan adalah fungsi dari anggaran kontribusi.

Oleh karena itu, untuk meningkatkan rasio sinyal ke derau, Anda dapat memutuskan untuk mengubah nilai yang dikumpulkan selama peristiwa konversi dengan menskalakan nilai tersebut berdasarkan anggaran kontribusi (dan menghilangkan penskalaannya setelah agregasi). Gunakan penskalaan untuk meningkatkan rasio sinyal terhadap derau.

Keputusan: Jumlah sasaran pengukuran dan pemisahan anggaran privasi

Hal ini berkaitan dengan Penskalaan; pastikan Anda membaca bagian Menggunakan penskalaan.

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan di peristiwa konversi.

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Data yang ingin Anda lacak: Sasaran pengukuran. Secara default, Anda memiliki dua sasaran pengukuran: nilai pembelian dan jumlah pembelian.
  3. Klik Simulasikan untuk menjalankan simulasi dengan sasaran default.
  4. Klik Hapus. Tindakan ini akan menghapus sasaran pengukuran terakhir (jumlah pembelian dalam kasus tersebut).
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau untuk nilai pembelian sekarang lebih rendah (lebih baik) untuk simulasi kedua ini. Ini karena Anda memiliki lebih sedikit sasaran pengukuran, sehingga satu sasaran pengukuran Anda sekarang mendapatkan semua anggaran kontribusi.
  7. Klik Reset. Sekarang, Anda memiliki lagi dua sasaran pengukuran: nilai pembelian dan jumlah pembelian. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan berdasarkan rentang (nilai rata-rata dan nilai maksimum) sasaran pengukuran untuk skenario Anda. Secara default, Noise Lab membagi anggaran secara merata untuk seluruh sasaran pengukuran.
  8. Klik Simulasikan.
  9. Amati rasio derau dari simulasi yang dihasilkan. Perhatikan faktor penskalaan yang ditampilkan di simulasi.
  10. Sekarang, mari kita sesuaikan pemisahan anggaran privasi untuk mencapai rasio sinyal-ke-noise yang lebih baik.
  11. Sesuaikan % Anggaran yang ditetapkan untuk setiap sasaran pengukuran. Berdasarkan parameter default, Sasaran pengukuran 1, yaitu nilai pembelian, memiliki rentang yang jauh lebih luas (antara 0 dan 1.000) daripada sasaran Pengukuran 2, yaitu jumlah pembelian (antara 1 dan 1, yaitu selalu sama dengan 1). Oleh karena itu, diperlukan "lebih banyak ruang untuk diskalakan": sebaiknya tetapkan lebih banyak anggaran kontribusi ke sasaran Pengukuran 1 daripada sasaran Pengukuran 2 agar skalanya dapat ditingkatkan secara lebih efisien (lihat Penskalaan), dan karenanya
  12. Menetapkan 70% anggaran ke sasaran Pengukuran 1. Menetapkan 30% ke sasaran Pengukuran 2.
  13. Klik Simulasikan.
  14. Amati rasio derau dari simulasi yang dihasilkan. Untuk nilai pembelian, rasio derau kini jauh lebih rendah (lebih baik) daripada simulasi sebelumnya. Untuk jumlah pembelian, hampir tidak berubah.
  15. Terus sesuaikan pemisahan anggaran di seluruh metrik. Amati bagaimana hal ini memengaruhi noise.

Perhatikan bahwa Anda dapat menetapkan sasaran pengukuran kustom Anda sendiri dengan tombol Add/Remove/Reset.


Jika Anda mengukur satu titik data (sasaran pengukuran) pada peristiwa konversi, seperti jumlah konversi, titik data tersebut dapat memperoleh semua anggaran kontribusi (65536). Jika Anda menetapkan beberapa sasaran pengukuran pada peristiwa konversi, seperti jumlah konversi dan nilai pembelian, titik data tersebut harus berbagi anggaran kontribusi. Artinya, Anda memiliki lebih sedikit kelonggaran untuk meningkatkan skala nilai.

Oleh karena itu, makin banyak sasaran pengukuran yang Anda miliki, rasio sinyal terhadap derau cenderung menjadi (derau yang lebih tinggi).

Keputusan lain yang harus dibuat terkait sasaran pengukuran adalah pemisahan anggaran. Jika Anda membagi anggaran kontribusi secara merata di dua titik data, setiap titik data akan mendapatkan anggaran sebesar 65.536/2 = 32.768. Ini mungkin atau mungkin tidak optimal, bergantung pada nilai maksimum yang memungkinkan untuk setiap titik data. Misalnya, jika Anda mengukur jumlah pembelian yang memiliki nilai maksimum 1, dan nilai pembelian dengan minimal 1 dan maksimum 120, nilai pembelian akan diuntungkan karena memiliki "lebih banyak ruang" untuk ditingkatkan skalanya—yaitu, diberikan proporsi anggaran kontribusi yang lebih besar. Anda akan melihat apakah beberapa sasaran pengukuran harus diprioritaskan daripada sasaran pengukuran lainnya dalam kaitannya dengan dampak derau.

Keputusan: Pengelolaan {i>outlier<i}

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan di peristiwa konversi.

  1. Buka mode Lanjutan.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan.
  3. Pastikan Scaling ditetapkan ke Yes. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan, berdasarkan rentang (nilai rata-rata dan nilai maksimum) yang Anda berikan untuk sasaran pengukuran.
  4. Anggaplah pembelian terbesar yang pernah dilakukan adalah $2.000, tetapi sebagian besar pembelian terjadi dalam rentang $10-$120. Pertama-tama, mari kita lihat apa yang terjadi jika kita menggunakan pendekatan penskalaan literal (tidak direkomendasikan): masukkan $2.000 sebagai nilai maksimum untuk purchaseValue.
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau tinggi. Hal ini karena faktor penskalaan kami saat ini dihitung berdasarkan $2.000, padahal kenyataannya sebagian besar nilai pembelian akan jauh lebih rendah dari itu.
  7. Sekarang, mari kita gunakan pendekatan penskalaan yang lebih pragmatis. Ubah nilai pembelian maks. menjadi $120.
  8. Klik Simulasikan.
  9. Perhatikan bahwa rasio noise lebih rendah (lebih baik) dalam simulasi kedua ini.

Untuk menerapkan penskalaan, Anda biasanya akan menghitung faktor penskalaan berdasarkan nilai maksimum yang memungkinkan untuk peristiwa konversi tertentu (pelajari lebih lanjut dalam contoh ini).

Namun, hindari penggunaan nilai maksimum literal untuk menghitung faktor penskalaan tersebut, karena akan memperburuk rasio sinyal-ke-derau Anda. Sebagai gantinya, hapus {i>outlier <i}dan gunakan nilai maksimum yang pragmatis.

Pengelolaan {i>outlier<i} adalah topik yang mendalam. Sejumlah teknik rumit dapat dipertimbangkan untuk meningkatkan rasio sinyal terhadap kebisingan. Salah satunya dijelaskan dalam Pengelolaan pencilan lanjutan.

Langkah berikutnya

Setelah menilai berbagai strategi pengelolaan derau untuk kasus penggunaan, Anda siap untuk mulai bereksperimen dengan laporan ringkasan dengan mengumpulkan data pengukuran sebenarnya melalui uji coba origin. Tinjau panduan dan tips untuk Mencoba API.

Lampiran

Tur singkat Noise Lab

Noise Lab membantu Anda menilai dan membandingkan strategi pengelolaan derau dengan cepat. Gunakan untuk:

  • Pahami parameter utama yang dapat memengaruhi derau, dan efek yang ditimbulkannya.
  • Simulasikan efek derau pada data pengukuran output, berdasarkan keputusan desain yang berbeda. Sesuaikan parameter desain hingga Anda mencapai rasio sinyal terhadap derau yang sesuai untuk kasus penggunaan Anda.
  • Berikan masukan tentang kegunaan laporan ringkasan: nilai parameter epsilon dan noise manakah yang sesuai untuk Anda, manakah yang tidak? Di mana titik beloknya?

Anggap ini sebagai langkah persiapan. Noise Lab menghasilkan data pengukuran untuk menyimulasikan output laporan ringkasan berdasarkan input Anda. Penyimpanan ini tidak mempertahankan atau membagikan data apa pun.

Ada dua mode yang berbeda di Noise Lab:

  1. Mode sederhana: pahami dasar-dasar kontrol yang Anda miliki terhadap derau.
  2. Mode lanjutan: uji berbagai strategi pengelolaan derau dan menilai strategi mana yang menghasilkan rasio sinyal-ke-noise terbaik untuk kasus penggunaan Anda.

Klik tombol di menu atas untuk beralih antara dua mode (#1. pada screenshot di bawah).

Mode sederhana
  • Dengan mode Sederhana, Anda dapat mengontrol Parameter (terdapat di sisi kiri, atau #2. pada screenshot di bawah) seperti Epsilon, dan melihat pengaruhnya terhadap derau.
  • Setiap parameter memiliki tooltip (tombol `?`). Klik ikon tersebut untuk melihat penjelasan tentang setiap parameter (#3. pada screenshot di bawah)
  • Untuk memulai, klik tombol "Simulate" dan amati tampilan output-nya (#4. pada screenshot di bawah)
  • Di bagian Output, Anda dapat melihat berbagai detail. Beberapa elemen memiliki tanda `?` di sebelahnya. Luangkan waktu untuk mengklik setiap `?` untuk melihat penjelasan tentang berbagai informasi yang ada.
  • Di bagian Output, klik tombol Details jika Anda ingin melihat versi tabel yang diperluas (#5. pada screenshot di bawah)
  • Di bawah setiap tabel data di bagian output, ada opsi untuk mendownload tabel untuk penggunaan offline. Selain itu, di sudut kanan bawah, ada opsi untuk mendownload semua tabel data (#6. dalam screenshot di bawah)
  • Uji berbagai setelan untuk parameter di bagian Parameter, lalu klik Simulasikan untuk melihat dampaknya terhadap output:
    Kebisingan
    Antarmuka Lab Noise untuk mode Sederhana.
Mode lanjutan
  • Dalam mode Lanjutan, Anda memiliki kontrol lebih atas Parameter. Anda dapat menambahkan Sasaran dan Dimensi Pengukuran kustom (#1. dan #2. di screenshot di bawah)
  • Scroll lebih jauh ke bawah di bagian Parameter dan lihat opsi Strategi Utama. Hal ini dapat digunakan untuk menguji berbagai struktur kunci (#3. pada screenshot di bawah)
    • Untuk menguji berbagai Struktur Kunci, alihkan Strategi Kunci ke "B"
    • Masukkan jumlah struktur kunci yang berbeda yang ingin Anda gunakan (default-nya ditetapkan ke "2")
    • Klik Buat Struktur Kunci
    • Anda akan melihat opsi untuk menentukan struktur kunci dengan mengklik kotak centang di samping kunci yang ingin disertakan untuk setiap struktur kunci
    • Klik Simulasikan untuk melihat output.
      Mode lanjutan menawarkan kontrol untuk sasaran dan dimensi pengukuran yang dapat dilacak, yang ditandai di sidebar.
      Antarmuka Lab Suara untuk Mode lanjutan.
      Mode lanjutan juga merupakan opsi Strategi utama di bagian Parameter pada sidebar.
      Antarmuka Noise Lab untuk mode Lanjutan.

Metrik derau

Konsep inti

Derau ditambahkan untuk melindungi privasi setiap pengguna.

Nilai derau yang tinggi menunjukkan bahwa bucket/kunci jarang dan berisi kontribusi dari sejumlah peristiwa sensitif yang terbatas. Hal ini dilakukan secara otomatis oleh Noise Lab, untuk memungkinkan individu "bersembunyi di kerumunan", atau dengan kata lain, melindungi privasi individu yang terbatas ini dengan jumlah kebisingan tambahan yang lebih besar.

Nilai derau yang rendah menunjukkan bahwa penyiapan data dirancang sedemikian rupa sehingga sudah memungkinkan individu untuk "bersembunyi di antara kerumunan". Artinya, bucket berisi kontribusi dari sejumlah peristiwa yang memadai untuk memastikan bahwa privasi pengguna individu terlindungi.

Pernyataan ini berlaku untuk error persentase rata-rata (APE) dan RMSRE_T (error relatif root rata-rata kuadrat dengan ambang batas).

APE (persentase error rata-rata)

APE adalah rasio derau terhadap sinyal, yaitu nilai ringkasan yang sebenarnya.p> Nilai APE yang lebih rendah berarti rasio sinyal-ke-derau yang lebih baik.

Formula

Untuk laporan ringkasan tertentu, APE dihitung sebagai berikut:

Persamaan untuk APE. Nilai absolut wajib diisi, karena derau dapat bernilai negatif.

Benar adalah nilai ringkasan sebenarnya. APE adalah rata-rata derau pada setiap nilai ringkasan benar, yang dirata-ratakan dari semua entri dalam laporan ringkasan. Di Noise Lab, nilai ini kemudian dikalikan dengan 100 untuk menghasilkan persentase.

Pro dan Kontra

Bucket dengan ukuran yang lebih kecil memiliki dampak yang tidak proporsional terhadap nilai akhir APE. Hal ini bisa menyesatkan saat menilai derau. Inilah sebabnya kami menambahkan metrik lain, RMSRE_T, yang dirancang untuk mengurangi batasan APE ini. Tinjau contoh untuk mengetahui detailnya.

Code

Tinjau kode sumber untuk penghitungan APE.

RMSRE_T (kesalahan relatif root-mean-kuadrat dengan ambang batas)

RMSRE_T (kesalahan relatif root-mean-square dengan ambang batas) adalah ukuran lain untuk kebisingan.

Cara menafsirkan RMSRE_T

Nilai RMSRE_T yang lebih rendah berarti rasio sinyal-ke-noise yang lebih baik.
Misalnya, jika rasio derau yang dapat diterima untuk kasus penggunaan Anda adalah 20%, dan RMSRE_T adalah 0,2, Anda dapat meyakini bahwa tingkat derau akan berada dalam rentang yang dapat diterima.

Formula

Untuk laporan ringkasan tertentu, RMSRE_T dihitung sebagai berikut:

Formula
Persamaan untuk RMSRE_T. Nilai absolut wajib diisi, karena derau dapat bernilai negatif.
Kelebihan dan kekurangan

RMSRE_T sedikit lebih rumit untuk dipahami daripada APE. Namun, APE memiliki beberapa keuntungan yang membuatnya dalam beberapa kasus lebih cocok dibandingkan APE untuk menganalisis derau dalam laporan ringkasan:

  • RMSRE_T lebih stabil. "T" adalah ambang batas. "T" digunakan untuk memberikan bobot yang lebih sedikit dalam perhitungan RMSRE_T ke bucket yang memiliki lebih sedikit konversi dan karenanya lebih sensitif terhadap derau karena ukurannya yang kecil. Dengan T, metrik tidak akan melonjak pada kelompok yang memiliki sedikit konversi. Jika T sama dengan 5, nilai derau sekecil 1 pada bucket dengan 0 konversi tidak akan ditampilkan sebagai lebih dari 1. Sebaliknya, itu akan dibatasi pada 0,2, yang setara dengan 1/5, karena T sama dengan 5. Dengan memberikan bobot yang lebih kecil ke bucket yang lebih kecil, yang lebih sensitif terhadap derau, metrik ini lebih stabil, sehingga memudahkan untuk membandingkan dua simulasi.
  • RMSRE_T memungkinkan agregasi yang mudah. Mengetahui RMSRE_T dari beberapa bucket, beserta jumlah sebenarnya, memungkinkan Anda menghitung RMSRE_T jumlahnya. Ini juga memungkinkan Anda mengoptimalkan RMSRE_T untuk nilai gabungan ini.

Meskipun penggabungan dapat dilakukan untuk APE, formulanya cukup rumit karena melibatkan nilai absolut jumlah derau Laplace. Hal ini membuat APE lebih sulit dioptimalkan.

Code

Tinjau kode sumber untuk penghitungan RMSRE_T.

Contoh

Laporan ringkasan dengan tiga bucket:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Laporan ringkasan dengan tiga bucket:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Laporan ringkasan dengan tiga bucket:

  • bucket_1 = derau: 10, trueSummaryValue: 100
  • bucket_2 = derau: 20, trueSummaryValue: 100
  • bucket_3 = derau: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Infinity) / 3 = Tak terhingga

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Pengelolaan kunci lanjutan

DSP atau perusahaan pengukuran iklan mungkin memiliki ribuan pelanggan iklan global, yang mencakup berbagai industri, mata uang, dan potensi harga pembelian. Artinya, membuat dan mengelola satu kunci agregasi per pengiklan kemungkinan akan sangat tidak praktis. Selain itu, akan sulit memilih nilai gabungan maksimum dan anggaran agregasi yang dapat membatasi dampak derau di ribuan pengiklan global ini. Sebagai gantinya, mari kita pertimbangkan skenario berikut:

Strategi Kunci A

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola satu kunci di semua pelanggan iklannya. Di semua pengiklan dan semua mata uang, rentang pembelian bervariasi mulai dari pembelian bervolume rendah, pembelian kelas atas hingga pembelian volume tinggi dan kelas bawah. Hal ini menghasilkan kunci berikut:

Kunci (beberapa mata uang)
Nilai agregat maksimum 5.000.000
Rentang nilai pembelian [120 - 5000000]
Strategi Kunci B

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola dua kunci di semua pelanggan iklannya. Mereka memutuskan untuk memisahkan kunci berdasarkan mata uang. Untuk semua pengiklan dan semua mata uang, rentang pembelian bervariasi mulai dari pembelian dalam jumlah rendah, pembelian kelas atas hingga pembelian kelas bawah dengan volume tinggi. Dengan memisahkan berdasarkan mata uang, mereka membuat 2 kunci:

Kunci 1 (USD) Kunci 2 (¥)
Nilai agregat maksimum $40.000 ¥5.000.000
Rentang nilai pembelian [120 - 40.000] [15.000 - 5.000.000]

Strategi Kunci B akan memiliki lebih sedikit derau dalam hasilnya dibandingkan Strategi Kunci A, karena nilai mata uang tidak didistribusikan secara seragam di seluruh mata uang. Misalnya, pertimbangkan bagaimana pembelian yang didenominasi dalam ¥ yang digabungkan dengan pembelian dalam USD akan mengubah data pokok dan menghasilkan output derau.

Strategi Kunci C

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola empat kunci di semua pelanggan iklannya, dan untuk memisahkannya menurut Mata Uang x Industri pengiklan:

Kunci 1
(USD x Pengiklan perhiasan kelas atas)
Kunci 2
(¥ x Pengiklan perhiasan kelas atas)
Kunci 3
(USD x Pengiklan retailer pakaian)
Kunci 4
(¥ x Pengiklan retailer pakaian)
Nilai agregat maksimum $40.000 ¥5.000.000 Rp7.000.000 ¥65.000
Rentang nilai pembelian [10.000 - 40.000] [1.250.000 - 5.000.000] [120 - 500] [15.000 - 65.000]

Strategi Kunci C akan memiliki lebih sedikit derau dalam hasilnya dibandingkan Strategi Kunci B, karena nilai pembelian pengiklan tidak didistribusikan secara seragam di seluruh pengiklan. Misalnya, pertimbangkan bahwa pembelian perhiasan kelas atas yang digabungkan dengan pembelian topi bisbol akan mengubah data pokok dan menghasilkan output berisik.

Pertimbangkan untuk membuat nilai agregat maksimum bersama dan faktor penskalaan bersama untuk kesamaan di beberapa pengiklan guna mengurangi derau dalam output. Misalnya, Anda dapat bereksperimen dengan berbagai strategi di bawah untuk pengiklan Anda:

  • Satu strategi dipisahkan berdasarkan mata uang (USD, ¥, CAD, dll.)
  • Satu strategi yang dipisahkan berdasarkan industri pengiklan (Asuransi, Otomotif, Retail, dll.)
  • Satu strategi dipisahkan oleh rentang nilai pembelian yang serupa ([100], [1000], [10000], dll.)

Dengan membuat strategi utama seputar kesamaan pengiklan, kunci dan kode yang sesuai lebih mudah dikelola, dan rasio sinyal terhadap derau menjadi lebih tinggi. Bereksperimenlah dengan berbagai strategi dengan berbagai kesamaan pengiklan untuk menemukan titik belok dalam memaksimalkan dampak derau vs pengelolaan kode.


Pengelolaan pencilan lanjutan

Mari kita lihat skenario pada dua pengiklan:

  • Pengiklan A:
    • Di semua produk di situs Pengiklan A, kemungkinan harga pembeliannya berkisar antara [$120 - $1.000] , untuk kisaran $880.
    • Harga pembelian didistribusikan secara merata di seluruh rentang $880 tanpa outlier di luar dua deviasi standar dari harga pembelian median.
  • Pengiklan B:
    • Di semua produk di situs Pengiklan B, kemungkinan harga pembeliannya berkisar antara [$120 - $1.000] , untuk kisaran $880.
    • Harga pembelian sangat condong ke rentang $120 - $500, dengan hanya 5% pembelian yang terjadi dalam rentang $500 - $1.000.

Mengingat persyaratan anggaran kontribusi dan metodologi yang [derau diterapkan](/privacy-sandbox/relevance/attribution-reporting/understanding-noise/#how-noise-is-applied) di hasil akhir, Pengiklan B, secara default, akan memiliki output yang lebih berisik daripada Pengiklan A, karena Pengiklan B memiliki potensi pencilan yang lebih tinggi untuk memengaruhi penghitungan yang mendasarinya.

Hal ini dapat dilakukan dengan penyiapan kunci tertentu. Uji strategi utama yang membantu mengelola data pencilan, dan mendistribusikan nilai pembelian secara lebih merata di seluruh rentang pembelian kunci.

Untuk Pengiklan B, Anda dapat membuat dua kunci terpisah untuk mendapatkan dua rentang nilai pembelian yang berbeda. Dalam contoh ini, teknologi iklan mendapati bahwa pencilan muncul di atas nilai pembelian $500. Coba terapkan dua kunci terpisah untuk pengiklan ini:

  • Struktur Kunci 1 : Kunci yang hanya mencatat pembelian antara rentang $120 - $500 (mencakup ~95% dari total volume pembelian).
  • Struktur Kunci 2: Kunci yang hanya mencatat pembelian di atas $500 (mencakup ~5% dari total volume pembelian).

Menerapkan strategi utama ini akan mengelola derau untuk Pengiklan B dengan lebih baik dan membantu memaksimalkan utilitas untuk strategi tersebut dari laporan ringkasan. Dengan mempertimbangkan rentang baru yang lebih kecil, Kunci A dan Kunci B kini seharusnya memiliki distribusi data yang lebih seragam di setiap kunci masing-masing untuk kunci tunggal sebelumnya. Tindakan ini akan mengurangi dampak derau di setiap output tombol untuk tombol tunggal sebelumnya.