Google Cloud Search SDK mencakup parameter konfigurasi yang disediakan Google untuk semua konektor. Menyesuaikan setelan ini dapat menyederhanakan pengindeksan data. Panduan ini mencantumkan masalah pengindeksan umum dan setelan untuk mengatasinya.
Throughput pengindeksan rendah untuk FullTraversalConnector
Tabel berikut mencantumkan setelan untuk meningkatkan throughput untuk
FullTraversalConnector:
| Setelan | Deskripsi | Default | Perubahan yang Disarankan |
|---|---|---|---|
traverse.partitionSize |
Jumlah item ApiOperation() yang diproses dalam batch. SDK menunggu partisi selesai sebelum mengambil lebih banyak. |
50 | Tingkatkan menjadi 1000 atau lebih jika Anda memiliki memori yang cukup. |
batch.batchSize |
Jumlah permintaan yang di-batch bersama. | 10 | Coba kurangi ukuran batch. |
batch.maxActiveBatches |
Batch serentak yang diizinkan. | 20 | Jika Anda menurunkan batchSize, tingkatkan menggunakan: (partitionSize / batchSize) + 50. |
traverse.threadPoolSize |
Jumlah thread untuk pemrosesan paralel. | 50 | Tingkatkan jumlah ini dengan kelipatan 10. |
Pertimbangkan untuk menggunakan setRequestMode() untuk beralih antara mode permintaan API ASYNCHRONOUS dan
SYNCHRONOUS.
Throughput pengindeksan rendah untuk ListTraversalConnector
ListTraversalConnector menggunakan satu penelusur secara default. Untuk meningkatkan
throughput, buat beberapa penelusur untuk status item tertentu (misalnya,
NEW_ITEM, MODIFIED).
| Setelan | Deskripsi | Default | Ubah |
|---|---|---|---|
repository.traversers | Membuat traverser individual
dengan nama unik (misalnya, t1, t2). | One traverser | Tambahkan lebih banyak penelusur. |
traversers.t1.hostload | Jumlah thread untuk mengindeks item secara bersamaan. | 5 | Coba nilai 10 atau lebih besar. |
schedule.pollQueueIntervalSecs | Detik untuk menunggu sebelum melakukan polling ulang antrean kosong. | 10 | Coba turunkan ke 1. |
traverser.t1.pollRequest.statuses | Status
untuk diindeks (misalnya, NEW_ITEM). | Semua | Gunakan pengelompok yang berbeda untuk status yang berbeda. |
Waktu tunggu atau gangguan SDK
Jika Anda mengalami waktu tunggu habis saat mengupload file besar, tingkatkan waktu tunggu
menggunakan traverser.timeout=seconds
(defaultnya adalah 60 detik). Anda juga dapat meningkatkan waktu tunggu permintaan API:
| Parameter | Deskripsi | Default |
|---|---|---|
indexingService.connectTimeoutSeconds |
Waktu tunggu koneksi habis untuk permintaan API. | 120 dtk |
indexingService.readTimeoutSeconds |
Waktu tunggu baca untuk permintaan API. | 120 dtk |