5 Haziran 2023, Pazartesi
Search Console'un toplu veri dışa aktarma özelliği, web sitenizin arama performansı verilerini BigQuery'ye taşıyarak güçlü depolama, analiz ve raporlama imkanı sunar. Örneğin, verileri dışa aktardıktan sonra sorgu ve URL kümesi oluşturabilir, genişlemeli arama sorgularında analizler çalıştırabilir ve aramayı diğer veri kaynaklarıyla birleştirebilirsiniz. Verileri ihtiyacınız olduğu sürece saklamayı da seçebilirsiniz.
Toplu veri dışa aktarma işlemlerini kullanırken veri işleme ve depolama maliyetlerini yönetme konusunda bilinçli kararlar vermek önemlidir. Verileri dışa aktarmak için Search Console ile ilişkili herhangi bir maliyet olmasa da BigQuery fiyatlandırması konusunu okuyarak ne için faturalandırılacağınızı anlayabilirsiniz. Bu yayında, yüksek maliyetler ödemeden yeni verilerden yararlanmanıza yardımcı olacak ipuçlarını açıklayacağız.
Henüz toplu veri dışa aktarma işlemi oluşturmadıysanız Search Console yardım merkezindeki adım adım açıklamalı kılavuzu inceleyin. Dışa aktarma yoluyla kullanılabilen verilere genel bir bakış için buraya yerleştirilmiş videoya göz atın.
Faturalandırma uyarıları ve kısıtlamalar oluşturma
Maliyetlerinizi düşünürken ne kadar harcama yapmak istediğinizi göz önüne alabilirsiniz. Bu sorunun yanıtı; depolama, analiz ve izleme seçeneklerine göre farklılık gösterebilir. Örneğin, tüm verilerinizi depoladığınızdan emin olmak için belirli bir tutar ödemek ancak raporlama platformu oluşturmak için daha az ödeme yapmak isteyebilirsiniz. Bunu düşünürken Arama verilerine yatırım yapmak için aylık bir bütçe belirleyebilirsiniz.
Bütçe tutarını belirledikten sonra faturanızda sürprizlerle karşılaşmamak için Google Cloud bütçe uyarısı oluşturabilirsiniz. Bütçe tutarınıza yaklaştığınızda e-posta bildirimlerini tetikleyen eşik kuralları da belirleyebilirsiniz.
Koruma düzeyini artırmak istiyorsanız bir sorgu için faturalandırılan bayt sayısını da kısıtlayabilirsiniz. Bunu yaparsanız sorgunun okuyacağı bayt sayısı, sorgu yürütülmeden önce tahmin edilir. Tahmini bayt sayısı sınırın üstündeyse sorgu, ücret alınmadan başarısız olur.
Doğrudan ham verilere dayalı kontrol panelleri oluşturmayın
BigQuery hızlı olduğu için kontrol panelinizi doğrudan Search Console'dan aktarılan tablolara bağlamak cazip gelebilir. Ancak büyük siteler söz konusu olduğunda bu veri kümesi çok büyüktür (özellikle üzerinden zaman geçmiş sorgularda). Her görünümde özet bilgilerini yeniden hesaplayan ve bunları şirketiniz içinde paylaşan bir kontrol paneli oluşturduğunuzda hızlı bir şekilde yüksek sorgu maliyetleri ortaya çıkar.
Bu maliyetleri önlemek için her günlük düşüşe ait verileri önceden toplayıp bir veya daha fazla özet tablosu oluşturmayı göz önünde bulundurabilirsiniz. Kontrol paneliniz böylece çok daha küçük bir zaman serisi tablosunu sorgulayarak işleme maliyetlerini azaltabilir.
BigQuery'deki sorgu planlama işlevine göz atın veya daha otomatik bir çözüm arıyorsanız BI Engine'i kullanın.
Veri depolama maliyetlerini optimize etme
Toplu veri dışa aktarma işlemi başlattığınızda veriler varsayılan olarak daima BigQuery veri kümenizde saklanır. Bununla birlikte, varsayılan bölüm geçerlilik sürelerini güncelleyebilirsiniz. Böylece, tarih bölümleri bir yıl, 16 ay veya seçtiğiniz süreden sonra otomatik olarak silinir.
Dışa aktarılan veriler sizin için değerli olabilir, ancak bunların boyutu çok büyük olabilir. İşletme bilgilerinizi kullanın ve derinlemesine analizler için verileri yeterince uzun bir süre saklamaya devam edin. Ancak bu süre, verileri sizin için bir yük haline getirmemelidir. Seçeneklerden biri, eski tabloların örnek sürümünü ve daha yakın tarihli tüm tabloları saklamaktır.
SQL sorgularınızı optimize etme
Search Console verilerinizi sorgularken sorgularınızın performans için optimize edildiğinden emin olmanız gerekir. BigQuery'yi kullanmaya yeni başladıysanız yardım merkezindeki yönergeleri ve örnek sorguları inceleyin. Deneyebileceğiniz üç teknik vardır.
1. Giriş taramasını sınırlama
Öncelikle, verileri sorgulamanın en pahalı yolu
olduğu için SELECT * kullanmaktan kaçının. BigQuery, tablodaki her sütunu tamamen tarar.
LIMIT ifadesinin uygulanması, okunan veri miktarını etkilemez.
Dışa aktarılan tablolar tarihe göre bölümlendirildiği için özellikle verileri test ederken ve verilerle denemeler yaparken
giriş taramasını yalnızca ilgilendiğiniz günlerle sınırlandırabilirsiniz. Tarihe göre bölümlendirilmiş tablodaki tarih aralığını
sınırlandırmak için bir WHERE ifadesi kullanın. Böylece, sorgu maliyetinde önemli tasarruflar yapabilirsiniz. Örneğin, aşağıdaki ifadeyi
kullanarak yalnızca son 14 güne bakabilirsiniz:
WHERE data_date between DATE_SUB(CURRENT_DATE(), INTERVAL 14 day)
Yaptığınız her sorguda, bilinen filtreleri en kısa sürede uygulayarak giriş taramasını azaltmaya çalışırsınız. Örneğin, sorguları analiz ederken muhtemelen anonimleştirilmiş sorgular satırlarını filtrelemek isteyeceksiniz. Anonimleştirilmiş bir sorgu, tabloda sıfır uzunlukta bir dize olarak raporlanır. Bunun için şu ifadeyi ekleyebilirsiniz:
WHERE query != ''
2. Verileri örnekleme
BigQuery, büyük BigQuery tablolarındaki rastgele veri alt kümelerini sorgulamanıza olanak tanıyan bir tablo örnekleme özelliği sunar. Örnekleme, çeşitli kayıtları döndürürken bir tablonun tamamının taranması ve işlenmesiyle ilişkili maliyetleri önler. Özellikle de sorgu geliştirirken veya kesin sonuçlara ihtiyaç duyulmadığında faydalı olur.
3. Kesin sonuçların gerekli olmadığı durumlarda yaklaşık işlevleri kullanma
BigQuery, tahmini sonuçlar sağlayan ve hesaplanması eşdeğerlerinden çok daha ucuz olan çeşitli yaklaşık toplama işlevlerini destekler. Örneğin, bir koşula göre gösterimlere dayalı en iyi URL'leri arıyorsanız şunu kullanabilirsiniz:
SELECT APPROX_TOP_SUM(url, impressions, 10) WHERE datadate=...;
Bunu şu ifadenin yerine kullanırsınız:
SELECT url, SUM(impressions) WHERE datadate=... GROUP BY url ORDER BY 2 DESC LIMIT 10;
Kaynaklar
Bunlar, maliyetlerinizi yönetmeye başlamak için kullanabileceğiniz ipuçlarından sadece birkaç tanesidir. Daha fazla bilgi edinmek için BigQuery'de maliyet optimizasyonuyla ilgili en iyi uygulamalar konusuna göz atabilirsiniz.
Her zaman olduğu gibi, sorularınız veya aklınıza takılanlar olursa lütfen Google Arama Merkezi Topluluğu veya Twitter üzerinden bize ulaşın.