نصائح بشأن استخدام BigQuery بكفاءة لعمليات تصدير البيانات المجمّعة في Search Console

الاثنين 5 حزيران (يونيو) 2023

تقدّم عملية تصدير البيانات المجمّعة في Search Console طريقة فعّالة لنقل بيانات أداء البحث الخاصة بموقعك الإلكتروني إلى BigQuery، وذلك بهدف زيادة سعة التخزين وتعزيز إمكانات التحليل وإعداد التقارير. على سبيل المثال، يمكنك بعد تصدير البيانات تجميع طلبات البحث مع عناوين URL وإجراء تحليلات على طلبات البحث الأقل تكرارًا أو استخدامًا ودمج البحث مع مصادر البيانات الأخرى. يمكنك أيضًا اختيار الاحتفاظ بالبيانات طيلة مدة احتياجك إليها.

أثناء استخدام عمليات تصدير البيانات المجمّعة، من المهم اتخاذ قرارات مدروسة عند إدارة تكاليف معالجة البيانات وسعة التخزين. ولا تفرض خدمة Search Console تكاليف على عمليات تصدير البيانات، ولكن عليك مراجعة أسعار BigQuery كي تفهم المبالغ التي سيُطلب منك دفعها. في هذه المشاركة، سنقدّم بعض النصائح لمساعدتك في الاستفادة من البيانات الجديدة بدون تحمُّل تكلفة كبيرة.

إذا لم يسبق لك إعداد عملية تصدير للبيانات المجمّعة، راجِع الدليل المفصّل في مركز المساعدة لخدمة Search Console. للحصول على نظرة عامة على البيانات المتاحة من خلال عملية التصدير، شاهد الفيديو المضمّن هنا.

إنشاء تنبيهات وقيود خاصة بالفوترة

عند دراسة التكاليف، من المفيد أن تفكر جيدًا في المبلغ الذي أنت مستعدّ لإنفاقه. ويعتمد تحديد قيمة هذا المبلغ إلى حد كبير على تكاليف كل من التخزين والتحليل والرصد. على سبيل المثال، قد تكون مستعدًا لإنفاق مبلغ محدد بهدف التأكد من تخزين كل بياناتك، ولكن المبلغ الذي ستخصصه لإنشاء منصة إعداد التقارير قد يكون أقل. في هذا الإطار، ننصحك بتخصيص ميزانية شهرية لاستثمارها في بيانات "بحث Google".

بعد تحديد قيمة الميزانية، يمكنك إنشاء تنبيه بشأن الميزانية في Google Cloud لتجنُّب تلقّي فواتير بمبالغ مفاجئة. يمكنك أيضًا إعداد قواعد خاصة بالحدّ المسموح لتلقّي إشعارات عبر البريد الإلكتروني عندما تشارف ميزانيتك على النفاد.

لقطة شاشة في Cloud Console تعرض كيفية إنشاء تنبيه بشأن الميزانية

للحصول على حماية إضافية، يمكنك أيضًا فرض قيود على عدد وحدات بايت التي ستتم فوترتها لطلب معيّن. في تلك الحالة، سيتم تقدير عدد وحدات بايت التي سيقرأها الطلب وذلك قبل تنفيذه. إذا كان عدد وحدات بايت المقدّر يتجاوز الحدّ المسموح، سيتعذّر تنفيذ الطلب ولن يتم تحميلك أي رسوم.

عدم إنشاء لوحات البيانات مباشرةً استنادًا إلى بيانات أولية

إنّ أداة BigQuery سريعة، وبالتالي قد يحفّزك ذلك على ربط لوحة بياناتك مباشرةً بالجداول التي تم تصديرها من Search Console. بالنسبة إلى المواقع الإلكترونية الكبيرة، تكون مجموعة البيانات هذه كبيرة جدًا (لا سيما مع الطلبات التي تغطي فترات زمنية طويلة). إذا أنشأت لوحة بيانات تعيد حساب بيانات الملخص مع كل عملية عرض وتشارك هذه البيانات ضمن مؤسستك، سيؤدي ذلك إلى ارتفاع كبير وسريع في تكاليف الطلبات.

لتفادي هذه التكاليف، ننصحك بإجراء تجميع مسبق للبيانات من كل عملية تصدير يومية وإنشاء جدول ملخّص واحد أو أكثر. يمكن عندها للوحة البيانات إرسال الطلبات إلى جدول بيانات يغطي سلسلة زمنية أصغر بكثير، ما يؤدي إلى خفض تكاليف المعالجة.

راجِع وظيفة جدولة الطلبات في BigQuery، وإذا كنت تريد حلاً مبرمَجًا، ننصحك باستخدام BI Engine.

تحسين تكلفة تخزين البيانات

عندما تبدأ عملية تصدير بيانات مجمّعة، يتم تلقائيًا حفظ البيانات إلى أجل غير مسمى في مجموعة بياناتك في BigQuery. مع ذلك، يمكنك تعديل أوقات انتهاء الصلاحية التلقائية للأقسام ليتم حذف الأقسام الخاصة بكل تاريخ تلقائيًا بعد مرور عام أو 16 شهرًا أو أي مدة من اختيارك.

قد تكون البيانات التي يتم تصديرها مهمة بالنسبة إليك، ولكنّ حجمها قد يكون كبيرًا جدًا. استخدِم معلوماتك التجارية للاحتفاظ بالبيانات لمدة تتيح لك إجراء تحليلات معمّقة، ولكن احرص على حذفها قبل أن تصبح عبئًا عليك. أحد الخيارات المتاحة هو الاحتفاظ بنسخة تتضمن عينات من الجداول القديمة مع الاحتفاظ بكامل الجداول التي تم إنشاؤها منذ مدة قصيرة.

تحسين طلبات لغة الاستعلامات البنيوية (SQL)

أثناء إرسال طلبات بشأن بياناتك في Search Console، احرص على أن تكون الطلبات محسّنة من ناحية الأداء. إذا كنت مبتدئًا في استخدام BigQuery، راجِع النماذج والإرشادات المتعلقة بطلبات البحث في مركز المساعدة. ننصحك بتجربة ثلاثة أساليب.

1. حصر عمليات فحص الإدخالات

بدايةً، تجنَّب استخدام SELECT * لأنّ هذه الطريقة هي الأكثر تكلفة لطلب البيانات إذ تُجري أداة BigQuery عملية فحص كاملة لكل عمود في الجدول. ولا يؤثر تطبيق بند LIMIT في مقدار البيانات التي تتم قراءتها.

بما أنّ الجداول التي يتم تصديرها تكون مقسّمة حسب التاريخ، يمكنك حصر عملية فحص الإدخالات بالأيام التي تهمك فقط، لا سيما إذا هدفك هو إجراء التجارب والاختبارات على البيانات. استخدِم بند WHERE لحصر النطاق الزمني في الجدول المقسّم حسب التاريخ لأنّ ذلك سيؤدي إلى خفض تكلفة الطلبات بشكل ملحوظ. على سبيل المثال، يمكنك الاطّلاع على بيانات آخر 14 يومًا فقط باستخدام البند التالي:

WHERE data_date between DATE_SUB(CURRENT_DATE(), INTERVAL 14 day)

بالنسبة إلى كل طلب ترسله، ننصحك بإضافة أي فلاتر ترغب في استخدامها في أقرب وقت ممكن بهدف التقليل من عدد عمليات فحص الإدخالات. على سبيل المثال، إذا كنت تحلل طلبات البحث، ننصحك بفلترتها لإزالة الصفوف التي تتضمّن طلبات البحث المجهولة المصدر. تتم الإشارة إلى طلب بحث مجهول المصدر كسلسلة ذات طول صفري في الجدول. لإجراء ذلك، يمكنك إضافة ما يلي:

WHERE query != ''

2- أخذ عينات من البيانات

توفّر أداة BigQuery إمكانية أخذ عينات من الجداول، ما يتيح لك طلب مجموعات بيانات فرعية وعشوائية من جداول كبيرة في BigQuery. إذا تم أخذ عينات من البيانات، يؤدي ذلك إلى عرض سجلات متنوعة مع تفادي التكاليف المرتبطة بفحص ومعالجة جدول كامل، وهذه العملية مفيدة تحديدًا أثناء تطوير الطلبات أو عندما لا يكون من الضروري الحصول على النتائج الدقيقة.

3. استخدام الوظائف التقريبية عندما لا يهمك الحصول على النتائج الدقيقة

تتيح أداة BigQuery عددًا من الوظائف المخصصة لتجميع البيانات بشكل تقريبي والتي توفر نتائج تقريبية وبتكلفة أقل بقليل من مثيلاتها التي تقدم النتائج الدقيقة. على سبيل المثال، إذا كنت تبحث عن أهم عناوين URL حسب مرات الظهور وفقًا لشرط ما، يمكنك استخدام

SELECT APPROX_TOP_SUM(url, impressions, 10) WHERE datadate=...;

بدلاً من

SELECT url, SUM(impressions) WHERE datadate=... GROUP BY url ORDER BY 2 DESC LIMIT 10;

الموارد

هذه بعض النصائح التي يمكنك الاستفادة منها للبدء بإدارة تكاليفك، وللتعرّف على مزيد من المعلومات، راجِع أفضل الإرشادات المتعلقة بتحسين التكلفة في BigQuery.

كالعادة، إذا كانت لديك أي أسئلة أو استفسارات، يُرجى التواصل معنا في منتدى "مجموعة خدمات بحث Google" أو عبر Twitter.