Logging e monitoraggio lavorano in tandem per aiutarti a comprendere e ottimizzare le prestazioni delle applicazioni, nonché a diagnosticare errori e problemi relativi al sistema. Devi attivare i log di riepilogo per tutte le chiamate API e i log dettagliati per le chiamate API non riuscite, in modo da poter fornire i log delle chiamate API quando hai bisogno di assistenza tecnica.
Logging della libreria client
Le librerie client dell'API Google Ads sono dotate di logging integrato. Per i dettagli di logging specifici della piattaforma, consulta la documentazione di logging nella libreria client che preferisci.
Formato log
Le librerie client dell'API Google Ads generano un log dettagliato e un log di riepilogo per ogni chiamata API. Il log dettagliato contiene tutti i dettagli della chiamata API, mentre il log di riepilogo contiene dettagli minimi della chiamata API. Viene mostrato un esempio di ogni tipo di log, con i log troncati e formattati per motivi di leggibilità.
Log di riepilogo
GoogleAds.SummaryRequestLogs Warning: 1 : [2023-09-15 19:58:39Z] -
Request made: Host: ,
Method: /google.ads.googleads.v26.services.GoogleAdsService/SearchStream,
ClientCustomerID: 5951878031, RequestID: hELhBPNlEDd8mWYcZu7b8g,
IsFault: True, FaultMessage: Status(StatusCode="InvalidArgument",
Detail="Request contains an invalid argument.")
Log dettagliato
GoogleAds.DetailedRequestLogs Verbose: 1 : [2023-11-02 21:09:36Z] -
---------------BEGIN API CALL---------------
Request
-------
Method Name: /google.ads.googleads.v26.services.GoogleAdsService/SearchStream
Host:
Headers: {
"x-goog-api-client": "gl-dotnet/5.0.0 gapic/17.0.1 gax/4.2.0 grpc/2.46.3",
"login-customer-id": "1234567890",
"x-goog-request-params": "customer_id=4567890123"
}
{
"customerId": "4567890123",
"query": "SELECT ad_group_criterion.type FROM ad_group_criterion WHERE ad_group.status IN (ENABLED, PAUSED) AND campaign.status IN (ENABLED, PAUSED)",
"summaryRowSetting": "NO_SUMMARY_ROW"
}
Response
--------
Headers: {
"date": "Thu, 02 Nov 2023 21:09:35 GMT",
"alt-svc": "h3-29=\":443\"; ma=2592000"
}
{
"results": [
{
"adGroupCriterion": {
"resourceName": "customers/4567890123/adGroupCriteria/456789456789~123456123467",
"type": "KEYWORD"
}
},
{
"adGroupCriterion": {
"resourceName": "customers/4567890123/adGroupCriteria/456789456789~56789056788",
"type": "KEYWORD"
}
}
],
"fieldMask": "adGroupCriterion.type",
"requestId": "VsJ4F00ew6s9heHvAJ-abw"
}
----------------END API CALL----------------
Cosa succede se non utilizzo una libreria client?
Se non utilizzi una libreria client, implementa il tuo logging per acquisire i dettagli delle chiamate API in uscita e in entrata. Devi registrare almeno il valore dell'intestazione della risposta request-id, che può essere condiviso con i team di assistenza tecnica, se necessario.
Logging nel cloud
Esistono molti strumenti che puoi utilizzare per acquisire log e metriche sul rendimento per la tua applicazione. Ad esempio, puoi utilizzare Google Cloud Logging per registrare le metriche sul rendimento nel tuo progetto Google Cloud. In questo modo è possibile configurare dashboard e avvisi in Google Cloud Monitoring per utilizzare le metriche basate sui log.
Cloud Logging offre librerie client per tutti i linguaggi delle librerie client dell'API Google Ads supportati, ad eccezione di Perl, quindi nella maggior parte dei casi è possibile eseguire il logging con Cloud Logging direttamente dall'integrazione della libreria client. Per altri linguaggi, tra cui Perl, Cloud Logging offre anche un'API REST.
Esistono alcune opzioni per il logging in Cloud Logging o in un altro strumento da una libreria client dell'API Google Ads. Ogni opzione presenta i propri compromessi in termini di tempo di implementazione, complessità e prestazioni. Valuta attentamente questi compromessi prima di decidere quale soluzione implementare.
Opzione 1: scrivi i log locali da un processo in background
I log della libreria client possono essere scritti in un file locale sulla tua macchina modificando la configurazione del logging. Una volta che i log vengono inviati a un file locale, puoi configurare un daemon per raccoglierli e inviarli al cloud.
Un limite di questo approccio è che alcune metriche sul rendimento non verranno acquisite per impostazione predefinita. I log della libreria client includono i dettagli degli oggetti di richiesta e risposta, pertanto le metriche di latenza non verranno incluse, a meno che non vengano apportate ulteriori modifiche per registrarle.
Opzione 2: utilizza Compute Engine e Ops Agent
Se la tua applicazione è in esecuzione su Compute Engine, puoi inviare i log a Google Cloud Logging installando Ops Agent. Ops Agent può essere configurato per inviare i log delle applicazioni a Cloud Logging, oltre alle metriche e ai log inviati per impostazione predefinita.
Se la tua applicazione è già in esecuzione in un ambiente Google Cloud o se stai valutando di spostarla su Google Cloud, questa è un'ottima opzione da considerare.
Opzione 3: implementa il logging nel codice dell'applicazione
Il logging direttamente dal codice dell'applicazione può essere eseguito in uno dei due modi seguenti:
Incorporare i calcoli delle metriche e le istruzioni di log in ogni posizione applicabile nel codice. Questa opzione è più fattibile per codebase più piccole, in cui l'ambito e i costi di manutenzione di una modifica di questo tipo sarebbero minimi.
Implementazione di un'interfaccia di logging. Se la logica dell'applicazione può essere astratta in modo che diverse parti dell'applicazione ereditino dalla stessa classe base, la logica di logging può essere implementata in quella classe base. Questa opzione è generalmente preferita rispetto all'incorporazione di istruzioni di log nel codice dell'applicazione, in quanto è più facile da gestire e scalare. Per codebase più grandi, la manutenibilità e la scalabilità di questa soluzione sono ancora più importanti.
Un limite di questo approccio è che i log completi delle richieste e delle risposte non sono disponibili dal codice dell'applicazione. È possibile accedere agli oggetti di richiesta e risposta completi dagli intercettatori gRPC. È così che il logging della libreria client integrata ottiene i log delle richieste e delle risposte. In caso di errore, potrebbero essere disponibili ulteriori informazioni nell'oggetto dell'eccezione, ma sono disponibili meno dettagli per le risposte riuscite all'interno della logica dell'applicazione. Ad esempio, nella maggior parte dei casi, l'ID richiesta per una richiesta andata a buon fine non è accessibile dagli oggetti di risposta dell'API Google Ads.
Opzione 4: intercettatore di logging gRPC personalizzato
gRPC supporta intercettatori unari e di flussi di dati che possono accedere agli oggetti di richiesta e risposta mentre passano tra il client e il server. Le librerie client dell'API Google Ads utilizzano gli intercettatori gRPC per offrire un supporto di logging integrato. Analogamente, puoi implementare un intercettatore gRPC personalizzato per accedere agli oggetti di richiesta e risposta, estrarre informazioni per scopi di logging e monitoraggio e scrivere i dati nella posizione che preferisci.
A differenza di altre soluzioni presentate qui, l'implementazione di un intercettatore gRPC personalizzato ti offre la flessibilità di acquisire oggetti di richiesta e risposta per ogni richiesta e di implementare una logica aggiuntiva per acquisire i dettagli della richiesta. Ad esempio, puoi calcolare il tempo trascorso di una richiesta implementando la logica di misurazione delle prestazioni all'interno dell'intercettore personalizzato, quindi registrare la metrica in Google Cloud Logging per renderla disponibile per il monitoraggio della latenza in Google Cloud Monitoring.
Intercettatore Cloud Logging personalizzato in Python
Per dimostrare questa soluzione, abbiamo scritto un esempio di intercettatore di logging personalizzato in Python. L'intercettore personalizzato viene creato e passato al client di servizio. Quindi accede agli oggetti di richiesta e risposta che passano attraverso ogni chiamata al metodo del servizio, elabora i dati di questi oggetti e li invia a Google Cloud Logging.
Oltre ai dati provenienti dagli oggetti di richiesta e risposta, l'esempio implementa una logica aggiuntiva per acquisire il tempo trascorso della richiesta e altri metadati che potrebbero essere utili per il monitoraggio, ad esempio se la richiesta è andata a buon fine o meno. Per ulteriori informazioni su come queste informazioni possono essere utili, sia in generale per il monitoraggio sia in particolare quando si combinano Google Cloud Logging e Google Cloud Monitoring, consulta la guida al monitoraggio.
# Copyright 2022 Google LLC # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # https://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. """A custom gRPC Interceptor that logs requests and responses to Cloud Logging. The custom interceptor object is passed into the get_service method of the GoogleAdsClient. It intercepts requests and responses, parses them into a human readable structure and logs them using the logging service instantiated within the class (in this case, a Cloud Logging client). """ import time from typing import Any, Callable, Dict, Optional from google.cloud import logging as google_cloud_logging from grpc._interceptor import _ClientCallDetails from google.ads.googleads.interceptors import LoggingInterceptor class CloudLoggingInterceptor(LoggingInterceptor): """An interceptor that logs rpc request and response details to Google Cloud Logging. This class inherits logic from the LoggingInterceptor, which simplifies the implementation here. Some logic is required here in order to make the underlying logic work -- comments make note of this where applicable. NOTE: Inheriting from the LoggingInterceptor class could yield unexpected side effects. For example, if the LoggingInterceptor class is updated, this class would inherit the updated logic, which could affect its functionality. One option to avoid this is to inherit from the Interceptor class instead, and selectively copy whatever logic is needed from the LoggingInterceptor class.""" def __init__(self, api_version: str): """Initializer for the CloudLoggingInterceptor. Args: api_version: a str of the API version of the request. """ super().__init__(logger=None, api_version=api_version) # Instantiate the Cloud Logging client. logging_client: google_cloud_logging.Client = google_cloud_logging.Client() self.logger: google_cloud_logging.Logger = logging_client.logger("cloud_logging") self.rpc_start: float self.rpc_end: float def log_successful_request( self, method: str, customer_id: Optional[str], metadata_json: str, request_id: str, request: Any, # google.ads.googleads.vX.services.types.SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest trailing_metadata_json: str, response: Any, # grpc.Call or grpc.Future ) -> None: """Handles logging of a successful request. Args: method: The method of the request. customer_id: The customer ID associated with the request. metadata_json: A JSON str of initial_metadata. request_id: A unique ID for the request provided in the response. request: An instance of a request proto message. trailing_metadata_json: A JSON str of trailing_metadata. response: A grpc.Call/grpc.Future instance. """ # Retrieve and mask the RPC result from the response future. # This method is available from the LoggingInterceptor class. # Ensure self._cache is set in order for this to work. # The response result could contain up to 10,000 rows of data, # so consider truncating this value before logging it, to save # on data storage costs and maintain readability. result: Any = self.retrieve_and_mask_result(response) # elapsed_ms is the approximate elapsed time of the RPC, in milliseconds. # There are different ways to define and measure elapsed time, so use # whatever approach makes sense for your monitoring purposes. # rpc_start and rpc_end are set in the intercept_unary_* methods below. elapsed_ms: float = (self.rpc_end - self.rpc_start) * 1000 debug_log: Dict[str, Any] = { "method": method, "host": metadata_json, "request_id": request_id, "request": str(request), "headers": trailing_metadata_json, "response": str(result), "is_fault": False, "elapsed_ms": elapsed_ms, } self.logger.log_struct(debug_log, severity="DEBUG") info_log: Dict[str, Any] = { "customer_id": customer_id, "method": method, "request_id": request_id, "is_fault": False, # Available from the Interceptor class. "api_version": self._api_version, } self.logger.log_struct(info_log, severity="INFO") def log_failed_request( self, method: str, customer_id: Optional[str], metadata_json: str, request_id: str, request: Any, # google.ads.googleads.vX.services.types.SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest trailing_metadata_json: str, response: Any, # grpc.Call or grpc.Future ) -> None: """Handles logging of a failed request. Args: method: The method of the request. customer_id: The customer ID associated with the request. metadata_json: A JSON str of initial_metadata. request_id: A unique ID for the request provided in the response. request: An instance of a request proto message. trailing_metadata_json: A JSON str of trailing_metadata. response: A JSON str of the response message. """ exception: Any = self._get_error_from_response(response) exception_str: str = self._parse_exception_to_str(exception) fault_message: str = self._get_fault_message(exception) info_log: Dict[str, Any] = { "method": method, "endpoint": self.endpoint, "host": metadata_json, "request_id": request_id, "request": str(request), "headers": trailing_metadata_json, "exception": exception_str, "is_fault": True, } self.logger.log_struct(info_log, severity="INFO") error_log: Dict[str, Any] = { "method": method, "endpoint": self.endpoint, "request_id": request_id, "customer_id": customer_id, "is_fault": True, "fault_message": fault_message, } self.logger.log_struct(error_log, severity="ERROR") def intercept_unary_unary( self, continuation: Callable[[_ClientCallDetails, Any], Any], # Any is request type client_call_details: _ClientCallDetails, request: Any, # google.ads.googleads.vX.services.types.SearchGoogleAdsRequest ) -> Any: # grpc.Call or grpc.Future """Intercepts and logs API interactions. Overrides abstract method defined in grpc.UnaryUnaryClientInterceptor. Args: continuation: a function to continue the request process. client_call_details: a grpc._interceptor._ClientCallDetails instance containing request metadata. request: a SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest message class instance. Returns: A grpc.Call/grpc.Future instance representing a service response. """ # Set the rpc_end value to current time when RPC completes. def update_rpc_end(response_future: Any) -> None: # response_future is grpc.Future self.rpc_end = time.perf_counter() # Capture precise clock time to later calculate approximate elapsed # time of the RPC. self.rpc_start = time.perf_counter() # The below call is REQUIRED. response: Any = continuation(client_call_details, request) # response is grpc.Call or grpc.Future response.add_done_callback(update_rpc_end) self.log_request(client_call_details, request, response) # The below return is REQUIRED. return response def intercept_unary_stream( self, continuation: Callable[[_ClientCallDetails, Any], Any], # Any is request type client_call_details: _ClientCallDetails, request: Any, # google.ads.googleads.vX.services.types.SearchGoogleAdsStreamRequest ) -> Any: # grpc.Call or grpc.Future """Intercepts and logs API interactions for Unary-Stream requests. Overrides abstract method defined in grpc.UnaryStreamClientInterceptor. Args: continuation: a function to continue the request process. client_call_details: a grpc._interceptor._ClientCallDetails instance containing request metadata. request: a SearchGoogleAdsRequest or SearchGoogleAdsStreamRequest message class instance. Returns: A grpc.Call/grpc.Future instance representing a service response. """ def on_rpc_complete(response_future: Any) -> None: # response_future is grpc.Future self.rpc_end = time.perf_counter() self.log_request(client_call_details, request, response_future) # Capture precise clock time to later calculate approximate elapsed # time of the RPC. self.rpc_start = time.perf_counter() # The below call is REQUIRED. response: Any = continuation(client_call_details, request) # response is grpc.Call or grpc.Future # Set self._cache to the cache on the response wrapper in order to # access the streaming logs. This is REQUIRED in order to log streaming # requests. self._cache = response.get_cache() response.add_done_callback(on_rpc_complete) # The below return is REQUIRED. return response