Phân tích nhật ký bằng BigQuery

BigQuery là một công cụ mạnh mẽ để thực hiện hoạt động phân tích. Bạn có thể sử dụng công cụ này để lưu trữ nhật ký dài hạn hơn và thực hiện các truy vấn giống như SQL đối với dữ liệu. Để sử dụng BigQuery cho việc phân tích, bạn phải định tuyến nhật ký của mình đến BigQuery một cách rõ ràng, như mô tả trong phần tiếp theo.

Định tuyến nhật ký đến BigQuery

  1. Trong Trình khám phá nhật ký, hãy tạo một bộ lọc tách riêng nhật ký của Fleet Engine: Fleetengine.googleapis.com/Fleet.
  2. Trong ngăn Kết quả truy vấn, hãy nhấp vào trình đơn Thao tác hoặc Thao tác khác rồi chọn Tạo bồn lưu trữ.
  3. Chỉ định tên bồn lưu trữ (ví dụ: FleetEngineLogsSink). Nhấp vào Tiếp theo.
  4. Trong phần Sink Destination (Đích đến của bồn lưu trữ), hãy chọn BigQuery dataset (Tập dữ liệu BigQuery).
  5. Trong phần Chọn tập dữ liệu BigQuery, hãy chọn Tạo tập dữ liệu BigQuery mới.
  6. Trong hộp thoại Create dataset (Tạo tập dữ liệu), hãy nhập Dataset ID (Mã tập dữ liệu).
  7. Giữ nguyên mọi thông tin khác rồi nhấp vào Create dataset (Tạo tập dữ liệu).
  8. Đánh dấu vào Sử dụng bảng phân vùng. Nhấp vào Tiếp theo.
  9. Giữ nguyên Choose logs to include in sink (Chọn nhật ký để đưa vào bồn lưu trữ) và Choose logs to filter out of sink (Chọn nhật ký để lọc ra khỏi bồn lưu trữ).
  10. Nhấp vào Create Sink (Tạo bồn lưu trữ).

Nhật ký của bạn hiện sẽ bắt đầu điền vào tập dữ liệu BigQuery. Quá trình này có thể mất một chút thời gian. Xem thêm bài viết Định tuyến nhật ký đến các đích đến được hỗ trợ.

Sau khi bạn định tuyến dữ liệu nhật ký đến BigQuery, một số bảng trong tập dữ liệu FleetEngineLogs sẽ tự động được điền sẵn, mỗi bảng cho một loại nhật ký:

  • CreateVehicle
  • GetVehicle
  • ListVehicles
  • SearchVehicles
  • UpdateVehicle
  • CreateTrip
  • GetTrip
  • UpdateTrip
  • ListTrips

Tên bảng sử dụng mẫu sau:

project_id.data_set.log_name

Ví dụ: nếu dự án có tên là test-project và tên tập dữ liệu là FleetEngineLogs, thì bảng CreateTrip sẽ có tên như sau:

test-project.FleetEngineLogs.fleetengine_googleapis_com_create_trip

Ví dụ về truy vấn cho BigQuery

Các truy vấn mẫu sau đây cho thấy cách bạn có thể tìm kiếm các mục nhập nhật ký khác nhau trong BigQuery.

Số lượng nhật ký CreateTrips được nhóm theo giờ

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) as hour,
           count(*) as num_trips_created
    FROM
    `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_create_trip`
    GROUP BY hour
    ORDER by hour

Số điểm dừng của mỗi xe mỗi giờ

    SELECT
      jsonpayload_v1_updatevehiclelog.request.vehicleid AS vehicle,
      TIMESTAMP_TRUNC(timestamp, HOUR) AS hour,
      COUNT(*) AS num_stops
    FROM
      `ProjectId.FleetEngineLogs.fleetengine_googleapis_com_update__vehicle`
    WHERE
    ARRAY_LENGTH(jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments) > 0
    AND jsonpayload_v1_updatevehiclelog.request.vehicle.remainingvehiclejourneysegments[
    OFFSET
    (0)].stop.state = 'VEHICLE_STOP_STATE_LOG_ARRIVED'
    GROUP BY
    1,
    2
    ORDER BY
    2

Ví dụ: truy vấn này có thể cho bạn biết rằng trong giờ qua:

  • Xe A hoàn thành 10 điểm dừng trong giờ thứ 12 và 8 điểm dừng trong giờ thứ 13.
  • Xe B hoàn thành 5 điểm dừng trong giờ thứ 11 và 7 điểm dừng trong giờ thứ 12.
  • Xe C hoàn thành 12 điểm dừng trong giờ thứ 13 và 9 điểm dừng trong giờ thứ 14.

Xem thêm bài viết Xem nhật ký được định tuyến đến BigQuery.

Tích hợp BigQuery với Looker Studio

Bạn có thể tích hợp BigQuery với các công cụ thông tin doanh nghiệp để tạo trang tổng quan cho hoạt động phân tích kinh doanh. Xem Looker Studio.

Ví dụ sau đây cho thấy cách tạo một trang tổng quan Looker Studio để trực quan hoá các chuyến đi và hoạt động di chuyển của xe trên bản đồ.

  1. Chạy một trang tổng quan mới trên LookEer Studio rồi chọn BigQuery làm kết nối dữ liệu.
  2. Chọn Truy vấn tuỳ chỉnh rồi nhập hoặc chọn Dự án trên đám mây theo cách thủ công để thanh toán.
  3. Nhập một trong các truy vấn sau vào hộp truy vấn.

Cụm từ tìm kiếm mẫu cho chuyến đi theo yêu cầu

    SELECT
     timestamp,
     labels.vehicle_id,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.latitude AS lat,
    jsonpayload_v1_updatevehiclelog.response.lastlocation.location.longitude AS lng
    FROM
    `ProjectId.TableName.fleetengine_googleapis_com_update_vehicle`

Truy vấn mẫu về Nhiệm vụ theo lịch trình

    SELECT
    labels.delivery_vehicle_id,
    jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.longitude as lat, jsonpayload_v1_updatedeliveryvehiclelog.response.lastlocation.rawlocation.latitude as lng
    FROM `ProjectID.TableName.fleetengine_googleapis_com_update_delivery_vehicle`
  1. Chọn Loại biểu đồ là Bản đồ bong bóng, rồi chọn trường vị trí.
  2. Chọn Thêm trường.
  3. Đặt tên cho trường và thêm công thức sau: CONCAT(lat, ",", lng).
  4. Đặt loại thành Địa lý -> Vĩ độ, Kinh độ.
  5. Bạn có thể thêm các chế độ kiểm soát vào trang tổng quan để lọc dữ liệu. Ví dụ: chọn bộ lọc Phạm vi ngày.
  6. Chỉnh sửa hộp phạm vi ngày để chọn phạm vi ngày mặc định.
  7. Bạn có thể thêm các chế độ kiểm soát danh sách thả xuống khác cho vehicle_id. Với các chế độ điều khiển này, bạn có thể hình dung chuyển động của xe hoặc chuyển động trong một chuyến đi.

Ví dụ về kết quả trong Looker Studio:

Kết quả ví dụ trong Looker Studio

Bước tiếp theo

Để tuân thủ chính sách giữ lại dữ liệu, hãy xem phần Hạn chế giữ lại nhật ký.