本文档旨在介绍 Google 运输价格准确性抓取工具带来的流量。
关于查询次数的注意事项
例如,如果我们同意每天发送 5,000 次查询,则表示我们的抓取工具每天会执行普通用户执行的以下所有操作 (均匀分布在一天内,即每 17 秒执行一次):
从 Google 搜索开始,然后点击合作伙伴链接
选择预期的行程(如果尚未选择)
点击“继续”,直到到达用户必须输入个人 / 付款详细信息的页面
从页面中读取最终价格详情
抓取工具会过滤提取的资源
抓取工具只会提取获取我们感兴趣的信息(价格和库存状况详情)所需的资源。具体而言,这意味着它通常只会从合作伙伴网站提取资源(即我们只会授权来自同一网域的网址)。此外,我们还会避免提取读取正确价格数据所不需要的任何资源,例如图片。
具体而言,这意味着抓取工具不会加载和执行来自第三方(Google Analytics [分析]、Facebook、Criteo 等)的脚本,因此抓取工具流量应从这些分析中排除。
缓存
为了减轻合作伙伴网站上的负载,我们的抓取工具通常配置为遵循响应中存在的所有标准 HTTP 缓存标头。也就是说,对于配置正确的网站,我们会避免重复提取很少更改的内容(例如 JavaScript 库)。
问题排查
抓取工具网络质量检查能否正常运行取决于您是否有权访问合作伙伴网站。如需了解如何执行此操作,请参阅这篇帮助中心文章。