Real Time Mode

Когда клиенты выбирают использование Google Safe Browsing v5 в режиме реального времени, они хранят в своей локальной базе данных: (i) глобальный кэш с вероятно безопасными сайтами, отформатированный в виде хешей SHA256 выражений URL-адресов с суффиксом хоста/префиксом пути, (ii) набор списков угроз, отформатированный в виде префиксов хешей SHA256 выражений URL-адресов с суффиксом хоста/префиксом пути. Основная идея заключается в том, что всякий раз, когда клиент хочет проверить определенный URL-адрес, выполняется локальная проверка с использованием глобального кэша. Если эта проверка проходит успешно, выполняется локальная проверка списков угроз. В противном случае клиент продолжает проверку хешей в режиме реального времени, как описано ниже.

Помимо локальной базы данных, клиент будет поддерживать локальный кэш. Такой локальный кэш не обязательно должен храниться в постоянном хранилище и может быть очищен в случае нехватки памяти.

Подробное описание процедуры приведено ниже.

Процедура проверки URL-адреса в режиме реального времени

Эта процедура принимает один URL-адрес u и возвращает SAFE , UNSAFE или UNSURE . Если возвращается SAFE URL-адрес считается безопасным согласно Google Safe Browsing. Если возвращается UNSAFE URL-адрес считается потенциально небезопасным согласно Google Safe Browsing, и следует предпринять соответствующие действия: например, показать предупреждение конечному пользователю, переместить полученное сообщение в папку «Спам» или потребовать от пользователя дополнительного подтверждения перед продолжением. Если возвращается UNSURE , следует использовать следующую процедуру локальной проверки.

1. Пусть expressions это список выражений суффикса/префикса, сгенерированных URL-адресом u .
2. Пусть expressionHashes список, элементы которого представляют собой хеши SHA256 каждого выражения из expressions .
3. Для каждого hash выражения expressionHashes :
   1. Если hash найден в глобальном кэше, вернуть UNSURE .
4. Пусть expressionHashPrefixes — список, элементы которого представляют собой первые 4 байта каждого хеша из expressionHashes .
5. Для каждого expressionHashPrefix из expressionHashPrefixes :
   1. Найдите expressionHashPrefix в локальном кэше.
   2. Если кэшированная запись найдена:
      1. Определите, превышает ли текущее время время его истечения.
      2. Если оно больше:
         1. Удалите найденную запись из локального кэша.
         2. Продолжайте цикл.
      3. Если оно не больше:
         1. Удалите этот конкретный expressionHashPrefix из expressionHashPrefixes .
         2. Проверьте, найден ли соответствующий полный хеш в expressionHashes в кэшированной записи.
         3. Если обнаружено, вернуть UNSAFE .
         4. Если не найдено, продолжить цикл.
   3. Если кэшированная запись не найдена, продолжите цикл.
6. Отправьте expressionHashPrefixes на сервер Google Safe Browsing v5, используя RPC SearchHashes или REST-метод hashes.search . Если произошла ошибка (включая сетевые ошибки, ошибки HTTP и т. д.), верните UNSURE . В противном случае, пусть response будет response , полученным от сервера SB, который представляет собой список полных хешей вместе с некоторой вспомогательной информацией, определяющей характер угрозы (социальная инженерия, вредоносное ПО и т. д.), а также время истечения срока действия кэша expiration .
7. Для каждого fullHash response :
   1. Вставить fullHash в локальный кэш вместе с expiration .
8. Для каждого fullHash response :
   1. Пусть isFound — результат поиска fullHash в expressionHashes .
   2. Если isFound равно False, продолжайте цикл.
   3. Если isFound равно True, вернуть UNSAFE .
9. Верните SAFE .

Хотя данный протокол определяет, когда клиент отправляет expressionHashPrefixes на сервер, он намеренно не указывает точно, как именно это делать. Например, клиенту допустимо отправлять все expressionHashPrefixes в одном запросе, а также отправлять каждый отдельный префикс из expressionHashPrefixes на сервер в отдельных запросах (возможно, параллельно). Также допустимо отправлять несвязанные или случайно сгенерированные хеш-префиксы вместе с хеш-префиксами из expressionHashPrefixes , при условии, что количество хеш-префиксов, отправляемых в одном запросе, не превышает 30.