Как мы боролись с веб-спамом в Google Поиске в 2020 году

Четверг, 29 апреля 2021 г.

Робот Googlebot и его приятель "паук" знакомятся с отчетом о веб-спаме за 2020 год

Google Поиск – это мощный инструмент, который помогает вам находить полезную информацию в интернете. К сожалению, не все веб-страницы создаются с добрыми намерениями. Многие из них явно направлены на обман людей, и мы ежедневно боремся с такими ресурсами. Чтобы обеспечить вашу безопасность и оградить вас от деструктивного контента и вредоносных действий, в 2020 году мы многое изменили в Google Поиске.

Более эффективная борьба со спамом

Мы боремся со спамом с первых дней существования Google Поиска, а последние достижения в области искусственного интеллекта (ИИ) обеспечивают нам невероятные возможности.

Так, в прошлом году нам удалось создать интеллектуальную систему, которая эффективно выявляет как известные, так и новые методы распространения спама. Например, в результатах поиска теперь встречается на 80 % меньше сайтов с автоматически генерируемым и скопированным контентом, чем всего пару лет назад.

В 2020 году все так же процветало распространение спама со взломанных сайтов из-за множества уязвимостей, присутствующих на веб-страницах. Но мы повысили эффективность системы обнаружения спама более чем на 50 % и удалили большую его часть из результатов поиска.

Однако в одиночку эту проблему не решить. Даже если бы нам удалось обнаружить и удалить весь спам, хакеры все равно не перестали бы использовать имеющиеся лазейки, пока остается хотя бы одна. Владельцам сайтов следует помнить о простом правиле: легче предотвратить взлом сайта, чем устранить его последствия. Поэтому мы создали для вас ресурсы с информацией о том, какие способы чаще всего используют хакеры и как с помощью Search Console определить, взломан ли ваш сайт. Обязательно ознакомьтесь с ними и помогите нам сделать интернет безопаснее!

В прошлом году произошло много изменений, которые затронули жизнь миллионов жителей планеты, включая в первую очередь глобальную пандемию. Мы постарались сделать так, чтобы в результатах поиска по самым актуальным вопросам было как можно меньше спама. Если вы ищете в Google Поиске ближайший к вам пункт сдачи анализов на COVID, то можете не беспокоиться о том, что наткнетесь на спам-страницу, а с нее попадете на фишинговый сайт. И, конечно, мы вместе с несколькими другими командами Google Поиска позаботились о том, чтобы в любой важной ситуации вы всегда получали самую актуальную и полную информацию.

Ограждение пользователей от спама

Прежде чем результаты поиска будут представлены пользователям, много чего происходит за кулисами. Ежедневно мы находим, сканируем и индексируем миллиарды веб-страниц. Среди них очень много бесполезных – каждый день мы обнаруживаем 40 миллиардов спам-страниц. Ниже рассказано, как мы работаем над тем, чтобы спам не мешал вам находить полезную и уместную информацию.

Способы защиты от спама на каждом этапе
Так мы боремся со спамом в интернете.

Во-первых, наши системы определяют, есть ли на страницах и ресурсах спам, прямо во время сканирования. Прежде чем включить контент в индекс, чтобы его можно было показывать пользователям, наши роботы оценивают его. Если он оказывается спамом, они не индексируют его.

Эти системы работают и с тем контентом, о котором нам сообщают с помощью Search Console и файлов Sitemap. Например, в Search Console есть функция Запросить индексирование. С ее помощью владелец сайта может сообщить нам, что у него появились новые страницы, которые он хочет как можно быстрее добавить в индекс. Мы сталкивались с ситуациями, когда спамеры взламывали уязвимые сайты, выдавали себя за их владельцев, верифицировали себя в Search Console и просили Google сканировать и индексировать созданные ими страницы. С помощью ИИ мы смогли обнаружить подозрительные верификации и предотвратили попадание в наш индекс множества спам-страниц.

Во-вторых, у нас есть системы, которые анализируют контент, уже включенный в индекс. Прежде чем показать вам результаты в Поиске, они ещё раз проверяют контент, который соответствует запросу. Страницы со спамом не появляются среди самых популярных результатов поиска. Кроме того, результаты такой проверки помогают улучшить работу и других систем, чтобы спам вообще не появлялся в индексе.

Все эти системы работают на основе искусственного интеллекта – и именно благодаря им на первые страницы результатов поиска попадает очень мало спама. По нашим оценкам, они помогают полностью избавить от спама более 99 % результатов Google Поиска. Что касается незначительной доли оставшегося спама, то в этих случаях наши команды принимают меры вручную и совершенствуют работу автоматизированных систем с учетом полученных данных.

Защита от других угроз

Робот Googlebot защищает вас не только от спама

Борьба со спамом не единственная наша задача. В 2020 году мы внедрили защиту и от других угроз, которые могут повредить вам в финансовом и личном плане.

Например, мы научились определять ещё больше видов мошенничества и защищать пользователей от них. Сетевые мошенники действуют самыми разными способами – и могут приносить ещё больше вреда, чем обычный спам. Например, многие мошенники выдают себя за телефонную службу поддержки, а когда пользователи им звонят, обманом вынуждают их перевести им деньги. О таком виде мошенничества сообщают сотни тысяч пользователей, и многие из них теряли сотни долларов.

Пример мошенничества со службой поддержки клиентов в результатах поиска

Начиная с 2018 года наши системы удаляют потенциально мошеннические сайты из результатов поиска по сотням миллионов запросов в год. В интернете множество таких сайтов – чтобы завлечь вас, мошенники используют на них логотипы, ключевые слова и телефонные номера реальных компаний. Но благодаря нашим алгоритмам вероятность того, что эти сайты попадут в результаты поиска, крайне мала. Это лишь одна из нескольких систем, которые мы внедрили в прошлом году, чтобы результаты поиска были качественными и безопасными. Чтобы избавить вас от угроз, мы стараемся во всем опережать мошенников. Но ваша безопасность зависит и от вас – мы настоятельно советуем вам узнать о том, как действуют мошенники в интернете.

Искусственный интеллект помог нам в решении ещё одной задачи – понимании контента сайта. Например, благодаря ему нам удалось улучшить ранжирование новостных сайтов, интернет-магазинов и сайтов с отзывами о товарах. Google Поиск предоставляет великолепную возможность найти и всесторонне изучить товар до того, как отдать за него деньги. Теперь контент, содержащий глубокий анализ и самую полезную информацию о товарах, занимает более высокие позиции, а пользователям стало проще и комфортнее совершать покупки.

Но несмотря на все наши успехи в борьбе со спамом, злоумышленники каждый день ищут новые способы обойти нашу защиту. Мы постоянно совершенствуемся и стремимся обезопасить пользователей от новых угроз, и вы можете нам в этом помочь. Если вы увидите в результатах поиска спам или мошеннические сайты, сообщите нам. Постарайтесь добавить как можно больше информации, чтобы мы могли принять эффективные меры.

Робот Googlebot сражается со спамом вместе с вами