Как мы боролись с веб-спамом в Google Поиске в 2019 году

Вторник, 9 июня 2020 г.

Робот Googlebot представляет отчет о веб-спаме за 2019 год

Важен каждый поисковый запрос. Поэтому мы постоянно работаем над тем, чтобы пользователям Google Поиска предлагалась информация, которая будет максимально интересна и полезна для них.

К сожалению, в интернете есть злоумышленники, распространяющие контент, который называется веб-спамом. Это может причинять пользователям Google Поиска серьезные неудобства. Противодействие спамерам – непростая задача. Над тем, чтобы в результатах поиска не появлялся веб-спам, работает несколько подразделений Google. Кроме того, мы предлагаем веб-мастерам рекомендации, которые помогают им эффективнее работать с инструментами Поиска, чтобы пользователи легко находили их контент в интернете.

О том, как мы боролись со спамом в 2019 году и какую поддержку оказывали сообществу веб-мастеров, читайте ниже.

Борьба со спамом в глобальном масштабе

Наш индекс содержит сотни миллиардов веб-страниц, и ежедневно мы обслуживаем миллиарды поисковых запросов. Неудивительно, что регулярно появляются злоумышленники, которые стремятся манипулировать рейтингом страниц в результатах поиска. Каждый день мы обнаруживаем более 25 миллиардов страниц со спамом. Это число показывает, насколько масштабно, последовательно и активно действуют спамеры. Мы принимаем самые серьезные меры для того, чтобы в Поиске было как можно меньше таких страниц. Благодаря нашим усилиям более 99 % результатов поиска Google ведут на ресурсы, не содержащие спама.

Что изменилось по сравнению с прошлым годом?

В 2018 г. мы на 80 % снизили объем спама, создаваемого пользователями, и рады сообщить, что в 2019 г. его не стало больше. Также нашим специалистам удавалось в 2019 г. успешно сдерживать распространение ссылочного спама, хотя он использовался достаточно часто. Наши системы не только обнаружили более 90 % подобного контента, но и снизили эффективность таких спамерских приемов, как платные ссылки и обмен ссылками.

По-прежнему часто встречается спам со взломанных ресурсов, однако уровень его распространения оказался более стабильным. Мы постоянно работаем над решениями, позволяющими эффективно выявлять взломанные ресурсы. Такие инструменты позволяют нам информировать веб-мастеров о хакерских атаках на их сайты, а также помогать им с устранением последствий взлома.

Одной из приоритетных задач в 2019 г. для нас было внедрение машинного обучения в наши инструменты борьбы со спамом. Сочетая эти решения с испытанной временем проверкой вручную, мы эффективно выявляли результаты, содержащие спам, и не допускали их показа пользователям.

В последние годы увеличилось количество сайтов, которые распространяют спам, содержат автоматически созданный и скопированный контент или другие элементы, раздражающие пользователей (например, фальшивые кнопки, рекламу, от которой невозможно отказаться, подозрительные переадресации, вредоносное ПО и т. д.). Подобные ресурсы зачастую не приносят посетителям никакой пользы и нацелены лишь на то, чтобы вводить их в заблуждение. В 2019 г. нам удалось уменьшить объем такого спама в результатах Поиска более чем на 60 % по сравнению с 2018 г.

Мы не только повышаем эффективность наших средств выявления спама, но и ведем активную работу по противодействию мошенничеству и другим видам недопустимых действий. Поскольку мошеннические сайты могут выглядеть как официальные ресурсы тех или иных учреждений и организаций, пользователи зачастую оставляют на них свои персональные данные, отдают мошенникам деньги и заражают свои устройства вредоносным ПО. Мы внимательно следим за поисковыми запросами, которые чаще других ведут на мошеннические ресурсы, и стремимся быть на шаг впереди злоумышленников, чтобы защитить пользователей.

Сотрудничество с веб-мастерами и разработчиками

Противодействовать спаму нам помогают автоматизированные системы, призванные распознавать его. Однако эти системы не могут выявлять все случаи. Помочь нам в борьбе с нежелательной деятельностью может любой пользователь Поиска. Для этого достаточно сообщать нам о спаме, фишинге или вредоносном ПО. В 2019 г. мы получили почти 230 тыс. сообщений о спаме в результатах поиска. В 82 % случаев нам удалось успешно принять меры против него. Мы признательны всем пользователям, которые жаловались на спам и помогали нам исключать его из результатов поиска.

Узнав от пользователей или наших систем, что на каком-либо сайте есть спам, мы оповещаем об этом веб-мастера такого ресурса. В 2019 г. мы отправили владельцам сайтов более 90 миллионов сообщений с информацией о проблемах, которые могут отрицательно сказаться на позициях их ресурса в результатах поиска, и рекомендациями по их устранению. Около 4,3 миллиона из этих сообщений касались мер, которые мы приняли вручную в связи с выявленными нарушениями наших рекомендаций для веб-мастеров.

Так же мы стремимся более эффективно помогать владельцам сайтов. В 2019 г. у нас появились дополнительные способы взаимодействия с веб-мастерами, в частности новые сообщения в Search Console, плагин Site Kit для сайтов WordPress и автоматическое подтверждение права собственности с помощью записи DNS в новой версии Search Console. Мы надеемся, что это поможет веб-мастерам быстрее подтверждать права на свои ресурсы и будет приносить им пользу в дальнейшем. Также мы рассчитываем на то, что благодаря новым функциям веб-мастерам будет удобнее знакомиться с новостями и устранять неполадки, связанные со спамом и взломом ресурсов.

Уделяя самое пристальное внимание борьбе со спамом, мы продолжали следить за тем, как меняется интернет, и изменили подход к обработке ссылок с атрибутом "nofollow". Изначально атрибут "nofollow" служил для борьбы со спамом в комментариях и для обозначения рекламных ссылок, но наши специалисты постепенно расширяют сферу его применения. Мы считаем, что в связи с совершенствованием средств борьбы со спамом этот атрибут должен использоваться шире. Мы добавили два новых атрибута для ссылок: rel="sponsored" и rel="ugc". Благодаря им веб-мастера смогут передавать в Google Поиск более точные сведения о характере тех или иных ссылок. Как и rel="nofollow", эти атрибуты учитываются нашими алгоритмами ранжирования. Мы рады, что веб-мастера из разных стран стали активно использовать новые атрибуты на своих сайтах.

Взаимодействие с сообществом

Как и прежде, в прошлом году мы были рады любой возможности пообщаться с веб-мастерами из разных стран, узнать их мнение и помочь им улучшить позиции их контента в Google Поиске. Мы провели свыше 150 консультаций и прямых трансляций в разных городах мира для огромной аудитории, в которую вошли специалисты по поисковой оптимизации и интернет-маркетингу, а также владельцы компаний и разработчики. В частности, мы были приятно удивлены тому, насколько успешными стали наши конференции для веб-мастеров, которые прошли в 35 городах из 15 стран мира на 12 языках, включая первый саммит по продукту в Маунтин-Вью, США. В настоящее время у нас нет возможности приглашать гостей, но мы планируем чаще проводить подобные мероприятия и различные видеовстречи.

Как и раньше, веб-мастера находили советы и решения на справочном форуме сообщества для веб-мастеров. В 2019 г. на форуме было свыше 30 тыс. цепочек на более чем 12 языках. Чтобы ответить на ваши вопросы и развеять типичные заблуждения, мы разместили на нашем канале YouTube серию видео #AskGoogleWebmasters, а также ролики, в которых разоблачаются мифы о поисковой оптимизации.

Впереди нас ждет ещё много работы, и мы надеемся на вашу помощь и в следующем году. Следите за нашими новостями в Твиттере, блоге, а также на канале YouTube и форуме. Участвуйте в наших конференциях.

Рисунок, на котором люди и робот приветствуют друг друга