Как формируются подсказки в яндексе. Управление выдачей Яндекс передано в руки вебмастеров! Как работает Sacabuche

Поисковые подсказки из Яндекс и Google - ценный источник трендовых ключевых фраз для обогащения семантического ядра. Также они помогают определить интересы аудитории, что можно использовать для перелинковки товаров в интернет-магазине или наполнения блока рекомендаций . Подсказки же из YouTube используют при формировании тегов к видео и для поиска новых сюжетов.

Рассмотрим инструмент от PromoPult, который позволяет в пару кликов собрать все эти разновидности поисковых подсказок.

Инструмент парсинга поисковых подсказок от PromoPult

Собирать поисковые подсказки вручную - напрасная трата времени. Буквально за секунды с решением этой задачи справляются парсеры, в ряду которых и от PromoPult.

Основные возможности парсера:

: списком или с помощью XLSX-файла;

доступные поисковые системы : Яндекс, Google, YouTube;

управление региональностью : доступны все регионы поисковых систем;

способы сбора фраз : по заданным фразам, по исходным фразам с добавлением через пробел букв кириллического алфавита [А-Я], латинского алфавита , цифр ;

глубина парсинга : 1-3;

автоматическая минусовка фраз : есть.

Преимущества инструмента:

• самая низкая цена на рынке - в 2-3 раза ниже, чем у конкурентов;
• инструмент работает «в облаке» - не нужно скачивать и устанавливать софт;
• парсинг осуществляется в фоновом режиме, не нужно держать браузер открытым;
• нет необходимости создавать фейковые аккаунты в поисковиках и вводить капчу;
• результаты парсинга хранятся на удаленном сервере и доступны для скачивания в формате XLSX в любое время.

Немного теории: Что такое поисковые подсказки и в чем их ценность?

Поисковые подсказки - это фразы, которые появляются в виде списка автозаполнения, как только пользователь начинает вводить искомую фразу в поисковой строке.

Вот примеры поисковых подсказок в Яндексе, Google и YouTube:

Обратите внимание, что по одной и той же фразе поисковики выдают разные подсказки. Дело в том, что каждый поисковик формирует подсказки по собственным алгоритмам, однако есть ряд общих факторов:

• популярность поискового запроса в данный момент времени (актуальные и трендовые запросы вроде «что такое инаугурация » или «что такое криптовалюта » выводятся в первую очередь);
• история пользовательского поиска (каждый пользователь склонен просматривать страницы определенных тематик чаще других, и поисковики формируют подсказки в зависимости от интересов);
• местоположение пользователя (учитывается актуальность запросов для конкретного региона);
• фактор разнообразия (поисковые системы «подмешивают» варианты подсказок из разных тематик, чтобы повысить вероятность того, что пользователь воспользуется автоподстановкой).

Подсказки обновляются не реже одного раза в день. Чего нельзя сказать о базах Яндекс.Вордстата и Google Keyword Planner. Поэтому они более актуальны на данный момент, отражают текущие тренды и информационные потребности аудитории.

Фразы из подсказок расширяют и дополняют базовую семантику (в том числе LSI-фразами), позволяют поймать «горячий» и сезонный трафик. Среди них вы наверняка найдете ключи, которых не выдаст ни Вордстат, ни Keyword Planner.

Пример . Допустим, перед вами стоит задача оптимизировать страницу каталога интернет-магазина под запрос «газонокосилки Bosch ». Вводите запрос в поисковую строку Яндекса и получаете список подсказок:

В итоге у вас целый перечень дополнительных LSI-фраз (названия популярных моделей газонокосилок Bosch и комплектующих), которые стоит упомянуть в тексте.

Нет времени или возможности заниматься продвижением сайта? Запустите в системе PromoPult. Подбор ключей, распределение их по целевым страницам, внутренняя оптимизация, наращивание ссылочной массы, создание контента - здесь все автоматизировано. Вам лишь остается следить за ростом позиций!

Как пользоваться парсером поисковых подсказок?

Шаг 1. Добавление ключевых слов

Для начала использования инструмента необходимо зарегистрироваться на сайте promopult.ru (чтобы получить доступ к личному кабинету, где будут храниться отчеты), а потом перейти .

Исходные запросы можно добавить одним из способов:

1. Путем загрузки XLSX-файла (PromoPult учитывает все фразы из первого листа файла; содержание одной ячейки система идентифицирует как одну ключевую фразу, поэтому убедитесь, что в ячейках нет вспомогательной информации - пометок, заголовков столбцов, нумерации строк и т. п.).
2. Путем добавления ключевых фраз списком в соответствующее поле (каждая новая фраза должна идти с новой строки).

Если в списке фразы дублируются, система их объединяет в одну. То есть перерасхода бюджета не будет.

Перед загрузкой списка ключевых слов учтите ряд рекомендаций:

• Используйте ключевые фразы в разных падежах, во множественном и единственном числе. Например, по фразам «мультиваркА бош » и «мультиваркИ бош » подсказки отличаются. В первом случае поисковик предлагает преимущественно конкретные модели, а во втором - запросы, по которым можно перейти в каталог.

• Используйте разные варианты написания брендов - латиницей и кириллицей. Подсказки в зависимости от способа написания будут отличаться.

• Добавьте синонимы и схожие по смыслу слова («установка кондиционера » + «монтаж кондиционера »; «станок для бритья » + «бритва » + «бритвенный станок »; «автоюрист » + «автоадвокат » + «адвокат по ДТП » и т. п.).
• Если у вас интернет-магазин, не стоит указывать только названия брендов (например, «Siemens » или «Bosch »), поскольку вариантов подсказок будет много, и часть из них может не подойти вашей тематике. Лучше конкретизировать («холодильники Siemens», «дрели Bosch» и т. д.). Этот совет касается не только названий брендов, но и прочих высокочастотных фраз, когда до конца не ясен интент (намерение) пользователя.
• При сборе семантики информационной направленности будьте особо внимательны при формировании списка исходных запросов, иначе есть риск собрать массив нецелевых коммерческих ключей. В этом случае лучше конкретизировать запросы с помощью информационных маркеров («как …», «когда …», «почему …», «ТОП-10 …», «…своими руками » и т. п.). Подробно о том, как отличить информационные запросы от коммерческих, описано в этой статье .

Шаг 2. Минусовка фраз

Это функция позволяет исключить из результатов парсинга фразы с заданными минус-словами. Советуем ею воспользоваться, чтобы уменьшить потом себе же объем работы по очистке семантики от «мусора».

Для добавления минус-слов задайте их списком (каждое слово/фраза - с новой строки).

Минусовка работает в одном из двух режимов:

1. Все словоформы . Активирован по умолчанию. В этом случае из списка удаляются все фразы, которые содержат в той или иной словоформе заданные минус-фразы. Например, если вы зададите минус-слово «ремонт», то в список не попадут фразы «ремонт холодильников» и «мастер по ремонту холодильников».
2. Одна словоформа . В этом случае исключаются фразы только при условии, что они содержат минус-слова в заданной словоформе. То есть в примере с минус-словом «ремонт» исключена будет фраза «ремонт холодильников», а вот «мастер по ремонту холодильников» останется.

Шаг 3. Выбор поисковых систем и регионов

Инструмент собирает подсказки из трех систем: Яндекс, Google и YouTube. Какие именно системы выбрать, зависит от поставленных задач:

• если вы планируете продвигаться в России и/или Беларуси, то выбирайте Яндекс и Google;
• для Украины, Казахстана и стран Запада актуален Google;
• если вы хотите собрать фразы для оптимизации собственного канала на YouTube, выбирайте эту систему.

Советуем внимательно отнестись к сбору подсказок одновременно в трех системах. Дело в том, что набор исходных ключевых запросов для оптимизации YouTube-роликов зачастую будет отличаться от набора запросов для оптимизации сайта под Яндекс и Google . Ключи для продвижения на YouTube будут преимущественно информационного характера. Поэтому во избежание лишней траты денег советуем собрать подсказки отдельно для Яндекса и/или Google, а потом (с учетом отсеивания неподходящих запросов) - для YouTube.

Поисковые системы при использовании Интернет играют очень важную роль.Большинство пользователей Интернета частенько начинают свой «рабочий день» с поисковых систем, где пытаются найти столь необходимую им информацию и решить свои проблемы. Конечно, большинство пользователей пользовались, пользуются, и будут пользоваться классическими поисковиками. На сегодняшний день самой популярной русскоязычной поисковой системой является Яндекс

В Интернете сосредоточено такое количество информации, что ее поиск уже превращается в отдельную задачу и отнимает очень много времени. О том, как облегчить поиск информации в сети с помощью поисковой системы Яндекс и поговорим сегодня. И начнём, пожалуй, с самого простого - поисковых подсказок.

Поисковые подсказки — это дополнительная возможность поиска, благодаря которой вы сможете по ходу набора запроса оценить, уточнить и быстро выбрать подходящий вариант запроса, не набирая его целиком.

Как пользоваться?

Начинайте вводить запрос в поисковой строке. Набрав пару букв, вы увидите список содержащих эти буквы запросов.

Набирая буквы или слова, наблюдайте за списком — он обновляется.

Если нужный запрос есть в списке, вы можете кликнуть по нему мышью. Это действие автоматически приведет вас на страницу с результатами поиска по этому запросу.

Также, чтобы выбрать подходящий запрос, вы можете использовать стрелки "вверх"/"вниз" . Для перехода к поиску, нажмите "Ввод" ("Enter") .

Чтобы уточнить запрос, используя выбранный вариант как образец, продолжайте набирать слова дальше — список подсказок будет обновляться.

Чтобы отправить выбранный запрос Яндексу, нажмите на клавишу "Ввод" ("Enter").

Включение/отключение подсказок

Вы можете включить или отключить подсказки на странице настроек Поиска , сняв галочки в пунктах графы Персональный поиск (находиться внизу страницы). Не забываем нажать Сохранить после всех манипуляций

В браузере существует функция автозаполнения, которая при заполнении полей предлагает выбрать вариант из уже введенных ранее строк. Если подсказки отключены, будут показываться старые запросы из автозаполнения, при включенных подсказках данные из автозаполнения не отображаются.

Возможности

Ссылки на сайты

Чтобы сократить время поиска сайта, в некоторых случаях Подсказки дают возможность непосредственно перейти на сайт, не обращаясь к результатам поиска. Ссылка на сайт будет показана в подсказках, если с высокой степенью уверенности можно сказать, что этот сайт — хороший ответ для пользователя.

Чтобы вы могли убедиться, что перейдёте на нужный вам сайт, подсказки снабжены описаниями.

Исправление опечаток

В Яндексе все поисковые запросы проходят через сервис исправления опечаток, который выявляет и исправляет ошибки во фразах и отдельных словах, а также умеет распознавать текст, набранный в неправильной раскладке клавиатуры и производить его автоматическое исправление.

Опечатка? Не страшно — в списке вы увидите уже исправленный запрос, используйте его!

Если сервис исправления опечаток обнаружит опечатку, для которой с высокой степенью достоверности известен вариант исправления, например в слове «яндкс», он исправит ее автоматически и вы сразу увидите страницу с результатами поиска для исправленного варианта «яндекс».

Для каждого слова запроса опечаточный сервис пытается найти похожее по написанию, но более употребляемое в данном запросе слово. Если такую замену удается найти, поисковая система выдает знакомую всем подсказку «Возможно, вы имели в виду....» . Кроме подсказки, в некоторых случаях в поисковую выдачу могут быть добавлены и результаты, найденные по запросу, который подобрал опечаточный сервис (как в нашем случае)

Ну, и само-собой, можно всё-таки использовать поиск строго по вашему запросу, если пожелаете:о) Например, если вам кажется, что сервис ошибся и вы хотите просмотреть результаты поиска для первоначального (неисправленного) запроса, щелкните мышью по тексту-ссылки Искать только <...>

Не та раскладка?

Набрали gjbcr вместо поиск? Не торопитесь переключать раскладку. Тем более, не нужно набирать запрос снова. Подсказки "предугадывают", что вы хотели набрать, и показывают запросы уже в правильной раскладке.

Даже если при наборе текста запроса в неправильной раскладке была допущена одна или несколько опечаток, сервис исправления опечаток попробует их исправить.

Кроме того, вы всегда можете просмотреть результаты поиска для первоначального (неисправленного) запроса. Для этого щелкните мышью по тексту-ссылке в сообщении «В запросе <...> восстановлена раскладка клавиатуры.» , располагающемся непосредственно под поисковой строкой.

Исправление запроса, когда ничего не нашлось

Автоматическое исправление запроса происходит еще в одном случае — когда по исходному запросу ничего не нашлось, а опечаточный сервис обнаружил в запросе ошибку. В этом случае автоисправление запроса производится независимо от степени надежности замены. Смотреть в пустой поисковой выдаче обычно не на что, и автоматическое исправление, как правило, экономит пользователю время, необходимое на исправление запроса вручную.

Если вам все же захочется вернуться к неисправленной формулировке запроса, щелкните мышью по тексту-ссылке в сообщении «По запросу <...> ничего не нашлось» под поисковой строкой или «Искомая комбинация слов нигде не встречается».

Как это будет по-русски

Вам неизвестно точное написание слова? Набирайте так, как знаете. Во многих случаях вы увидите подсказку до того, как напечатаете слово до конца.

Происхождение поисковых подсказок

Пользователи интернета задают самые разные запросы поисковой системе Яндекс. Запрос, который Яндекс получает чаще других, показан на первом месте. Следом идет менее часто задаваемый запрос, и так далее.

То есть, Яндекс сортирует Подсказки по убыванию популярности запросов у пользователей.

Мои запросы в поисковых подсказках

Что это такое?

Поисковые подсказки могут быть персональными — показывать не только общие варианты запросов, но и ваши личные запросы, которые вы уже задавали ранее. Ваши запросы выделяются цветом среди остальных подсказок.

Как включить персональные запросы?

Чтобы включить «мои запросы», авторизуйтесь на Яндексе, зайдите в настройки поисковых подсказок , установите флажок «Мои запросы в подсказках» и нажмите «Сохранить ».

К слову, на этой же странице вы можете включить/отключить все Поисковые закладки, а также добавить в поисковые закладки любимые сайты.

Мои любимые сайты в поисковых подсказках

Чтобы было еще проще открыть сайты, на которые вы чаще всего переходите из поиска, можно включить их в Персональные подсказки (установите флажок «Любимые сайты в подсказках» и нажмите «Сохранить» ). Увидеть любимые сайты можно даже не набирая запрос — достаточно щелкнуть мышью по пустой поисковой строке. Включить

Например, если вы регулярно набираете в Яндексе запрос «одноклассники» или «вконтакте», то подсказках ссылки на соответствующие ресурсы.

Например, по запросу [котята] поиск понимает, что вы можете искать фотографии с котятами, собираетесь купить котенка и т. п., и предлагает соответствующие подсказки. В один клик вы можете перейти к результатам поиска по уточненному запросу и получить только нужные ответы.

Чтобы отменить это действие, достаточно нажать на крестик в подсказке или убрать уточнение в поисковой строке.

Пока пользователь вводит запрос, ему показывается в среднем десять наборов подсказок. За целый день всем пользователям Яндекс показывает подсказки более миллиарда раз.

Как и ответы поиска на yandex, поисковые подсказки зависят от региона пользователя. Например, начиная писать запрос [кинотеатр] или [ресторан], петербуржец и москвич наверняка будут иметь в виду заведения в их городе. И подсказки им нужны для Санкт-Петербурга и Москвы соответственно. Для каждого региона есть свой список поисковых подсказок, основанный на запросах из этого региона.

По умолчанию Яндекс сам определяет ваш регион по IP - адресу. Например, мне он выдаёт вот такое в выдаче ответов на запросы

А я, допустим, хочу только российские сайты. О том, как нам настроить нужный регион мы поговорим в следующий раз...
По материалам help.yandex.ru/search/

Ну, конечно, все вы 100500 раз в день видите у себя на смартфоне поисковые подсказки. Стоит ввести пару-тройку букв в строке поиска, как тут же появляются разные варианты слов и фраз. Остается кликнуть по подходящему запросу и перейти на страницу выдачи.

А теперь зайдем с другой стороны. Например, вы предприниматель и хотите использовать поисковые подсказки как инструмент для продвижения.

Для начала немного расскажем о том, как поисковые системы формируют подсказки.

1. Начнем с того, что вообще все посылаемые запросы пользователей аккумулируются в системе.
2. Все они проходят многоступенчатую фильтрацию. Отсеиваются крайне редкие запросы, нецензурная лексика, исправляются слова с опечатками.
3. Похожие запросы группируются на основании общих признаков (с учетом морфологии, синонимов, например «отели в казани» и «отели казани»). При этом также учитывается, что объединенные запросы дают идентичные результаты поисковой выдачи.

По какому принципу выводится список подсказок?

1. Поисковая система анализирует популярность запросов за текущий день (частоту ввода в строке поиска), в том числе и число их упоминаний в контенте различных сайтов.
2. Учитывает регион пользователя и его интересы (история запросов, посещенные страницы).
3. На основании этих данных формирует список релевантных подсказок: Яндекс – из десяти запросов, Google – из четырех.

Все это происходит за доли секунды, пока пользователь начинает вводить в строку поиска первые буквы запроса.

Вывод: для попадания в подсказки нужно выполнить следующие условия:

• добиться высокой частоты ввода запроса в поиске;
• получить большое число упоминаний запроса в контенте сторонних сайтов.

Как бренду попасть в подсказки?

Если обеспечить высокий интерес пользователей к вашему бренду и побудить их искать информацию о вас (а также делиться ею ее в сети), то с высокой долей вероятности можно попасть в подсказки. Задача упрощается, если вы работаете в условиях низкой конкуренции.

Никаких искусственных накруток! Это самое важное правило, которому нужно следовать, чтобы избежать санкций поисковых систем.

Существуют услуги агентств, где нанятые пользователи выполняют за деньги задание: многократно вводят в сроку поиска указанный запрос. Зачастую таких пользователей заменят программа. Это может сработать, и на короткий срок ваш бренд появится в подсказках. Однако поисковая система легко распознает накрутку (например, по одинаковым IP-адресам) и удалит запрос из подсказок.

Применяйте известные приемы маркетинга! Единственный легитимный способ вывести бренд в подсказки – развернуть маркетинговую активность, привлечь внимание аудитории к вашей компании. Все методы сводятся к повышению узнаваемости бренда, что естественным способом приведет к увеличению числа брендовых запросов в поиске.

Совет. На продвижение бренда хорошо работает контент-маркетинг (размещение нерекламных материалов на сторонних ресурсах, в соцсетях). Создавайте интересные ролики, пишите статьи, обзоры, отзывы. Так вы будете знакомить пользователей с вашей компанией и услугами. О вас начнут говорить, соответственно, искать информацию в поиске.

Поделюсь одним из наших кейсов продвижения бренда.

Московское вегетарианское кафе

Кампания проводилась с целью повышения узнаваемости кафе нестандартного формата (оценивался рост числа брендовых запросов в поиске). Целевая аудитория – мужчины и женщины среднего возраста (в том числе семейные), ведущие здоровый образ жизни, а также городская креативная молодежь, которая внимательно относится к тому, что и где ест (регион Москва).

В качестве площадок размещения были выбраны:

• топовые блогеры (Лена Миро и Маша Кир);
• площадки с миллионной посещаемостью («Лайфхакер»);
• крупные городские сообщества (The Village, Dirty.ru);
• модные каналы YouTube (JustVell);
• женские сообщества («Страна Мам», «Бэбиблог»);
• креативные сообщества ВКонтакте («Страдающее Средневековье»).

Материалы для публикаций были насыщены полезной информацией как о еде, так и о самом заведении и создавались в виде иллюстрированных отзывов, видео из кафе, официального релиза (от лица владельца), рецептов (см. рис.), комментариев в ветках о кафе Москвы.

Охват аудитории составил порядка 67 000 уникальных пользователей. Стоимость кампании – 50 000 рублей. Средняя цена клика – 9 рублей (целевые переходы заинтересованных пользователей, просматривавших схему проезда и знакомившихся с меню, акциями и программой на выходные).

Итог: за четыре месяца в поиске значительно возросло число брендовых запросов (см. рис.).

Как еще использовать подсказки для продвижения?

Продвигать в подсказки можно не только название бренда, но и те запросы, по которым ваш сайт уже находится в ТОП-10.

В чем плюсы? Таким образом вы на шаг приближаете пользователей к вашему сайту, побуждаете задавать те запросы, по которым вы гарантированно будете стоять на первой странице выдачи.

Например, ваш сайт находится на 3-м месте в Яндексе по низкочастотному запросу «натуральные продукты для здорового питания в екатеринбурге» . Если обеспечить данному запросу высокую цитируемость и частоту ввода в поиске в целевом регионе, то он может попасть в подсказки и работать на привлечение трафика.

Механика продвижения в подсказки брендовых и коммерческих и запросов отличается. Во втором случае нужно добиться точного ввода запроса в поиске, для чего потребуется привлечь силу пользователей.

Совет. Чтобы побудить пользователей вводить целевой запрос, не прибегая к сервисам накрутки, можно пойти на небольшую хитрость. Во-первых, попросить друзей и знакомых пробивать данный запрос в поиске. Это будет вполне естественно и не вызовет вопросов у поисковых систем. Во-вторых, распространить в соцсетях ссылку на результаты поиска и мотивировать клики по ней, тем самым увеличивая частоту показа выдачи по данному запросу.

Выводы

Попасть бренду в поисковые подсказки – дело нехитрое. Заслужить это право можно только за счет комплексной работы:

• вести маркетинговую активность (видео, посты, статьи, обзоры, реклама),
• обеспечивать высокое качество сайта и надлежащий сервис.

Сложнее всего придется компаниям, которые работают в популярных коммерческих нишах (например, электроника и техника) и конкурируют с гигантами рынка. Напротив, ритейлерам, производителям и поставщикам услуг в узком сегменте (в том числе в регионах) вполне можно направить усилия на попадание в подсказки и получать о этого очевидную выгоду.

Помощник SEO-специалиста SiteClinic.ru

Подсказки в поисковой строке- действенный метод продвижения, но не все пользуются им в благих целях. Недавно мне встретилась статья, о том, как Google и Facebook манипулировали избирателями с помощью саджестов во время президентских выборов в США в 2016 году. Я решил изучить эту тему подробнее.

Весной 2018 года американские специалисты опубликовали результаты масштабного исследования манипуляций с поисковыми подсказками. Авторы проекта разработали первый рабочий метод выявления «фальсифицированных» подсказок в Google. В данной статье я подробно расскажу об этом методе, а также о том, как выявлять ненастоящие подсказки в Яндексе.

Поисковые подсказки или саджесты (от англ. suggestion - «предложение») - одна из наиболее актуальных тем в интернет-маркетинге. Веб-аналитики предполагают, что этот инструмент станет одним из способов продвижения и перенаправления траффика.

Но что, если саджесты уже используют для продвижения? Ведь при вводе поискового запроса мы часто кликаем по первой подсказке, не задумываясь (особенно при использовании мобильного устройства).

Как попасть в поисковые подсказки

Подсказки – это всплывающие варианты запросов в поисковой системе. Они дублируют начало текста, введенного пользователем. Саджесты помогают юзеру точно сформулировать запрос и подобрать наиболее релевантную выдачу.

В поисковой системе Google, в отличие от Yandex, у поисковых подсказок есть «география», но нет «таргетинга» . Например, по запросу пользователя, который находится в Белгороде, ему покажут географическую привязку. Однако здесь же могут быть запросы по Киеву Харькову. И не факт, что при этом будет упомянут Белгород или хотя бы Россия. Yandex осуществляет более точную привязку к местонахождению, и количество появляющихся саджестов намного больше. Обе системы используют «пользовательскую память», и в первую очередь будут предлагать запросы, которые уже вводились на устройстве.

Поисковики официально не используют подсказки в коммерческих целях, однако манипулировать трафиком и влиять на подсознание с их помощью, все же, можно.

Автозаполнение как способ накрутки поисковых подсказок

Как только в поисковой строке появились подсказки, предприимчивые SEO-специалисты начали использовать их для повышения трафика своих сайтов. Создается большое количество поддельных запросов с упоминанием определенного термина (название организации, продукта и т.п.), чтобы направлять посетителей на «нужные» сайты и имитировать спрос:

Данный тип продвижения не только снижает качество результатов поиска, но и отрицательно влияет на репутацию поисковой системы. По очень многим коммерческим ВЧ-запросам в списке подсказок появляются такие «примеси», и все поисковые системы, включая Google, Yandex, Bing, Yahoo являются жертвами этой атаки.

Согласно данным Google, 60% сегодняшних поисковых запросов поступают с мобильных устройств. Здесь форм-факторы затрудняют ввод запроса, потому пользователи планшетов и телефонов, в большинстве случаев, полагаются на готовые варианты автозаполнения. Именно так мобильные пользователи подвергаются манипуляциям с помощью подсказок.

Как выявить накрученные подсказки в Google

Не так давно специалисты из трех американских университетов провели масштабный эксперимент с манипуляциями при помощи автозаполнений. Исследование основывалось на автоматическом обнаружении манипулятивных предложений без доступа к журналам запросов. Ученые разработали метод Sacabuche (Search AutoComplete Abuse Checking), решающий данную проблему.

Согласно данному подходу, манипулятивные подсказки можно выявить по семантической несогласованности между триггерными фразами (ключевыми словами внутри триггера) и соответствующими им целевыми фразами (ключевые слова в предложении) . Настоящие подсказки содержат общие формулировки, например, «обзоры», «компании», «список», «услуги». Манипулятивные саджесты являются более конкретными (потому что используются с целью продвижения продукта). Для примера, введя триггер «online backup free download», исследователи обнаружили, что в его предложении появилось незнакомое слово «strongvault»:

Оказалось, что это вредоносное программное обеспечение, которое попало в список с автозаполнениями за счёт манипуляций.

Как работает Sacabuche

На рисунке 5 показана архитектура Sacabuche, включая Искатель Прогнозирования (ИП), анализатор поискового термина (АПТ) и анализатор результатов поиска (АРП). ИП предназначен для обнаружения большого количества автоматических предложений. В частности, он итеративно запрашивает поисковые системы с ограничением глубины до 3 начиная с набора триггеров в качестве входных данных. Это позволяет получить большее количество автозаполнений. Данные предложения дополнительно анализируются АПТ, который рассматривает набор семантических признаков для выявления подозрительных терминов. Затем такие термины запрашиваются в поисковых системах АРП, и их результаты проверяются на основе характеристик контента для захвата управляемых прогнозов.

Метод Sacabuche использует двухэтапный подход, основанный на семантике и минимизирующий его влияние на производительность. Здесь применяется обработка естественного языка для анализа большого количества комбинаций триггеров и предложений без запроса поисковых систем. Таким образом, отфильтровывается подавляющее большинство настоящих подсказок. И только небольшой набор подозрительных формулировок запускается против поисковых систем, чтобы получить результаты запроса для обнаружения манипуляций. Манипулятор может создавать большое количество запросов, но намного сложнее создать множество релевантных результатов, проиндексированных поисковыми системами, поэтому эта особенность помогает отличать проблемные предложения от законных.

Эффективность подхода подтверждается точностью более 96,23% и отзыв 95,63%, а его масштабируемость позволила провести исследование на 114 миллионах предложений.

Для автоматической идентификации манипуляторов исследователи использовали набор технологий NLP (обработка естественного языка):

• Векторное представление слов . Это общее название для различных подходов к моделированию языка на основе обработки естественной речи. Данные методы направлены на сопоставление слов из некоторого словаря векторов. Теоретической базой для векторных представлений является дистрибутивная семантика. Векторное представление предназначено для того, чтобы синонимы получали аналогичные векторы, а антонимы сопоставлялись с разнородными векторами. В исследовании использовался популярный инструмент для встраивания слов Word2Vec , который работает на основе искусственной нейронной сети для построения модели и генерации векторов. С помощью этого инструмента сравнивались семантические значения разных слов и измерялось расстояние косинуса между векторами. Например, технология встраивания автоматически идентифицирует слова, семантически близкие к «казино», такие как «азартные игры» (расстояние до косинуса 0,35), «вегас» (0,46) и «блэкджек» (0,48).
• Анализ зависимостей. Анализ синтаксиса - это метод NLP для описания грамматических отношений между словами в предложении. Такие отношения включают прямой объект, определитель, модификатор существительного соединения и др. Такой современный анализатор зависимости между словами, как, парсер Стэнфорда , достигает 92,2% точности в обнаружении грамматических отношений в предложении.
• Лемматизация. В документе на естественном языке всегда содержатся слова в разных формах, из-за временных аббревиатур и грамматических потребностей. Например, «организовать», «организует» и «организация». Кроме того, существуют слова деривации со сходными значениями, такими как «медленный» и «медлительность». Поэтому нужно узнать исходную форму каждого слова, а затем связать их с выражениями в разных формах. Это можно сделать, используя методы лемматизации, которые уменьшают флективные формы, удаляют флективные окончания и возвращают базовую или словарную форму. Общим алгоритмом лемматизации является морфологический анализ, позволяющий выяснить лемму для каждого слова. Современный алгоритм WordNetLemmatizer позволяет достичь 95% точности.
• Противоположная модель. Манипуляторы создают большое количество запросов в различных источниках для распространения незаконного, нежелательного или несвязанного контента. Из-за этого подход обнаружения на основе IP-идентификаторов становится менее эффективным. Однако, с другой стороны, предполагается, что таким манипуляторам трудно создавать большое количество веб-контента, распространять его на авторитетных веб-сайтах и индексироваться поисковыми системами. Такие меры, безусловно, требуют больших затрат и ресурсов, чем поддельные запросы.

Очевидно, что манипулятивные подсказки «выдает» семантическая несогласованность. Она заключается в том, что триггер и его предложение менее связаны, когда происходит манипуляция с автозаполнением. Это происходит потому, что продвигается малоизвестный продукт, который менее актуален для соответствующего триггера. Например, «играть в онлайн-бинго онлайн-игры на moonbingo. com» и «бесплатные сайты для бинго игроков» - это предложения для триггера «сайты для бинго». При этом первый, с которым манипулируют, более конкретен (продвигает moonbingo. com, сайт бинго) и, следовательно, менее похож на триггер.

В дополнение к семантической несогласованности было обнаружено, что результаты поиска поддельных подсказок не согласуются с их соответствующими триггерами, в то время как «хорошие» им соответствуют. Это связано с тем, что манипулятивное предложение влияет на расставление приоритетов поисковой системой: продвигаемый контент на делает более заметным в выдаче.

На рисунке 6 показана несогласованность результатов поиска поддельных и обычных предложений. Для результатов поиска «доброкачественного» предложения «Norton резервное копирование онлайн бесплатно» они были аналогичны поисковым запросам «резервное копирование онлайн скачать бесплатно». В то же время, в 20-ти лучших результатах поиска по данному триггеру нет ни одного предложения, из тех, что нам предлагала подсказка «strongvault онлайн-резервное копирование бесплатно».

По результатам исследования выяснилось, что 3 тысячи скомпрометированных сайтов, находящихся в ТОП-10 Google, фактически связаны с накруткой поисковых подсказок.

Как обнаружить накрутку подсказок в Яндексе?

У систем подсказок Google и Yandex есть такое понятие, как «свежесть». Например, если какой-то запрос становится популярным за короткий срок, у него есть шанс попасть в подсказки. Но также он может исчезнуть через некоторое время из-за спада интереса.

Yandex обновляет подсказки, как минимум, один раз в день. Запросы, которые теряют актуальность, удаляются. Данная ПС следит за ростом их количества. Поэтому актуальные запросы, которые заинтересовали большое количество юзеров, попадают в «быстрые» подсказки Яндекса. Они обновляются каждые полчаса. Такой отбор происходит на основе резкого роста интереса к событиям (например, последним новостям, и новым публикации и в социальных сетях).

Как же понять, что запрос «накручивают»? Приведу пример очевидной манипуляции с подсказками: случай, когда продвигаемый сайт перекрыл все поисковые подсказки Яндекса по ключу «образование»:

Итак, определить накрутку запроса можно по косвенным факторам. К примеру, если среди информационных подсказок по коммерческому запросу попадается подсказка, содержащая название неизвестной компании.

В поисковой системе Yandex можно заглянуть в Wordstat - историю запроса. Она может о многом рассказать. Если частота запроса за один месяц увеличивается со 100 показов до 10000, это должно насторожить. Такие цифры относятся к первому примеру очевидной накрутки.

Также обнаружить такие манипуляции позволяет анализ журналов поиска и источников для создания предложений. Однако такой подход может выполнять только поставщик поиска, например Yandex или Google. Даже если учитывать поисковые журналы, тщательный анализ огромного количества данных является нетривиальным.

Выводы

Тема манипуляции с поисковыми подсказками очень актуальна. Количество компаний и сервисов, которые предлагают услуги продвижения за счет накрутки саджестов, быстро растет. Однако такой метод снижает качество результатов поиска и негативно влияет на репутацию поисковой системы. Ввиду того что количество подсказок достигает более сотни миллионов, и они постоянно обновляются, такие манипуляции тяжело отследить. Этим могут пользоваться недоброжелатели для фишинга, распространения вредоносных программ или для продажи трафика через партнерскую программу. На мой взгляд, это главные проблемы данного метода.

Подробнее об исследовании, можно прочесть .

Развитие поисковиков не стоит на месте. Каждый год вводятся новые функции и алгоритмы. К некоторым пользователи привыкли настолько, что кажется, будто они были всегда. Одной из таких функций поиска являются поисковые подсказки.

Что это

Являются удобным инструментом систем Яндекс и Гугл, позволяющим упростить и ускорить работу пользователей по поиску нужной информации. При введении своего слова в строку поиска юзер видит все возможные варианты предложений по данной теме. При этом возможные варианты сменяются в зависимости от следующего введенного в строку слова.

Первой их ввел Google. Произошло это в 2004 году. Еще через 4 года эти возможности системы были усовершенствованы. В 2010 году функционал стал еще лучше — теперь можно видеть загрузку результатов по мере того, как вводят каждое слово.

Механизм, выдающий в подсказках только актуальные, то есть недавние, введенные фразы, навел SEO-оптимизаторов на мысль, что это можно использовать для создания семантического ядра сайта. При таком подходе контент сайта будет максимально релевантен запросу пользователей.

Как формируются поисковые подсказки в Google и Яндекс

На основании реальных запросов в сети. Чем популярнее запрос, тем с большей вероятностью он окажется в списке.

Также формирование напрямую связано с:

• история предыдущих запросов данного пользователя;
• актуальность — скорее система выдаст те ключевые слова и фразы, которые были использованы недавно;
• язык, который выбран как основной используемый;
• геопринадлежность — показываются наиболее популярные в конкретном регионе, городе запросы.

Поисковые системы обновляют подсказки для поддержания функции поиска в актуальном состоянии. Удаление происходит в следующих случаях:

1. Если подсказка потеряла свою актуальность.
2. При наличии личной информации.
3. По требованию суда.
4. В случае очевидной .
5. Призывы к насильственным действиям или расовой ненависти.
6. Связанные с порнографической тематикой.

2 последних варианта отсеиваются сразу, на первом этапе проверки.

Многие оптимизаторы пытаются "поставить" бренд в подсказки. Хотя поисковики ведут активную борьбу с этим явлением, иногда они пропускают бренды в выдачу:

• при составлении , стимулирующей пользователей искать сайт, можно обеспечить большое количество запросов по данному бренду. Что, в свою очередь, становится "пропускным билетом" бренда в подсказки;
• участие в масштабных мероприятиях также привлекает большое количество пользователей, ищущих информацию о нем. Если бренд выступает в качестве спонсора или участника мероприятия, это может способствовать его появлению в подсказках, но с меньшей вероятностью, чем предыдущий способ;
• сервис "В подсказке" также дает возможность оказаться в выдаче по запросу. Происходит это путем добавления брендированного запроса в сервисе. Таким образом дается задание участникам, отобранным по их географическому положению, искать сайт по данному запросу. Это позволяет обеспечить не только быстрый рост запросов по бренду, но и длительный интерес. Такая ситуация помогает попасть в поисковики.

Как получить список поисковых подсказок

Можно получить несколькими способами:

1. Используя блок дополнительного поиска в системе Google «Вместе с … часто ищут». Для этого вводится запрос, и можно посмотреть, что ищут вместе с ним.

Такой вид не совсем удобен, поскольку, во-первых, показывает всего около десятка подсказок, что очень мало для создания семантического ядра сайта. Во-вторых, каждую фразу приходится набивать отдельно, что занимает много времени. Выгрузить результаты по нескольким запросам сразу нельзя.

2. Посредством инструментов для парсера подсказок поисковых систем:

Этот сервис подскажет, какие слова пользователи ищут вместе с заданными «ключевиками». Дополнительные слова при этом разделяются от заданного основного знаком «+». Сортировка по алфавиту делает работу с данными удобной для SEO-оптимизатора.

• Keyword Tool является бесплатным сервисом. Он основан на подсказках Google для разных регионов и языков данной поисковой системы. Также сервис позволяет увидеть семантику из Bing, AppStore и YouTube. Стандартно вводится слово в строку поиска, производится отбор по базе данных и языку.
• Словодер — программа, позволяющая работать сразу с несколькими поисковыми системами, поскольку работает через прокси-сервер. Для начала работы необходимо скачать программу, после ее запуска ввести слово для поиска и выбрать нужный поисковик — Google, Mail, Rambler, Yahoo, Nigma. Затем нужно нажать на кнопку «Парсить» и подождать вывода результатов.
• avtodreem

Узнать актуальную информацию о том, каким должен быть дизайн успешного сайта, можно в .

Где найти поисковые подсказки в виде вопросов и как собрать

Эти сервисы по-своему удобны. Но есть сервис, наиболее подходящий для работы SEO-оптимизатора по созданию семантического ядра для конкретного сайта. Этот сервис называется Prodvigator.

Его особенность в том, что он дает возможность получить подсказки поисковых систем в виде вопросов. Эти вопросы — реальные запросы пользователей. Отвечая на эти вопросы, можно привлечь большое количество посетителей на ресурс. Пользоваться сервисом достаточно просто:

Теперь по этим словам и фразам из онлайн сборщика можно сделать продвижение а либо информационного ресурса. Они прекрасно дополнят уже существующее семантическое ядро сайта.

• Переход во вкладку «Только вопросы» поможет увидеть список фраз, которые состоят только из вопросов. Их можно использовать для написания статьи, релевантной запросам пользователей.
• Функция «пакетный экспорт» позволит просмотреть поисковые подсказки по нескольким ключевым фразам. Сервис дает возможность ввести до 200 таких фраз и получить поисковые подсказки по каждой в виде отчета. Для этого ключевые фразы вводятся в нужное поле, результаты фильтруются по топонимам и выбираются лишь вопросительные варианты подсказок.

Использование поисковых подсказок в создании или расширении существующего семантического ядра позволяет получить список релевантных и актуальных фраз, которые обязательно приведут на сайт Ведь это именно те запросы, что используют для нахождения товаров и/или услуг реальные пользователи.

Но соит учитывать также и то, что многие пользователи стараются убрать, подсказки из поисковой системы. И довольно редко включают их снова.

С уважением, Настя Чехова