Дамы и господа! Вот ссылка - subscribe@ashmanov.com. Если Вы кликнете по ней, откроется почтовая программа с бланком письма и заголовком FocusGroup. Еще клик подтверждения, и письмо уйдет на адрес рассылки. Подождите отправлять, я объясню, зачем оно понадобилось.

До сих пор для оценки качества поиска (analyzethis.ru) мы старались использовать тесты с заранее известным правильным результатом. В самом деле, о чем спорить, если проверяется способность поисковика найти сайт odnoklassniki.ru в ответ на запрос сайт одноклассники. Нашел - молодец, не нашел - ответ неправильный. Но такие бесспорные задачи лишь малая часть возможных тестов. В случае, когда требуется оценить результаты, например, по запросам дизайн, образование, работа, возможны несколько версий ответа для каждого запроса, и сложно сказать, какой вариант считать лучшим.

Таких неочевидных задач в оценке поиска большинство. Для ответа на них необходимо выяснять мнение аудитории пользователей, проводить опросы. Вот для них нам и нужны добровольцы. Ответ на один опрос не займет больше минуты Вашего времени, и проводиться они будут нечасто, обещаю.

Вот теперь, если Вы согласны стать участником фокус-группы по оценке качества поиска, - жмите на ссылку и отправляйте письмо. Спасибо.

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Где заказывают суши на дом
Каждый сходит с ума по-своему
Мечты провинциала
Как сравнить несравнимое
Первые цифры и сводная

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

Где заказывают суши на дом

Проведем небольшое исследование. С помощью сервиса статистики ключевых слов Яндекса подсчитаем, как часто вопросы о доставке суши задают жители разных городов России. Возьмем несколько городов-миллионников.

Всего для 8 городов	54350	100%
Москва	23956	44,1%
Санкт-Петербург	13844	25,5%
Екатеринбург	5866	10,8%
Новосибирск	3907	7,2%
Уфа	2640	4,9%
Нижний Новгород	2006	3,7%
Казань	1220	2,2%
Самара	911	1,7%

Или

Москва	23956	44,1%
Санкт-Петербург - ... - Самара	30394	55,9%

Вывод: суши с доставкой на дом в регионах заказывают больше, чем в Москве.

Я живу в Казани, и в эту самую минуту по, казалось бы, самому подходящему запросу доставка суши Рамблер предлагает мне 10 ссылок, по которым можно заказать суши... в Москве. Gogo - 6 адресов для Москвы, 3 для Санкт-Петербурга и 1 для Томска. Bing, Yahoo - по 10 московских. Апорт - 6 московских, 3 для Санкт-Петербурга и одну для Киева.

Если сделать запрос, например, из Нижнего Новгорода, Апорт и там предложит ту же комбинацию из Москвы-Питера-Киева, да и другие перечисленные поисковики без изменений.

Вывод: поисковые системы Рамблер, Апорт, Gogo, Yahoo и Bing не годятся для пользователей из регионов, когда нужно найти местную информацию о товарах и услугах.

Грубо прикинем размеры бедствия. По данным Яндекса, "Пользователи Рунета задают Яндексу более 1,5 миллиарда запросов в месяц. Доля запросов, для ответа на которые важно учитывать регион пользователя, составляет от 15 до 30%, в зависимости от региона". Вероятность, что выбранный наугад поисковый запрос окажется требующим учета региона, равна 0,15-0,3; вероятность, что он будет задан не из Москвы - не менее 0,56. Получается, отсутствие учета регионального фактора приводит к тому, что для 8-16% всех поисковых запросов выдача будет нерелевантной. Оценим размер аудитории, например, для Яндекса это от 120 до 240 миллионов поисков в месяц, 4-8 миллионов каждый день.

Очевидно, что успешно апробированная в системах контекстной рекламы идея геотаргетинга должна хорошо сработать и для формирования результатов поиска. Ее реализация сразу же поднимает качество выдачи на добрый десяток процентов. Это позволяет назвать геотаргетинг в SERP прорывной технологией. Освоивший ее поисковик получает значительное преимущество перед конкурентами.

Развитие SERP-геотаргетинга в Рунете началось в конце 2009 года. 12 октября Яндекс объявил о старте поисковой платформы "Арзамас" - поиск с учетом региона в 19 городах России. Google стал изменять выдачу для регионов в январе-феврале 2010-го (поправьте, пожалуйста, если ошибаюсь).

Каждый сходит с ума таргетирует по-своему

SEPR-геотаргетинг - дело новое. Надежных, проверенных временем решений пока нет, поэтому разработчикам поиска приходится изобретать, а не копировать. Самобытность подходов команд Яндекса и Google хорошо видна из сравнительной таблицы. В ней отражена региональная принадлежность каждого сайта, попавшего в первую десятку результатов поиска для запросов из Казани, Новосибирска, Екатеринбурга и Уфы. Запрос везде одинаков - доставка суши. Список городов можно и продолжить, но картина достаточно ясна.

	КАЗАНЬ		НОВОСИБИРСК		ЕКАТЕРИНБУРГ		УФА
?	Яндекс	Google	Яндекс	Google	Яндекс	Google	Яндекс	Google
1	Москва	Москва	Ново- сибирск	Москва	Екате- ринбург	Москва	Уфа	Москва
2	Москва	Москва	Москва	Москва	Екате- ринбург	Москва	Москва	Москва
3	Москва	Москва	Москва	Москва	Ново- сибирск	Москва	Москва	Москва
4	Казань	Москва	Москва	Москва	Екате- ринбург	Москва	Москва	Москва
5	Москва	Казань	Москва	Ново- сибирск	Екате- ринбург	Челя- бинск	Москва	Уфа
6	Ново- сибирск	Казань	Ново- сибирск	Ново- сибирск	Екате- ринбург	Челя- бинск	Ново- сибирск	Уфа
7	Казань	Казань	Екате- ринбург	Ново- сибирск	Екате- ринбург	Челя- бинск	Челя- бинск	Уфа
8	Москва	Казань	Ново- сибирск	Ново- сибирск	Москва	Челя- бинск	Уфа	Уфа
9	Киев	Москва	Москва	Ново- сибирск	Екате- ринбург	Челя- бинск	Москва	Уфа
10	Екате- ринбург	Москва	Москва	Москва	Москва	Москва	Уфа	Москва

• Правильные "попадания" Яндекса отмечены песочным цветом.
• Правильные "попадания" Google отмечены зеленым цветом
• Красным шрифтом выделена ошибка определения Гуглом запросов из Екатеринбурга.

Мечты провинциала

Как жителя Казани меня очень интересует качественная региональная выдача, поэтому пожелания пользователя сформулировать несложно. Для запроса доставка суши хочется:

• видеть всю десятку результатов занятой исключительно местной информацией, чем больше альтернатив, где можно сделать заказ - тем лучше;
• информация о доставке в Москве, Киеве, Новосибирске, Екатеринбурге и т.п. воспринимается как мусор, вытеснивший из топа нужные ссылки. Особенно, если "чужие" города находятся в Тор5 выше, чем "свои" ссылки;
• информация о том, что это именно казанская (региональная) ссылка, должна быть ясно видна в титуле, сниппете или дополнительных данных;
• лучшей информацией являются ссылки на живые корпоративные сайты специализированных компаний по доставке еды на дом, японских ресторанов, имеющих услугу доставки, автосушистов. Второй сорт - ссылки на разделы каталогов с перечислением означенных заведений.

Необходимо отметить, что эти пожелания касаются выдачи только для запросов, где четко видна транзакционная составляющая - доставка суши. Запрос суши является уже информационным, для таких запросов необходима иная конструкция ответа, о чем мы будем говорить чуть позже.

Как сравнить несравнимое

Задачей проекта Анализаторы поисковых машин является сравнение способностей поисковых систем выполнять различные задачи поиска, чтобы объективно ответить на вопрос, кто же лучше ищет. Какие цифры можно учесть для оценки качества регионального поиска? Вот что следует из таблицы: на одной и той же задаче поиска...

• Яндекс обеспечил 15 правильных соответствий, Google - 14. Или 19, если простить детскую ошибку с определением Челябинска вместо Екатеринбурга.
• Google в каждом наборе выдает по 4-5 региональных сайтов, разброс Яндекса от 2 до 7.
• Google ставит региональную выдачу строгим блоком с 5 по 8-9 позиции, особенности распределения ссылок Яндексом понять сложно.
• Дополняющим городом к региональной выдаче в Google является только Москва, Яндекс в дополнение к Москве предлагает в Казани Киев, в Уфе Челябинск и т.п.

Общее впечатление от двух подходов следующее. Google, вероятно, рассматривает задачу обеспечения региональной выдачи как совершенно отдельную: основная выдача (первые 4 ссылки) во всех городах одинакова, региональная - разная и идет отдельным блоком. Позиции блоков, очевидно, можно менять местами, изучая в разных городах отклик по региональным ссылкам в сравнении с кликами по "московским" предложениям. Яндекс, скорее всего, считает, что регион запроса - всего лишь один фактор из многих и пытается учесть его в общей формуле ранжирования. Чем можно объяснить и разное количество местных ссылок в топах, и хаотичное распределение по позициям.

Время покажет, какой подход окажется лучшим для пользователей. Обе компании активно изучают первые результаты, делают выводы о необходимых настройках, мелкие изменения в региональной выдаче появляются каждый день. Поэтому для сравнения мы воспользуемся описанной выше мечтой провинциала и будем подсчитывать долю успешных попаданий региональных сайтов в топовые позиции по отношению к общему числу возможных позиций. Особо подчеркну, эта модель справедлива только для запросов, где явно выражена транзакционная составляющая, какие и были выбраны для нашего исследования.

Первые цифры и сводная

Данные для анализа - 90 достаточно популярных поисковых запросов, 8 городов. Вот первые итоги сравнительной оценки поисковиков по наличию-отсутствию геотаргетинга в результатах поиска.

• Яндекс - 30,62%
• Google - 10,58%
• Рамблер - 5,8%
• Yahoo - 4,93%
• Gogo - 4,14%
• Апорт - 3,76%
• Bing - 3,66%

Благодаря усилиям оптимизаторов в Москве все системы демонстрируют отличную региональную составляющую, и показатели для Рамблера, Апорта, Yahoo, Bing и Gogo ненулевые. Картину дня для семи городов, помимо Москвы, можно увидеть, покликав подробные таблицы выложенного на тест-площадке нового анализатора регионального поиска.

Добавление нового анализатора к экспериментальному общему рейтингу привело к снижению показателей всех поисковиков. Что неудивительно - качество регионального поиска в Яндексе и Гугле пока не очень хорошее, а остальные поисковые системы держатся только за счет сформированной оптимизаторами московской выдачи.

Ищем заинтересованных людей.
Тема - создание системы экспертного поиска в Рунете.
Адрес редакции - subscribe@ashmanov.com
Пишите, ждем. См. подсказку "О чем можно и нужно писать в редакцию"

Подписаться на рассылку "Проблемы качества поиска" можно, отправив письмо с заголовком EXPERT_SEARCH_SUBSCRIBE на адрес subscribe@ashmanov.com.
Адрес для отписки - тот же.

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"