Сравнение поисковых машин не самое легкое дело. В интернете можно найти утверждения, что лучшим поисковиком является Яндекс. И утверждения, что - Google. И Gogo, и Рамблер, и Апорт, и появившиеся в Рунете Bing с Yahoo - это тоже лучшие поисковики, по чьему-то мнению. Спорят о лидерах поиска много и много где. К сожалению, частенько столкновение мнений уводит спор от обсуждения предмета к обсуждению обсуждающих. Как в известном анекдоте про диалог неопытных альпинистов:

- Страхуй.
- Сам страхуй!
- От страхуя и слышу!!!

Тема сложная, всем хочется быть лучшими и правыми. Существует ли более-менее объективная истина? Возможно ли, не прибегая к "страхуям", в конструктивном разговоре попытаться выяснить, какой поисковик действительно лучше и почему? Как это выяснить?

Об этом сегодня и поговорим. В статье много букв, для удобства разбил на разделы.

• О пользовательской оценке и о данных из открытых источников
• О задачах (метриках) сравнения
• О сводном показателе качества поиска
• Пояснения к таблице
• Какой поисковик лучше, насколько, и о перспективах
• Дисклаймер и приглашение к обсуждению

О пользовательской оценке и о данных из открытых источников

Сравнивать поисковые системы можно с различными целями. Нас интересует главная: определить, какой поисковик лучше помогает людям найти нужную информацию.

• "Лучше" означает - найти быстрее и с минимумом умственных и физических усилий пользователя.
• "Нужную" означает - авторизованную, достоверную, актуальную, хорошо оформленную, структурированную, максимально полную информацию, точно соответствующую реальной потребности обращения к поиску.

С учетом, что для большинства поисковых запросов и для каждой значимой ссылки в результатах поиска возможны самые различные сочетания оценок авторизованности, достоверности, структуры и других параметров, дать характеристику качества работы поисковой системы очень непросто. Необходима какая-то методика измерения удовлетворенности пользователей результатами поиска.

Существует только один надежный способ выяснить, довольны пользователи или нет - спросить самих пользователей. Правда, нужно знать, что и как спрашивать. Люди с удовольствием отвечают на вопросы "кто лучше - Яндекс или Гугл", "нужна ли возможность голосового ввода запросов", "должен ли поисковик быть личным финансовым аналитиком" и т.п. Такие вопросы-ответы дают хлеб журналистам, но для разработчиков поиска они бесполезны. Разработчикам нужны ответы на совсем другие вопросы: а) является ли сайт N исчерпывающим ответом на запрос A, б) является ли информация на сайте M прямым ответов на запрос B или это дополнительная информация, в) какой сайт лучше отвечает на вопрос C - K или L. И таких ответов-оценок нужны сотни тысяч, желательно, миллионы.

От миллионов обычных пользователей невозможно получить миллионы оценок. Не имеющий специальной подготовки человек не сможет правильно принимать решения в типовых задачах об "исчерпывающем", "прямом-дополнительном" и "какой сайт лучше". А малая группа подготовленных пользователей не будет постоянно заниматься оценкой выдачи на общественных началах. Получается, что для оценки своего (и чужого тоже) поиска поисковики должны нанимать "профессиональных пользователей", асессоров (оценщиков). Нанимают - и Яндекс, и Google содержат мощные асессорские службы.

Таким образом, крупные поисковики могут провести сравнительный анализ качества поиска разных поисковых машин вполне очевидным способом:

• составить репрезентативную выборку поисковых запросов;
• показать своим асессорам результаты поиска разных поисковиков по отобранным запросам. Оценивая выдачу, асессоры не должны знать, из какой поисковой машины получены данные;
• сравнить результаты оценки.

Скорее всего, мониторинг возможностей конкурентов ведется постоянно. Но поисковики вряд ли будут открыто публиковать результаты сравнения из-за необходимости защиты корпоративных интересов. Нам же нужна методика оценки качества поиска, не зависящая от навыков работы штатных асессоров и основанная на открытых данных.

Именно такой подход используется в анализаторах поисковых машин. Разным поисковым машинам дается одна и та же задача сравнения, для которой существует более-менее однозначный способ оценки. Далее по результатам рассчитывается процент успешного выполнения этой задачи каждым поисковиком. Эти цифры получены с помощью анализа информации из открытых источников и их уже можно сравнивать друг с другом. Но что они означают, какие выводы можно сделать из этих данных?

Например, в навигационном поиске целью является попадание на известный сайт. Находим 100 навигационных запросов (маркеров) и соответствующие им сайты. Задаем эти запросы разным поисковикам и сравниваем, какой поисковик сколько сайтов сумел найти. Видим, что Яндекс и Google нашли по 96 сайтов, Рамблер - 94, Bing - 88, Апорт - 83, Yahoo - 79, Gogo - 77.

При всей "самоочевидности" способа оценки на основании такого теста невозможно сделать вывод, что в Яндексе с Гуглом лучший навигационный поиск. По-настоящему качество поисковика определяется его способностью удовлетворять бОльшее количество пользователей, поэтому при оценке необходимо учитывать частоты запросов-маркеров. Вот поясняющий ситуацию пример.

Допустим, Яндекс хорошо находит нужный сайт по навигационному запросу А, имеющему частоту 1000 обращений в месяц, но не находит правильные сайты для запросов B и C, частоты которых равны 10. А Апорт, наоборот, хорошо ищет по запросам B и C, но ошибается по запросу А. По описанному выше расчету, Яндекс выполняет поставленную задачу на 1/3, а Апорт на 2/3. В то же время Яндекс удовлетворяет ожиданиям 1000 пользователей, а Апорт смог показать верный результат лишь 20 пользователям из 1020.

Кто же лучше - тот, кто может ответить на большее количество запросов, или тот, кто хорошо отвечает на более популярные запросы?..

Как видим, для полноценного сравнения поисковых машин с четким выводом о количестве довольных пользователей необходимы данные о формулировках реальных запросов и их частотах. Такой информации в открытом доступе нет. Поэтому для независимой оценки мы вынуждены рассматривать показатель, "физический смысл" которого пока точно не определен, - процент успешного выполнения задачи сравнения. К объяснению этого термина вернемся чуть позже.

О задачах сравнения

Используемые сегодня тринадцать разных задач сравнения и способы расчета процента успешного выполнения каждой задачи описаны в соответствующем разделе анализаторов. Рассмотрим следующие вопросы.

• Что общего у задач сравнения (метрик), которые стоит учитывать при оценке качества поиска.
• Сколько метрик необходимо для более-менее надежной оценки качества поиска.
• Можно ли характеристики поисковой системы по разным метрикам свести в единый показатель качества поиска.

Общей чертой тестов, данные которых стоит учитывать при оценке качества поиска, является значимость результата, с точки зрения пользователей. Поясню на примере. Чем, с точки зрения пользователей, отличаются анализатор апдейтов от анализатора навигационного поиска? Данные по апдейтам для пользователей не имеют значения, им все равно, был ли вчера-позавчера апдейт или нет. Но снижение качества навигационного поиска мгновенно отразится на пользователях, они попросту не смогут найти нужные ссылки.

Два анализатора из тринадцати не являются пользовательскими, это технические анализаторы апдейтов и переходов. Для оставшихся одиннадцати пользовательская значимость ясна.

1. Навигационный поиск - сравнивается способность поисковиков находить известные сайты.
2. Тематический (экспертный) - сравнивается способность поисковиков формировать выдачу, близкую к ручной экспертной подборке ссылок.
3. Подсказки - сравнивается способность поисковиков замечать ошибки при наборе запроса и подсказывать пользователям правильные варианты.
4. Опечатки - сравнивается способность поисковиков не реагировать на явные опечатки при наборе запроса и выдавать результаты как для запросов без опечаток.
5. Цитаты - сравнивается способность поисковиков находить источники известных цитат.
6. Оригиналы - сравнивается способность поисковиков находить первоисточники.
7. Синонимы - сравнивается способность поисковиков правильно распознавать одинаковые по смыслу запросы с разными формулировками.
8. Спам - сравнивается способность поисковиков удалять спам из результатов поиска.
9. SEO-прессинг (монотематичности выдачи) - сравнивается способность поисковиков противостоять попыткам оптимизаторов в коммерчески значимых тематиках превратить выдачу в набор однотипных рекламных ссылок.
10. Порно - сравнивается способность поисковиков фильтровать ссылки на порносайты по не относящимся к порнотематике запросам.
11. Полнота - сравнивается способность поисковиков отвечать на редкие запросы.

Перечисленные анализаторы работают давно и неплохо. Но только ли вышеописанные метрики определяют качество поиска? Конечно, нет. Навскидку видна разумная необходимость в следующих исследованиях:

1. анализ региональной выдачи,
2. анализ наличия дубликатов контента в топовых ссылках выдачи,
3. анализ обработки сокращений и аббревиатур,
4. анализ наличия ответа на вопрос в сниппете,
5. анализ выявления смысла нечетких запросов,
6. анализ качества поиска программного обеспечения,
7. анализ качества поиска известных тематических форумов.

Этот список дополнений тоже далеко не полный, возможны десятки новых тестов. Поиск многообразен, и каждую реальную проблему или технику пользовательского поиска можно исследовать с помощью соответствующей метрики. Чем их больше, тем точнее анализ.

О сводном показателе качества поиска

Набор из не связанных между собой одиннадцати цифр от разных тестов невозможно использовать для сравнения поисковых машин. Сегодня (12.12.2009), например, у Яндекса лучший показатель по навигационному поиску, Gogo лучше всего подсказывает, Google находит цитаты, Yahoo оригиналы, а Binq удачнее исправляет опечатки. У кого же поиск лучше "вообще", "в целом"? Как свести данные многих метрик в одну цифру?..

Настало время поговорить о "физическом смысле" единого показателя, о том, что мы подразумеваем, произнося слова "качество поиска". Как правило, качество связывают с какими-то обобщенными пользовательскими ощущениями от поиска. "Мне кажется, Яндекс ищет лучше", "Я думаю, что у Google самый лучший поиск в Рунете", "Искал документ N в Гугле и в Яндексе, а нашел только в Gogo, поэтому он круче всех" - обычно именно в таких выражениях люди пытаются передать свое мнение о поиске: с помощью частных примеров, не уточняя, почему думается и кажется именно так, а не иначе. Вот возможные варианты расчета, основанные на количественном учете обобщенного мнения пользователей.

• Качество поиска - это процент новых пользователей, удовлетворенных результатами поисковой машины и выбравшие ее для себя в качестве поисковика по умолчанию. || Пришли 1000 новых пользователей, через год остались 400, остальные ушли к конкурентам, качество поисковика - 0,4 (40%).
• Качество поиска - это процент ответов, оцененных экспертами как идеальные ("валидные", "релевантные", "удовлетворительные"), по отношению к общему количеству ответов поисковой системы за единицу времени. || В течение недели (дня, часа, 10 секунд и т.п.) поисковик выдал 10000 ответов, асессоры оценили все, хорошими признаны 3500, качество поисковика - 0,35 (35%).

К сожалению, рассчитать такие показатели можно только при наличии данных собственной статистики поисковых машин, которые в открытом доступе не публикуются.

В analyzethis.ru факторы, от которых зависит совокупное мнение пользователей о поиске, сознательно выделяются и анализируются по отдельности. Но мы не знаем точного рецепта воссоздания из отдельных факторов такой эмпирической оценки как "общее впечатление пользователя от поиска". Можно предполагать, что умение поисковика хорошо находить сайты по навигационным запросам более важно, чем способность к автозамене опечаток при вводе запроса. Но... насколько важнее - на 15%, в два раза, в десять, в сто раз?..

То же самое относится к другим анализаторам, сегодняшним и будущим. Если метрика создана, значит, мы считаем, что рассматриваемый параметр важен для оценки качества поиска. Но сегодня в открытом доступе нет информации, которая позволила бы сформулировать надежную гипотезу о коэффициентах значимости для каждой метрики.

Тем не менее, есть очень хорошая аналогия, дающая возможность попытаться свести разные характеристики в одну цифру. Качество поиска в идеальном его понимании не приемлет мелочей. При таком жестком подходе к качеству набор характеристик чем-то похож на комплекс систем жизнеобеспечения полетов, где каждая система тестируется отдельно и допускает только 100%-ный успех при испытаниях.

Поисковые системы, конечно, не пилотируемые космические аппараты, но сравнивать их стремление к достижению идеального качества во всех анализируемых параметрах вполне можно. Для этого достаточно вычислять средний процент успешного выполнения всех тестов, результаты которых уже имеют одинаковую размерность. Так, например, данные для Яндекса на 12 декабря.

Навигационный	Тематический	Подсказки	Опечатки	Цитаты	Оригиналы
96,3	32,9	93,9	48,0	60,0	36,0

Синонимы	Спам	SEO-пресс	Порно	Полнота
63,5	98,9 (100-1,1)	51,1 (100-48,9)	94,1 (100-5,9)	67,4

Процент приближения качества поиска Яндекса к идеалу считаем как
(96,3+32,9+93,9+48+60+36+63,5+98,9+51,1+94,1+67,4)/11 = 67,5% И интерпретируем эту цифру следующим образом: 12 декабря при прохождении 11 тестов на качество поиска Яндекс сумел набрать 67,5 из 100 максимально возможных.

Другие поисковые системы поставлены в аналогичные условия: те же тесты, те же маркеры, та же система расчета сводного показателя. Сколько набрали Google, Рамблер, Gogo?.. Смотрим - вот таблица Рейтинг поисковых машин по качеству поиска.

Пояснения к таблице

Сводная таблица рейтинга построена полностью на данных analyzethis.ru, клик по ссылке "Подробнее" для каждой даты развернет таблицу с исходными цифрами. Таблица достаточно говорящая, понять ее можно и без пояснений, но пусть будут.

• Каждая колонка заполняется данными для одной поисковой системы. Ранжирование колонок слева направо по убыванию сводного показателя в верхней строке (это самая свежая дата).
• Стрелки вверх-вниз и цифры одноименного цвета показывают изменение текущего значения показателя по сравнению с его же значением на предыдущую дату.
• Цифры 1-7 справа от сводного показателя - место данного поисковика в рейтинге на дату, указанную в первой колонке строки.
• Красная подсветка ячейки - ухудшение позиции в рейтинге для данного поисковика по сравнению с предыдущей датой.
• Зеленая подсветка ячейки - улучшение позиции в рейтинге для данного поисковика по сравнению с предыдущей датой.

Какой поисковик лучше и о перспективах

Из таблицы хорошо видно, что поисковики Рунета по качеству поиска можно разделить на три группы.

• Группа лидеров - Яндекс и Google. Борются за преимущество в 0,5-1,5% на 1-2 местах рейтинга. Средняя позиция в рейтинге за последние две недели: Яндекс - 1,07, Google - 1,93.
• Середняки - Gogo, Bing, Рамблер. Отстают от лидеров примерно на 7-10%, борются за преимущество 0,5-3% на 3-5 местах рейтинга. Наиболее похожи Binq и Gogo, Рамблер аутсайдер в группе.
• Аутсайдеры - Yahoo и Апорт. Отстают от лидеров примерно на 20-25%, борются за преимущество 0,5-2,5% на 6-7 местах рейтинга.

Средние позиции поисковых систем в рейтинге за последние две недели, неплохо видно, кто к какому месту тяготеет.

1. Яндекс - 1,07
2. Google - 1,93
3. Gogo - 3,43
4. Bing - 3,64
5. Рамблер - 4,93
6. Yahoo - 6,07
7. Апорт - 6,93

Совпадают ли ваши представления о поисковых системах с расчетными?

Как сказано выше, предложенный набор метрик не охватывает всех аспектов оценки качества поиска. Но увеличение количества анализаторов без сводного показателя внесло бы только путаницу. Ввод в действие этой характеристики позволяет легко добавлять новые метрики и анализировать их влияние на качество поиска. Надеюсь, проект будет развиваться в этом направлении.

Дисклаймер и приглашение к обсуждению

Хочется отметить, что предложенная таблица является первой попыткой количественно, на основании открытых данных сравнить поисковые системы Рунета по такому непростому показателю как качество поиска. Поэтому просьба считать методику первым подходом к снаряду, бета-версией. Ввод цифр в арсенал публичных приемов сравнения, ограниченный до сих пор частными примерами, туманными догадками и "страхуями", дает интересующимся темой много поводов для заметок с заголовками, к которым профессионалы отнеслись бы с оторожностью. "Яндекс и Google борются за полпроцента!", "У Апорта есть перспективы, он всего лишь в полтора раза уступает лидерам по качеству поиска!", "Gogo и Bing ищут одинаково!", "Удержится ли Рамблер в группе середнячков или перейдет в аутсайдеры?.." и т.п.

С одной стороны, это хорошо - пытаться говорить о качестве поиска, сравнивать, аргументировать. С другой, нужно помнить, что крупные поисковики имеют намного больший опыт оценки собственного поиска и поиска конкурентов. Возможно, какие-то важные вещи мы упустили, поэтому, с точки зрения разработчиков поиска, либо сам рейтинг, либо количественные отношения между поисковиками иные.

О сомнениях было сказано выше - малый набор метрик и отсутствие гипотезы о справедливых коэффициентах значимости для каждой задачи сравнения. Если у вас есть что добавить, уважаемый читатель, или вы можете предложить основанные на проверяемых данных коэффициенты, идеи новых метрик - пишите на subscribe@ashmanov.com. Будем признательны и лучшие письма опубликуем.

Смешная картинка питерского художника-карикатуриста Вячеслава Шилова к статье "Предисловие ненаписанной книги"

"Мы подробно рассмотрим вопрос о качестве поиска, расскажем, от чего оно зависит, и приведем примеры, какими могут быть по-настоящему качественные результаты. Насколько разумны наши выводы - решать вам, уважаемые читатели. Вы в той же лодке и, как и мы, ищете информацию с помощью поисковых систем, а не только продвигаетесь в них.

Надеемся, что по прочтении вы будете лучше представлять, к чему идет сетевой поиск, и каковы критерии качества поисковой выдачи, с точки зрения ее потребителей. От этих представлений обычно и зависит выбор, в каком направлении прилагать усилия по развитию и продвижению своего проекта." Посмотреть >>

Ищем заинтересованных людей.
Тема - создание системы экспертного поиска в Рунете.
Адрес редакции - subscribe@ashmanov.com
Пишите, ждем. См. подсказку "О чем можно и нужно писать в редакцию"

Подписаться на рассылку "Проблемы качества поиска" можно, отправив письмо с заголовком EXPERT_SEARCH_SUBSCRIBE на адрес subscribe@ashmanov.com.
Адрес для отписки - тот же.

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"