Статью о двух парадигмах поиска в прошлом выпуске я закончил крайне спорным утверждением: "Машинное и ручное может и должно быть совмещено для улучшения результата поиска по отдельно взятому запросу без изменения результатов по другим запросам". Иными словами допустил возможность ситуации, прямо противоречащей букве лицензии Яндекса.
Упорядочивание результатов, как часть процесса индексирования и поиска, происходит полностью автоматически в соответствии с установленными критериями релевантности.
Большинство прочитавших этот текст слова об установленных критериях почему-то понимают как "в соответствии с формулой расчета релевантности", хотя речь здесь идет о совершенно разных вещах. Необходимо разобраться, чем формула отличается от критериев.
Рисунок Валентина Дубинина
Релевантность как число
В "физическом смысле" релевантность - это число, рассчитываемое для каждой ссылки в результатах поиска по запросу. Вычисляется по формуле, в которую входит некоторое количество переменных. Ранжирование ссылок производится по убыванию этого числа. Переменных много, но делятся они всего на две группы: связанные с текстом страницы и связанные со ссылками.
Такого представления о релевантности как о формуле вполне достаточно для занятий SEO. Точка зрения слишком многих специалистов, не говоря уже о молодежи, следующая:
- нахождение ссылки на сайт в первой десятке результатов поиска по запросу является аналогом рекламного размещения, клиенты согласны платить за такую рекламу;
- значит - нужно учиться выяснять, какие параметры и каким образом учитываются в формуле расчета релевантности, и учиться моделировать ситуацию (текст сайта, внешние и внутренние ссылки) таким образом, чтобы расчетное значение было достаточным для попадания ссылки на продвигаемый сайт в Тор10 результатов поиска;
- остальное уже чистый бизнес: как получить и удержать клиента, как позиционироваться среди конкурентов, как оценивать эффективность, за счет чего максимизировать прибыль и т.п.
Что и делается, все больше и больше. Но результаты этой деятельности к качеству поиска отношения не имеют, наоборот, создают серьезные проблемы для поисковых машин.
Нам необходимо рассмотреть точку зрения разработчиков поиска. Может, в этом направлении мы найдем ответ на вопрос, какие же установленные критерии релевантности лежат в основе современной выдачи.
Методика Харина-Ашманова
Методы оценки работы поисковых машин описаны в документах, которые можно найти в Интернете. Вот отрывок из опубликованной в 2000 году "Упрощенной методики сравнительной оценки технической эффективности поисковых машин Интернет" Николая Харина и Игоря Ашманова.
1. Что такое техническая эффективность
Общая эффективность работы поисковой машины характеризуется рядом параметров, среди которых можно выделить скорость поиска по запросу, объём базы, удобство представления результатов, скорость индексирования информации и т.д. Особое место среди этих параметров занимают показатели качества поиска. Будем говорить, что эти показатели являются характеристиками технической эффективности поисковой машины. Техническая эффективность поисковой машины выражается в ее способности находить нужные документы и только их...
2. Параметры технической эффективности
В общем случае найденные по запросу документы относятся к одной из двух категорий: одни соответствуют запросу (релевантны), другие запросу не соответствуют, то есть нерелевантны. Количество релевантных документов в выдаче и характеризует качество поиска, то есть техническую эффективность поисковой машины. Техническую эффективность поиска оценивают двумя параметрами - полнотой и точностью. Полнота есть отношение количества найденных релевантных документов к полному количеству релевантных документов в базе данных. Точность поиска есть отношение количества найденных релевантных документов на полное количество найденных документов.
Пример. Пусть по запросу найдено 50 документов. После просмотра всех этих документов пользователь принимает решение, что 30 документов релевантны запросу, а 20 нерелевантны. Сплошной просмотр всей базы данных показал, что в ней содержится 100 документов, релевантных запросу. Отсюда получаем:
- полнота 30/100 = 0.3;
- точность 30/50 = 0.6.
Нужно заметить, что релевантность относится к смыслу документа и к смыслу запроса (не всегда очевидному), поэтому релевантность - вещь субъективная и зависит от мнения пользователя о соответствии документа запросу. Тестирование должно сводить субъективность к минимуму за счёт достаточно большой группы тестирующих, точной формальной методики и так далее.
3. Особенности оценки технической эффективности
- Приоритетно тестирование точности. В типовом случае по запросу находится очень много документов, среди которых немало и релевантных. Поэтому большее значение имеет не полнота, а точность поиска. Действительно, рассмотрим 2 поисковые машины. По некоторому запросу 1-я машина находит 200 документов и все они релевантные. 2-я машина по этому же запросу находит 5000 документов, из которых релевантны 500, причем среди первых 200 документов релевантны только 100. И хотя полнота поиска 2-й машины существенно выше, совершенно очевидно, что лучше 1-я машина, поскольку редкий пользователь способен просмотреть несколько сотен найденных документов (чаще же всего пользователь ограничивается первой страницей результатов поиска).
- Нужно тестировать качество ранжирования. Найденные документы выдаются в ранжированном виде, поэтому при оценка качества поиска нужно учитывать позицию документа в списке найденного, то есть качество поиска по запросу следует характеризовать набором значений точности при разном размере начальной части списка документов, например, задавать значения точности при 10, 30, 50, 70 и 100 документах из начальной части списка. Чем больше количество значений, тем точнее оценка, но и трудоемкость оценки больше.
- Нужна градация значений точности. Из множества значений точности, характеризующих качество поиска по запросу, более важны те, которые получены для небольшого количества документов. Например, точность при 30 документах важнее точности при 300 документах. Другими словами, основной интерес представляет зависимость между полнотой и точностью в области малых значений полноты...
4.2. Формирование условий релевантности
...Большинство запросов к поисковым машинам Интернет состоит из малого числа слов. Автор запроса, скорее всего, имеет в виду гораздо больше того, что им указано в запросе.
Пример. Рассмотрим запрос "Большой театр". Возможны самые разные интерпретации данного запроса (то, что подразумевалось автором запроса) - например:
- Все документы, в которых упоминается Большой театр;
- Как найти сайт Большого театра;
- Основные сведения о Большом театре: ведущие артисты, готовящиеся премьеры, история театра;
- Как заказать билеты на спектакль в Большом театре.
Таким образом, задачей настоящего этапа является формирование наиболее вероятной интерпретации запроса. Интерпретаций может быть несколько. Так, в случае рассматриваемого примера наиболее вероятными представляются 2-я и 3-я интерпретации. Две эти интерпретации и составят условие релевантности документов запросу Большой театр. Иными словами, для данного запроса получаем следующее описание.
Запрос "Большой театр". Условие релевантности: релевантными следует считать следующие документы:
- документы с сайта Большого театра;
- документы, содержащие основные сведения о Большом театре: ведущие артисты, готовящиеся премьеры, история.
А теперь предположим, что для рассматриваемого запроса не было составлено условие релевантности. В этом случае при оценке релевантности найденных документов с большой вероятностью будет использована первая интерпретация, то есть нерелевантными будут считаться только те документы, в которых явно не говорится о Большом театре. Например, будет признан релевантным документ, содержащий единственное вхождение: "Я целых пять лет не был в Большом театре".
Таким образом, понятие релевантности при тестировании должно отличаться от простой констатации факта нахождения на странице искомых слов. Тестирующего должен интересовать смысл документа и его соответствие условию релевантности, а не механическое обнаружение слов на странице.
На условия релевантности также влияют соображения о том, что в большинстве своём хотят найти пользователи, дающие этот запрос. Если большинство пользователей имеет в виду только один смысл из всех возможных смыслов данного запроса, то его и нужно признать условием релевантности.
Пример: запросу "руки вверх" релевантны сайты, содержащие сведения о музыкальной группе "Руки вверх", и не релевантны анекдоты про Штирлица, хотя данное словосочетание в них и встречается, поскольку подавляющее большинство пользователей ищет именно группу "Руки вверх"...
Из процитированного следует.
- Задача поисковой машины: а) найти все документы, в которых есть слова запроса, б) наверху списка разместить релевантные, т.е. соответствующие смыслу запроса.
- Соответствие или несоответствие смыслу запроса - это субъективное мнение человека, который проводит оценку. Более-менее объективная картина складывается, если имеются а) точная формальная методика оценки (иными словами - правила, законы оценки) б) большая группа оценщиков. Интересно, что слово асессор (asessor) в переводе с латыни - лицо, сведущее в законах, а в страховом бизнесе слово "асессор" является синонимом слова "оценщик". Т.е. асессор в поиске - человек, объединяющий оба смысла этого слова: он должен оценивать соответствие результатов поиска смыслу запроса на основании некоей "законной" методики.
- Методика заключается в формировании для каждого оцениваемого запроса т.н. условий релевантности - гипотезы о наиболее вероятной интерпретации запроса, о возможных ожиданиях пользователей, задающих данный запрос. Интерпретаций может быть несколько.
- Из всех возможных интерпретаций смысла запроса в качестве условий релевантности следует признать те, которых придерживаются подавляющее большинство пользователей.
Статья написана профессионалами, но вот парадокс... как же все это отличается от привычных чеканных фраз о полностью объективном автоматическом ранжировании. Сколько двусмысленностей, сколько неопределенностей, сколько субъективности! Оказывается, чтобы "релевантность" выдачи отражала объективную и полную картину ожиданий пользователей от результатов поиска, нужно, в идеале:
- для каждого запроса сформировать условия релевантности. Напомню, что разных запросов десятки миллионов;
- оценить выдачу по каждому запросу силами всех пользователей, которые задавали, задают и могут его задать. Количество таких "оценщиков" в Рунете тоже исчисляется десятками миллионов человек, это собственно все пользователи поисковиков.
Очевидно, задача невыполнимая. Но оценивать выдачу как-то надо, иначе придется признать, что "критерии" качества поиска зависят не от удовлетворенности пользователей результатами, а действительно от количества слов запроса в тексте найденного документа, количества ссылок по тексту, содержащему слова запроса и др. переменных формулы ранжирования. Поэтому главными проблемами разработчиков поиска в деле оценки качества выдачи являются проблемы репрезентативности. Выглядят они примерно так.
Проблемы репрезентативности
Сформулировать для десятков миллионов запросов условия релевантности нереально. Но можно взять меньшую выборку запросов, описать для каждого условия релевантности и оценить каждый результат в значимом диапазоне выдачи по каждому запросу выборки. Значимый диапазон - это "зона видимости", количество ссылок, которые действительно просматривают пользователи. В самом жестком варианте оценки это содержание первой страницы выдачи, в более мягком - до трех страниц. Оценивать выдачу на бОльшую глубину смысла не имеет. Допустим, оценивается 100 запросов по первой десятке, т.е. всего 1000 ссылок. Предположим, что 900 из них асессорами признаны релевантными, 100 - нет. Можно ли на основании проверки этих 100 запросов сделать вывод, что на первой странице результатов поиска по всем десяткам миллионов разных запросов нерелевантными являются не более 10% ссылок? Если нет, говорят, что выборка нерепрезентативна. Сколько запросов должно быть в репрезентативной выборке, какие, почему?.. Решать эту задачу сложно, и ответ неоднозначный.
Значение действительно хорошей выборки невозможно переоценить. Проведя единственный раз полную разметку ответов по такой выборке, в дальнейшем при любом апдейте или релизе достаточно оценивать только новые ссылки, появившиеся в рассматриваемом диапазоне. После чего сразу становится ясно, насколько удачным или неудачным оказался новый поисковый алгоритм или индекс. Скорее всего, именно об этом говорил технический директор Яндекса Илья Сегалович, упоминая "десятки тысяч размеченных запросов". И, конечно, работу по разметке Яндекс и др. поисковые системы будут продолжать.
Вторая проблема репрезентативности изложена еще А.С. Грибоедовым в комедии "Горе от ума". Звучит кратко: "А судьи кто?.." В смысле, асессоры. Формулировка условий релеваности и последующая разметка, т.е. вынесение решения релевантна или нет запросу оцениваемая страница, как сказано выше, полностью зависит от асессора. Объективность достигается учетом мнений группы асессоров. Давайте наберем группу из дошколят... э-э-э... неправильный подход, да?.. А какой - правильный? Какой должна быть группа, чтобы ее общему мнению можно было доверять при анализе выдачи по миллионам запросов, каков состав группы - пол, возраст, образование, опыт работы в интернете, заинтересованность участников в результатах своего труда, ответственность за ошибки и т.д? Как видим, и здесь все далеко не просто.
Методика РОМИП
Но и это еще не все. Представим, что каким-то чудом удалось удачно разрешить проблемы репрезентативности выборки и сообщества асессоров. Как именно они будут оценивать выдачу по запросам, какова методика? Документы, позволяющие представить себе этот процесс, тоже есть в интернете. Процитируем довольно приличный отрывок из "Инструкции для асессора для дорожки поиска по Веб-коллекции", он есть на сайте РОМИП (Российского семинара по оценке методов информационного поиска), это более свежая публикация (2007 год).
Для оценки качества работы поисковой системы применяются различные оценки, основанные на анализе результатов работы системы. При этом "идеальным" алгоритмом считается тот, для которого выводы, сделанные системой, согласуются с мнением оценивающих экспертов...
B.1 Что такое описание запроса?
Описание запроса - это Ваше понимание того, что искал пользователь, задавший этот запрос, и какие ответы были бы ему полезны. Обратите внимание, что целью поиска может быть не только поиск информации или ответа на вопрос, но также и, например, поиск новостей о каком-то событии, поиск сайта или онлайн-сервиса, поиск каких-то ресурсов, не являющихся частью страницы с ответом (музыка, видео, реферат и др.), поиск коммерческих предложений, а не информации (где купить тур в Болгарию, а не того, какие вообще бывают варианты поездок) и другие. Есть 3 градации полезности, которые необходимо описать в описании (см. раздел B.4):
- Идеальный ответ (обозначен как "Соответствует");
- Релевантный+ (обозначен как "Скорее соответствует");
- Релевантный- (обозначен как "Возможно соответствует").
В зависимости от цели поиска определение того, какие результаты относятся к каждой из групп, меняется. Идеальный ответ подразумевает, что получив такой результат, в принципе, дальше можно не искать. Для запросов, которые подразумевают сбор информации по теме, а не поиск конкретных фактов, - это документ, который позволяет составить относительно полное представление о теме. В ряде случаев идеальных ответов НЕ существует. Например, "игры для телефона" или "путевки в Болгарию" - на эти запросы можно найти много альтернативных полезных, но не исчерпывающих ответов. Релевантный+ - это очень полезный, но не идеальный документ. Например, он содержит полезную, но не исчерпывающую информацию или является одним из возможных альтернативных ответов.
Релевантным может быть и документ, содержащий ссылку на искомый ресурс, если из вида этой ссылки и текста вокруг нее вам ясно, что по этой ссылке находится идеальный ответ. Релевантный- -документ, содержащий полезные кусочки информации или много полезной, но не очень авторитетной информации. Например, отзывы на форуме об отдыхе в Потугалии (они отражают чье-то личное мнение и могут быть недостоверными), если только целью поиска был поиск отзывов, а не информации об отдыхе.
B.2 Как составить описание для запроса?
Попробуйте представить себя на месте человека, задавшего запрос, и ответить на следующие вопросы:
- Что является целью поиска:
- информация (ответ на вопрос, сбор информации по теме, новости);
- нахождение конкретного сайта или документа;
- поиск ресурсов, на которые есть ссылки со страниц (скачать песню или книгу, найти игру, посмотреть видео или фотографии).
- Сколько ответов возможно на запрос:
- Существует один конкретный ответ (который при этом может быть повторен во многих документах);
- Вероятнее всего информацию придется собирать по кусочкам.
- Что такое "не полный, но полезный" ответ
Посмотрите примеры описаний и используйте их как образцы, если они подходят под ситуацию. Описание не обязательно должно быть длинным, но оно должно пояснять принципы выставления Вами оценок и раскрывать цель поиска, которую вы хотите достичь с помощью ответов.
B.3 Как оценивать?
Ключевое правило - используйте ваш здравый смысл и попробуйте представить себя на месте человека, задавшего этот запрос.
Следуйте составленному вами расширенному описанию, но также учитывайте и другие факторы. В частности - является ли источник информации достаточно авторитетным для этого запроса? Авторитетность определяет, насколько вы можете доверять этому ответу. Например, расписание электричек на сайте вокзала - авторитетно. А цитата расписания в форуме - нет. Если источник не выглядит авторитетным - это повод для снижения оценки.
Обратите внимание, что оценивать надо НЕ наличие ключевых слов, а наличие ответов! Ответы могут использовать и другие слова. Например, для запроса "Медведев" - сайт президента России, для запроса "Игорь Моисеев" - сайт ансамбля народного танца, для запроса "глисты у таксы" - статья про глисты у собак, для запроса "группа Кино" - документ про творчество Виктора Цоя.
B.4 Примеры
1. Запрос: отдых в Португалии
Описание: Цель информация о конкретных вариантах отдыха в Португалии. Нет единого идеального ответа. Релевантны+ - описания популярных мест отдыха в Португалии, курортов, информация для путешественников, предложения конкретных туров или список туров по Португалии. Релевантны- - описания туров с заездом в Португалию (например, автобусный тур по Европе); отзывы об отдыхе в Португалии; списки туров, из которых только небольшая часть туры в Португалию; информация о туристическом бизнесе в Португалии или происшествиях, связанных с туристами в Португалии.
2. Запрос: Нобелевская премия
Описание: Цель - сбор информации. Нет единого идеального ответа. Релевантны+ - обзор с информацией об истории появления, правилах присуждения и т.п.; новость о вручении Нобелевской премии в этом году или новость о лауреатах Нобелевской премии этого года. Релевантны- документ/новость о вручении Нобелевской премии одному лауреату с описанием достижения, за которое была вручена премия; фотографии с церемонии вручения Нобелевской премии; документ с описанием явлений, связанных с вручением нобелевской премии (рассказ о месте вручения, предложение заказать ужин с блюдами, которые были на приеме - такая услуга есть в ресторане, где проходит торжество - и т.д.). Просто упоминания Нобелевской премии или лауреата этой премии - не релевантны.
3. Запрос: мультик падал прошлогодний снег
Описание: Цель - найти мультик или детальную информацию о нем. Идеальный ответ - подробная информация о мультике или страница с видео. Релевантный+ - ссылка на страницу с видео. Релевантный- - картинки/фотографии или музыка из мультика, отдельные факты о мультике.
4. Запрос: русская православная церковь
Описание: Идеальный ответ - сайт РПЦ; Релевантны+ - документы, рассказывающие об истории формирования РПЦ; документы, освещающие современное состояние РПЦ; информация о структуре РПЦ; важные новости. Релевантны- - информация о персоналиях, связанных с РПЦ; вторичные новости, отдельные факты о РПЦ.
5. Запрос: тональные средства
Описание: Цель собрать информацию, какое тональное средство выбрать. Нет идеального ответа. Релевантны+ - описания видов тональных средств, сравнения различных тональных средств; информация о правильном использовании и нанесении тональных средств; предложения о покупке тональных средств (например, страница Интернет-магазина). Релевантный- - обсуждение различных тональных средств или конкретного тонального средства на форуме; анонс нового тонального средства (например, пресс-релиз косметической компании).
6. Запрос: игра в подкидного дурака
Описание: Идеальный ответ - подробное авторитетное описание правил игры или онлайн игра. Релевантны+ - описание правил в неавторитетном источнике, ссылки на онлайн игру. Релевантны- - частичная информация о правилах, стратегии или о том, где можно найти онлайн игру.
По сравнению с методикой Харина-Ашманова, больших отличий нет. "Условия релевантности" названы "описанием запроса"; расширена шкала оценок, вместо "релевантный" или "нерелевантный" используется "идеальный ответ", "релевантный+" и "релевантный-".
Релевантность глазами Яндекса
Еще более развернутая методика показана в презентации Александра Садовского, первая часть его доклада на конференции по поисковому продвижению в 2007 году так и называлась "Релевантность глазами Яндекса". "Интерпретации запроса" (по Харину) разделены на темы и прагматики; шкала оценок предусматривает уже не две (Харин), не три (РОМИП), а шесть возможностей для выбора асессора: витальный, полезный, релевантный+, релевантный-, нерелевантный, поисковый спам/технический мусор. Показан АРМ асессора, плагин к браузеру, с помощью которого асессоры выполняют операции по оценке.
Как видим, усложнение методик не привело к их формализации, т.е. простоте и однозначности определений, дающих асессору возможность безошибочного выбора. Скорее, наоборот, чем сложнее методика, тем больше спорных аспектов, больше вероятность ошибок, выше требования к квалификации и опыту асессоров. Сделать правильный выбор в паре "релевантный" или "нерелевантный" намного проще, чем, например, между "полезный" и "релевантный+". См. определения в презентации: а) полезный - исчерпывающий ответ на вопрос с дополнительной полезной информацией; релевантный+ - документ, полностью отвечающий на вопрос и удовлетворяющий потребность пользователя. Как говорится, почувствуйте тонкую разницу между "исчерпывающим", "полностью отвечающим" и "удовлетворяющим потребность". Особенно с учетом, что оценка проводится асессором, который может не являться специалистом по теме запроса (например, физике) и для пользователя, степень осведомленности которого тоже неизвестна (он может оказаться как школьником, так и профессором физики).
Смысловая структура ответа и ее оценка
Все упомянутые методики оценки релевантности имеют общий недостаток - оценке всегда подвергается одна-единственная ссылка. В то время как 99,99% ответов на поисковые запросы представляют собой наборы (подборки) ссылок. Но качество всей подборки, скорее всего, не оценивается. Хотя набор из десяти (30, 50, 100 и т.п.) самых что ни на есть релевантных ссылок далеко не всегда является лучшим результатом.
Бесспорно, что в идеальном варианте выдачи данные, представленные по разным ссылкам, должны не дублировать, а дополнять друг друга. Либо предлагать пользователю выбор между различными темами. Возможность такой смысловой структуры ответа уже заложена в методике Яндекса, о которой рассказывал Александр Садовский. Например, очень популярный запрос "дизайн" подразумевает несколько тем (в определении Яндекса), предметных областей: веб-дизайн, ландшафтный дизайн, дизайн интерьера, полиграфический дизайн, промышленный дизайн. Каждая тема делится на прагматики, типы потребностей пользователя, цели поиска: обучение дизайну, примеры дизайнерских работ, персоналии, новости, история, рефераты, заказ услуг и т.п. Ясно, что обучение веб-дизайну и промышленному дизайну - это разные прагматики. Из запроса невозможно понять, что именно интересует пользователя. Поэтому целесообразно на первой странице выдачи предложить пользователям все наиболее популярные темы поиска. В случае, когда запрос монотематичный, но подразумевает несколько возможных прагматик поиска, также нужно предложить их все.
Но в рамках одной прагматики возможны сотни, а то и тысячи релевантных ссылок. И стоит лишь десяти из них оказаться наверху, как для ссылок других прагматик места уже не останется. Оценивая выдачу без учета структуры, асессор разметит как "полезные", "релевантные" все хорошие сайты одной из возможных прагматик. В то время как учет структуры подразумевает понижающую разметку уже для второго по счету сайта одной и той же прагматики, если запрос предполагает наличие нескольких возможных целей поиска. Или - возможность группировки сайтов одной прагматики в одну ссылку.
Предположительно, оценка смысловой структуры ответа - ответа в целом - пока не применяется в методиках для асессоров поисковых машин. Именно этим можно объяснить известный феномен однотипной коммерческой выдачи по нечетким запросам. В таких случаях результаты поиска, фактически, представляют собой ответ на другой, более точный запрос. Цветы = доставка цветов, кинотеатры = купить домашний кинотеатр, английский язык = курсы английского языка, инструктор = инструктор по вождению в Москве, обед = обеды с доставкой в офис в Москве, рассказы = порнорассказы и т.п. Выдача с полного одобрения асессоров становится функцией от прибыльности бизнеса, представленного той или иной прагматикой. Парадоксальный результат: каждая ссылка релевантна, выдача в целом - неудовлетворительна. Десять плюсов в итоге дали минус.
Необходимость в смысловом структурировании выдачи начинается с момента, когда количество тем и/или прагматик в ответ на запрос больше единицы, а количество релевантных документах в рамках одной прагматики больше десяти. Таковы подавляющее большинство популярных поисковых запросов.
Выводы
Установленные критерии релевантности, упомянутые в лицензии Яндекса, практически полностью зависят от коллективного мнения асессоров поиска, их количества, опыта, методики работы, мотивации, ответственности. Все начинается с составления модели выдачи, в разных документах она называется по-разному: "вероятные интерпретации", "условия релевантности", "описание", "смысл", "темы и прагматики", "ожидания пользователей". Иными словами, асессор сначала пытается представить, что должно быть в выдаче по запросу, и далее сравнивает просматриваемые ссылки со своими представлениями.
К сожалению, оцениваются только отдельно взятые ссылки. В современных методиках оценки качества поиска, судя по всему, отсутствует процедура оценки выдачи по запросу в целом, именно как подборки ссылок. При такой оценке сравнение должно проводиться с моделью идеального ответа, что предполагает наличие на первой странице выдачи ссылок, относящихся ко всем значимым темам и/или прагматикам запроса.
Построение модели идеального ответа зависит от того, насколько эксперт понимает предмет запроса. Нет людей, которые профессионально разбирались бы во всех темах, информацию о которых запрашивают в поисковиках. Из этого следует, что доступ к построению модели выдачи по отдельно взятому запросу должен быть у любого асессора (эксперта), который видит, как можно улучшить результат, предложить новую актуальную тему, прагматику.
Пример уточнения модели и предположительной процедуры оценки. Выше показан отрывок из документа с разбором запроса "Нобелевская премия". Автор описания упомянул даже весьма экзотическую прагматику - возможность заказать ужин из меню нобелевского банкета, но не указал такие очевидные темы запроса как книга Андреаса Эшбаха "Нобелевская премия" и стихотворение Бориса Пастернака "Нобелевская премия", каждая из которых тоже делится на несколько прагматик (текст, история создания, критика, реферат и т.д.).
Можно добавить к модели ответа на запрос "Нобелевская премия" указанные новые темы. И если при оценке ответа в целом выяснится, что на первой странице результатов поиска эти темы не отражены, асессор сделает соответствующую оценку: выдача не полностью совпадает с моделью. В итоге разработчики получат информацию о проблеме с качеством поиска. Это уже лучше, чем пребывать в уверенности, раз все ссылки в топе релевантны, значит, все хорошо.
Тем спроса на информацию слишком много. Это, в свою очередь, наводит на размышления, что для успешного создания моделей выдачи по большому количеству запросов, возможно, не очень эффективно использовать малое закрытое сообщество асессоров, как это делают Google, Яндекс и другие поисковики. Такой вот логический аргумент в пользу нашей попытки создания открытого сообщества, участником которого может стать любой желающий. Потенциально это поставщики информации в Сеть - владельцы ресурсов, веб-мастера, специалисты по продвижению.
Проблемы обеспечения эффективности работы такой группы почти те же, что и для штатных асессоров. Первая и важнейшая - обучение. Об этом мы и начнем разговор в следующем выпуске рассылки.
Рассылка о поиске
Мы живем по принципу "наименьших усилий с наибольшей отдачей". Как только мы видим, что "технологическое" (здесь это слово используется как противопоставленное "ручному") решение может оказаться полезным, пусть в самом первом приближении, мы стараемся дать его пользователю.
Продвижение сайтов
