Надеюсь, рассказом о проблеме экспертов и парадоксах релевантности мне удалось обратить ваше внимание на простой факт: современный поиск создается не только талантами пары десятков разработчиков-программистов. Выдача зависит от мнений и действий множества людей, сообществ, которые оценивают и формируют эти результаты. Самый большой социум - владельцы ресурсов, веб-мастера.

Вот отрывок из обращения Яндекса к веб-мастерам:

Думайте о пользователях, а не поисковых системах. Стали бы вы создавать сайт, страницу или ее элемент, если бы не существовало поисковиков.

Фраза отлично иллюстрирует неразделимую связь между интересами пользователей, поисковиков и веб-мастеров. Иными словами, интересами поставщиков, распределителей и потребителей информации в интернете. Поисковики без сайтов тоже бесполезны, поэтому разработчикам поиска имеет смысл думать не только о пользователях, но и о веб-мастерах. Равно как и веб-мастерам, наряду с изучением HTML, PHP, ASP и др. технических средств сайтостроения, в обязательном порядке знакомиться с проблемами организации сетевого поиска.

Связь эта, к сожалению, до сих пор неочевидна для сторон, думать "за троих" никто не хочет, предпочитают модель "мы и пользователи". Поисковики мечтают: если бы веб-мастера не мешали им правильно ранжировать сайты, все было бы хорошо. Веб-мастера, в свою очередь, - если бы поисковики, постоянно меняя алгоритмы, не мешали продвигаться, все было бы замечательно.

Кто прав? Специалисты, давно занимающиеся продвижением, понимают, что невозможно встать на одну сторону в этом споре. Синтетическая идея - совместить в поиске машинное и ручное, и работать на благо пользователей, управляя сообществом веб-мастеров - упомянута в статье о парадигмах поиска, но слишком опасно пытаться реализовать ее на действующем поисковом проекте. Сначала стоит потренироваться на кошках.

Вот эта "кошка" - www.neiron.ru - экспертный поисковик. Сейчас это не готовый сервис для пользователей, а технологическая площадка для экспериментов. Здесь мы попробуем создать и апробировать иные отношения между веб-мастерами и поисковыми программистами. Затянувшаяся SEO-спам-война порядком надоела, пора переходить к совместному "думанию о пользователях" и сотрудничеству в вопросах обеспечения качества поиска. Сделать это возможно только в открытом диалоге.

В основу проекта положены несколько не совсем привычных идей, о которых я буду рассказывать последовательно. Сегодня поговорим об идее "приватизированного" индекса.

Вспомним, как все устроено. Информация в Сети размещена на веб-страницах, страницы объединены в сайты. Поисковые роботы выкачивают страницы сайта и создают у себя индекс, в котором информация, находящаяся на каждой веб-странице соотнесена с ее адресом. Данные о новых веб-страницах, которые нужно выкачать и внести в индекс, роботы получают по ссылкам. Ссылки размещают веб-мастера.

Исторически, ссылка является рекомендацией посетить ссылаемую страницу. Рекомендацией человека человеку, веб-мастера - посетителю сайта. Перейдя по предложенной ссылке, посетитель должен испытать чувство благодарности веб-мастеру за хороший совет, за найденную по ссылке нужную информацию.

Если бы все веб-мастера ставили только такие ссылки, можно было бы сказать, что поисковый индекс состоит только из отборных страниц, лично рекомендованных веб-мастерами к просмотру пользователями.

Именно такой, формируемый на основании рекомендаций индекс создан в "Нейроне". В отличие от поисковых машин, узнающих о появлении новых страниц по ссылкам с сайтов, индекс Нейрона составляется из страниц, внесенных экспертами в собственный сервис закладок. Сегодня в Нейроне зарегистрированы 1153 пользователя, из них 115 имеют статус эксперта. В индексе примерно 170 000 страниц, относящихся к 92054 сайтам.

Вот пример, как происходит добавление страницы в индекс.

• Эксперт добавил закладку на страницу
  http://az.lib.ru/g/griboedow_a_s/text_0010.shtml
  как ответ на запрос "горе от ума".
• Закладка тут же стала видна в результатах поиска по данному запросу. Ссылка первая, отмечена символом - R .
• По адресу закладки сразу же "отправился" поисковый робот и добавил содержимое страницы в индекс Нейрона. Между добавлением закладки и появлением страницы в индексе проходит 10-15 минут.
• После этого страница доступна для поиска по релевантным ей запросам. Например, по крылатым фразам из комедии, см. результаты по:
  счастливые часов не наблюдают,
  подписано, так с плеч долой,
  ах, злые языки страшнее пистолета,
  все врут календари и др.

Приведенный пример демонстрирует один из вариантов сотрудничества людей и машин: эксперт единственной закладкой указывает поисковому роботу на страницу с хорошей информацией; программа показывает ссылку на данную страницу по множеству релевантных запросов, все варианты которых эксперт попросту не смог бы предусмотреть. Количество страниц одного или разных сайтов, на которые эксперт может сделать закладки, не ограничивается.

При таком способе формирования каждая страница индекса оказывается привязанной к рекомендовавшему ее эксперту. Каждый эксперт характеризуется набором своих закладок, т.е. имеется возможность оценить количество и качество его рекомендаций. А индекс представляет собой что-то вроде карты "приватизированных" территорий:

• набор страниц, рекомендованных экспертом А;
• набор страниц, рекомендованных экспертом Б;
• экспертом В,
• Г,
• Д... и т.д.

Что дает такой подход. Традиционные индексы тоже можно представить в виде карты, где границы "территорий" определены не экспертами, а доменами:

• страницы сайта X,
• сайта Y,
• сайта Z...

При таком "административном делении" для решения оценочных вопросов мы не можем выйти за пределы сайта. Главный вопрос звучит так: улучшает или ухудшает возможности поиска наличие данного сайта в индексе? Ответить на него крайне сложно, попробуйте для произвольно выбранного сайта составить список запросов, в ответах на которые ссылки на страницы данного сайта будут улучшать выдачу. В случае рассматриваемого "приватизированного" экспертами индекса список относящихся к эксперту закладок сразу же дает ответ - улучшает или ухудшает. Данный список представляет собой набор поисковых запросов, на каждый из которых эксперт рекомендовал ссылку-ответ. Хорошо видно, что он рекомендовал и как он это сделал. Этого вполне достаточно для оценки самого эксперта - способен он делать поиск лучше или нет.

Вопрос о способности улучшать поиск - принципиальный. Он относится к работе любого веб-мастера в целом и к каждому его действию в отдельности. Вот реальный пример, поясняющий это утверждение - главная страница сайта под названием "Тепличное и парниковое овощеводство на дачном участке" - teploovoch.ru. Цитирую.

Сайт рассказывает, как выращивать под стеклом и пленкой вкусные и полезные овощи. На нем подробно и доступно описываются перспективные методы разведения томатов, перца, огурцов, баклажанов, цветной капусты, салата-малата и других культур-мультур...

Научиться растить вкусные и полезные овощи очень актуально для каждого посетителя-огородника. Но вы, читатель, уверены, что овощеводам здесь же на этой странице, наряду с текстами брошюр о выгонке овощей, нужно предлагать "фото эротика", "запчасти для toyota", "электронные подарки, интересные подарки", "shell-заправки санкт петербург, центр", "духи с феромонами в России", "заказ букетов", "подарки свадьба", "ламината" "организация переездов", "продвижение создание сайта в г казани" и "досуг в г Ижевске"?.. Очень уж необычным должен быть огородник, чтобы суметь всем этим воспользоваться.

---

Иллюстрация Максима Каткова - SEO в картинках

---

Каждый сайт оставляет следы в виде регистрационных данных домена. С их помощью можно узнать, какой еще информацией обогатил Сеть тот или иной человек. В нашем случае владельцу "Теплоовоща" также принадлежат следующие домены:

• fermada.ru - сайт "Домашняя ферма", ссылки на "фото эротика", "из рук в руки", "недвижимость в болгарии";
• psihoobs.ru - сайт "Психология", ссылки на "viagra", "фото эротика", "adult datingvideo";
• regradio.ru - сайт "Регулировка радиоаппаратуры", ссылки на "фото эротика", "регистрация фирм аккредитация представительства", "башенные краны";
• gazavoeavto.ru - сайт "Газотопливные системы автомобилей", ссылки на "стиральные машины", "алупка отдых", "распил, кроностар";
• zachita-rast.ru - сайт "Защита растений от вредителей", ссылка на "голые знаменитости";
• zamgeo.ru - сайт "Занимательно о геологии", ссылки на "ИБП UPS", "ими же лечение алкоголизма на дому", "теплый пол", "реклама в прессе и сми";
• raslek.ru - сайт "Лекарственные растения в Донбассе" - пока без ссылок;
• maxitrend.ru - сайт студии дизайна "Макситренд" - без ссылок.

Какой вывод можно сделать на основании этой информации? Только один: ссылки, сделанные данным веб-мастером, ухудшают поиск, их нельзя использовать в качестве рекомендаций. Как говорится, видно птицу по полету. В традиционном индексе выделить все ссылки, сделанные одним человеком, практически невозможно, они могут находиться на десятках и сотнях разных сайтов и тысячах страниц. В "приватизированном" индексе ссылки-рекомендации привязаны к экспертному аккаунту. И вопрос, будут ли находиться рекомендованные экспертом страницы в поисковом индексе, является вопросом доверия к эксперту. Вывод - доверять или нет - делается на основании анализа закладок эксперта.

Таким образом, идея совмещенных с поисковым индексом экспертных закладок - это идея отбора и селекции людей с целью формирования сообщества, действия которого способны улучшать интернет и поиск.

"Нейрон" как сервис закладок находится в Сети с 2006 года. За пару лет накопилось много примеров, как именно люди пытаются рекомендовать сайты и страницы. В следующем выпуске мы вместе проанализируем эти попытки.

Евгений Вязилов: Кто из Вас и когда был последний раз в обычной библиотеке? Я 10 лет назад. Сейчас все черпаю из Интернет. Благо моя специализация сейчас БД и Интернет технологии. Вспомните, что иногда Вы приходили с конкретным названием книги и спрашивали ее у библиотекаря. И Вам отвечали, что ее нет, или она "на руках", или выдавали Вам ее наруки. Это первый вариант поиска. Не по ключевому слову, а по конкретному названию.

Второй. Вы смотрите алфавитный или систематический каталоги и ищите по какой -то теме книги, которые Вы считаете помогут Вам или удовлетворят Ваше любопытство. Здесь поиск идет по рубрикатору, алфавиту. ключевым словам, дате, автору и т.д.

Третий - мне всегда нравился - этот, когда меня допускали к полкам книг. Я мог часами лазить по полкам и удовлетворять свое любопытство и брать с собой еще много книг. При научных исследованиях я по ссылкам из одной книги (статьи) переходил к другим и таким образом углублялся в тематическую область. Здесь дополнительно к предыдущему типу запроса необходимо добавить возможность посмотреть сам документ.

Четвертый. Ходил на еженедельную выставку книг. То есть смотрел только последние поступления.

Вот эти четыре варианта поиска и надо реализовать в новых поисковых системах.

* * *

Алексей Шевцов: Столкнулся с простенькой, на первый взгляд, задачей. В сентябре 2008 г. надо было найти "Электрическая схема КаМаз - 5511". Подразумевается, что мне нужна цветная картинка, на которой изображены все провода, переключатели, потребители и т.д. Правильных ответов - ноль. Как с этим бороться? Почему поисковик вообще что-то выдаёт, если ответов нет?..

Ищем заинтересованных людей.
Тема - создание системы экспертного поиска в Рунете.
Адрес редакции - subscribe@ashmanov.com
Пишите, ждем. См. подсказку "О чем можно и нужно писать в редакцию"

Подписаться на рассылку "Проблемы качества поиска" можно, отправив письмо с заголовком EXPERT_SEARCH_SUBSCRIBE на адрес subscribe@ashmanov.com.
Адрес для отписки - тот же.

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"