WEB рукоделие » Поисковики

Тот же контент, только в профиль

Сергей — Sun, 04 Apr 2010 11:18:55 +0000

Давно думал над проблемой одинаковых страниц. Ну, почти одинаковых — где один и тот же контент по-разному представлен. Обычно это индексные страницы, типа прайслистов, списков статей, постов или чего-то такого. На большинстве таких страниц есть возможность получить список, скажем, отсортированный по каком-либо критерию — цене, дате публикации и т.д. Таким образом на сайте получаются фактически одинаковые страницы, с одним и те-же или похожим содержанием, но разными URL. Например с сортировкой по-умолчанию, по цене и по названию:

http://www.example.com/products/prices

http://www.example.com/products/prices/index/order:price

http://www.example.com/products/prices/index/order:title

Мне кажется, что поисковому роботу такое может и не понравится, уж больно это смахивает на попытку заспамить поисковик. Я раздумывал о том, что,наверное, такие страницы, в URL которых указаны подобные параметры неплохо бы, наверное, закрывать от индексирования. Обычными директивами meta в заголовке страницы.

Поскольку никаких санкций в отношении таких страниц от поисковиков не наблюдалось, все эти раздумья относились к теории, нигде я эту идею не применял. Просто держал в голове, что, когда буду менять в коде надо позаботиться и об этом вопросе. Не профиту ради, а для чистоты веба вообще :)

Совсем небольшая заковыка в разрезе CakePHP состояла в том, что для кейка без разницы URL http://www.example.com/products/prices и http://www.example.com/products/prices/index — надо было бы как-то эту ситуацию обрабатывать.

Совсем недавно наткнулся на решение этой проблемы «похожих страниц» в гугловской документации к платформе Blogger. Не совсем понятно, почему они именно там это разместили, поскольку это было бы полезно всем владельцам сайтов, а не только авторам блогов на платформе Blogger.

Оказывается Google отлично понимает атрибут rel="canonical". Т.е. в заголовке (в разделе ) страниц размещаем элемент:

и больше не паримся. В атрибуте href этого элемента указан адрес «основной» («канонической» в терминах Google) страницы. Поисковик обещает учитывать такие ссылки и стараться выдавать клиентам адрес именно этой страницы.

Ссылка может быть как относительной, так и абсолютной. Но Google рекомендует ставить абсолютную. Можно, кстати, попробовать указать страницу на другом домене — это тоже не возбраняется.

Попробуем почитать между строк

Сергей — Wed, 25 Nov 2009 17:22:03 +0000

Очередное интервью с представителями Яндекса, на этот раз на Roem.Ru. Никаких особенных откровений, конечно, нет. Что же вы хотели, чтоб яндексоиды всем бесплатно раздали рекомендации, как выбраться на первое место в выдаче по любому запросу? Но все-таки что-то надо говорить и из обтекаемых формулировок можно выстраивать разные забавные предположения. Лично я не завсегдатай SEO-форумов, возможно, все это уже где-то обсуждалось — если баян, извините.

Сегалович:

Ровно в этих рамках (борьба с «глупостью») мы относительно недавно реализовали алгоритм определения запросов и ответов, которые можно трактовать двояко: и как поиск эротического и порнографического содержания, и как невинный информационный запрос. Например, запрос [девочки] может быть поиском повести Людмилы Улицкой, а вовсе не «девочек по вызову». Для человека, ищущего Улицкую, ответ с порнографией не просто нерелевантен, он «явная глупость».

Опираясь на классификаторы запросов и сайтов по порнографическому и непорнографическому содержанию, и построив соответствующие метрики, отражающие долю резко нерелевантного поведения нашей системы по «двояким» запросам, мы смогли реализовать механизм понижения в выдаче сайтов порнографического содержания.

Было бы логично, если бы Яндекс подсовывал разным посетителям разные варианты выдачи, основываясь на данных предыдущих запросов, статистики из Метрики и т.д. Не специально для каждого пользователя, а для каких-то условных групп, типа «любитель клубнички», «книжный червь» или каких-то таких. А что? Статистика по запросам есть, статистика посещенных сайтов и проведенного на них времени — то же (Метрика, различные кнопки ТИЦ, блогов и т.д.) — нарисовать схему интересов пользователя можно. И потом соотнести с какой-то своей внутренней классификацией. А вот слова о том, что ответ не подвергается модификации — это, возможно, и временно. На паре «порно/непорно» алгоритм просто обкатывается.

Если Яндекс все-таки реализует модификацию выдачи в зависимости от вычесленных предпочтений пользователя — вот будет головная боль оптимизаторам! Почистил куки, походил по сайтам с пластиковыми окнами – получи выдачи про строительство и остекление балконов, почистил куки, походил по сайтам с программным обеспечением — получи выдачу про Windows. И все в ответ на один и тот же запрос «окошки».

Сегалович:

по ряду запросов мы мониторим выдачу других поисковых машин, всех, кто хоть как-то ищет по-русски, включая все версии самого Яндекса – рабочую версию и внутренние, экспериментальные (у Яндекса много версий). И складываем все результаты в один котел. Если какой-то сайт присутствует в этом «котле», если он там имеет достаточно хорошие оценки, и при этом отсутствует в Яндексе, мы начинаем разбираться – почему

Садовский:

Чтобы было понятно, «котел» какого объема оценивается, подчеркну, что это речь идет о десятках тысяч запросов, которые мы проверяем таким образом. Мы проверяем первые 30 позиций по каждому запросу. Считайте: десятки тысяч запросов, умножить на 30 первых позиций, умножить на количество версий, – это десятки миллионов URL.

Мониторят конкурентов. Очевидно, Google, Bing и Рамблер. Наверное и Yahoo. Об остальных можно только догадываться. Составляют множество сайтов, попадающих в выдачу всех или бОльшей части конкурентов. Потом сравнивают со своими результатами. Конкретная позиция, наверное, не очень важна — главное присутствие в первых 30-ти результатах. Смотрят, какие сайты попали к ним — если различие сильное, это повод задуматься. Т.е. если после получения результатов от конкурентов оказывается, например, что 22 сайта присутствуют у всех, а у Яндекса только 5 из этих сайтов — это повод побеспокоиться.

Сразу возникает интересная идея — путь к первой странице выдачи Яндекса может лежать и через результаты выдачи его конкурентов.

Сегалович:

Так вот, практически все обращения в службу техподдержки – я думаю, в цифрах это будет более 90% – касаются именно таких сайтов из «серой зоны». Пишут грамотные аргументированные письма: «А вот смотрите, почему вы этот сайт выбросили, он качественный, контент уникальный, ссылки по теме. Объясните почему.» Цель таких писем – методом перебора уточнить безопасные границы в этой «серой зоне». Предприняли какое-то действие – смотрят результат. Если результат отрицательный, сайт попал под санкции, они пытаются получить от нас обратную связь, проанализировать причины.

Певцов:

…как показывает практика, большинство сайтов, по поводу отсутствия которых в выдаче к нам обращаюся вебмастера, создавались специально с целью обмана поисковой системы и манипуляции результатами поиска…

Садовский:

Я хочу заметить, что если мы видим, что имела место ошибка с нашей стороны, то в алгоритмы вносятся изменения, улучшающие работу системы в целом, и это касается других сайтов, которые тоже могли бы пострадать в аналогичной ситуации.

Ну все уже догадались? Жаловаться на то, что сайт выпал из индекса, хотя соответствует «техническим параметрам» – ссылки, качество контента и т.д. – не надо. Ищите другую аргументацию. Вам же не робот отвечает, человек. И он понимает, что вебмастер беспокоящийся о технической стороне вопроса — не их союзник. И еще. Удалось убедить, что «сателлит» белый и пушистый? Будьте готовы к тому, что из под санкций могут выползти и «сателлиты» конкурентов. Любите жаловаться на «сателлиты» конкурентов, присутствующие в выдаче? Будьте готовы к тому, что вместе с ними пойдут ко дну и ваши такие-же.

Певцов:

уникальность контента совсем не определяющая вещь. О ней много говорят, но более важная характеристика – не уникальность, а полезность контента [и далее по тексту]

«У вас на сайте неуникальный текст! Ужас-ужас-ужас!» – страшилка. То есть, если скопировать все подряд, санкции будут. Но умеренное разбавление своих статей статьями, взятыми из других источников, может не повлечь никаких санкций. Таким образом, если где-то в интернетах нашлась удачная статья, подходящая сайту и автор не против ее распространения, можно спокойно скопировать ее к себе или процитировать. Ссылка на оригинал, как мне кажется, в данном случае будет лишним подтверждением «добрых намерений».

Четвертая часть о воровстве контента. Авторам стОит отдавать свои статьи в RSS. Не жмотитесь, отдавайте всю статью. Роботы, сканирующие блогосферу быстрее и чаще забирают контент. Если статья у кого-то скопирована, не надо расстраиваться, страница с этим текстом не первая в выдаче. Еще не факт, что посетителя заинтересует первый сайт. 2-5 место тоже хороши. И до конца первой страницы – нормально. Кроме того, скопированная страница может придать общий тематический вес сайту, подняв его по другим, похожим, низкочастотным запросам.

Торговля и обмен ссылками яндексоидов раздражают. Но, если уж они научились находить «продажные ссылки», то зачем банить всю страницу, она может оказаться вполне нормальной, а ссылки – результатом баловства наемного вебмастера. Ну неучитывали-бы тихонько эти самые ссылки молча. Дятлы бы продолжали бы заниматься бесполезным трудом и не искали бы каких-то иных методов воздействия на поисковик.

Ну вот как-то вот так. Спасибо, что дочитали до конца. :)

Метрическая аналитика

Сергей — Fri, 01 May 2009 21:01:29 +0000

У Яндекса есть полезная система статистики, похожая частью на Google Analytics, частью — на счетчик Liveinternet. Называется Яндекс.Метрика.

Яндекс.Метрика

Все как обычно — устанавливаете код на страницы своего сайта и наблюдаете статистику по посетителям. В отличие от GA, которая обновляется раз в сутки, Метрика показывает результаты практически в реальном времени, как Liveinternet — это гораздо удобнее.

Если сайт рекламируется с помощью Яндекс.Директ и на рекламируемом сайте установлен код для сбора статистики для Директа — это и есть код Метрики! В этом случае можно уже не напрягаться, а смотреть отчеты.

Индекс Яндекса

Сергей — Tue, 06 Jan 2009 07:58:53 +0000

Весь декабрь мучился вопросом — есть-ли ограничение у Яндекса на количество страниц с одного сайта в индексе. Никак не попадало в индекс страниц, более чем 100 тысяч. Это был повод для некоторой грусти. Сегодня увидел, что барьер в 100 тыс. страниц преодолен. Ура!