Индексация форума поисковыми системами

[Eugene]

Придумай другое объяснение.

Объяснение очень простое. Яндекс просто пока не дошёл до индексации того, что ты в нём искал. Все страницы с sid он индексирует нормально. Смотрим на результат поиска Яндекса (кстати, любопытная тема на первом же месте ):

Впрочем, к чему все это? Я же наглядно показал, что не индексирует Яндекс.

Не успел. Пока

[Serg]

Придумай другое объяснение.

Объяснение очень простое. Яндекс просто пока не дошёл до индексации того, что ты в нём искал. Все страницы с sid он индексирует нормально. Смотрим на результат поиска Яндекса (кстати, любопытная тема на первом же месте ):

«Он и в третий раз пошел за елкой, и добыл ее, но было это уже весной.» (с) Падал прошлогодний снег.
Ну, да! Ну, да! Тема за 2002 год! Это даже не «прошлогодний снег», а позапрошлогодний.

Впрочем, к чему все это? Я же наглядно показал, что не индексирует Яндекс.

Не успел. Пока

Не, ну то, что Яндекс от Рамблера безнадежно отстал как по полноте, так и по релевантности, а так же по срокам индексации – факт стопроцентный, но не до такой же степени, что сообщения за август 2003 года еще не проиндексированы.

В общем, уточню тот вопрос который ты в Аське задал, завтра отпишу.

[Eugene]

«Он и в третий раз пошел за елкой, и добыл ее, но было это уже весной.» (с) Падал прошлогодний снег.
Ну, да! Ну, да! Тема за 2002 год! Это даже не «прошлогодний снег», а позапрошлогодний.

Последняя индексация форума в Яндексе произошла 17.06.2003. Естественно, что и эта тема за 2002 год попала в базу Яндекса. То, что она оказалась первой в результатах поиска, ещё ни о чём не говорит - ведь в запросе пустая строка.

Не, ну то, что Яндекс от Рамблера безнадежно отстал как по полноте, так и по релевантности, а так же по срокам индексации – факт стопроцентный, но не до такой же степени, что сообщения за август 2003 года еще не проиндексированы.

Яндекс индексирует форум, но, учитывая, что никто не прилагает усилий к этой индексации (можно ведь регулярно сабмитить сайт, как-то оптимизировать контент для индексации и т.д.), естественно, что он сильно запаздывает. Индексация просто носит случайный характер.

Но при этом налицо два факта:
1. Движок Яндекса справляется с sessionid, а движок Рамблера - не справляется
2. В базе Яндекса есть хоть что-то из форума, в базе Рамблера - ничего.

Так что в данном случае именно Рамблер отстаёт.

[Serg]

«Он и в третий раз пошел за елкой, и добыл ее, но было это уже весной.» (с) Падал прошлогодний снег.
Ну, да! Ну, да! Тема за 2002 год! Это даже не «прошлогодний снег», а позапрошлогодний.

Не, ну то, что Яндекс от Рамблера безнадежно отстал как по полноте, так и по релевантности, а так же по срокам индексации – факт стопроцентный, но не до такой же степени, что сообщения за август 2003 года еще не проиндексированы.

Сергей, ну что за ерунда? Яндекс индексирует форум, но, учитывая, что никто не прилагает усилий к этой индексации (можно ведь регулярно сабмитить сайт, как-то оптимизировать контент для индексации и т.д.), естественно, что он сильно запаздывает. Индексация просто носит случайный характер.

Жень, ну до чего ты упорный парень! Не зря тебя Вальтер самураем назвал.
Ну что за фигня! Запаздывает более чем на полгода… Да это ни в какие ворота не лезет. Это не называется индексирует. Это называется не индексирует.
Я не знаю, какой регламент у Яндекса (Кстати, могу узнать. Узнать?), а у Рамблера база обновляется за две недели полностью.
Индексация носит случайный характер… ну не смешно, чесслово. Ты знаешь достоверно, как там устроено, случайно или нет? Если нет, то попрошу «хомячков мне больше не присылать. Я их в детстве отлюбил.» Что за манера спорить на основе собственных домыслов?

Но при этом налицо два факта:
1. Движок Яндекса справляется с sessionid, а движок Рамблера - не справляется

Ну, ты упорный! Я тебе уже в аське объяснил, почему автоматически схлопывать подобные страницы нельзя.

2. В базе Яндекса есть хоть что-то из форума, в базе Рамблера - ничего.

Так что в данном случае именно Рамблер отстаёт.

Да ничего не отстает. Я только в декабре зарегистрировал сайт Лифановского.

И что мы вообще обсуждаем? Мы что, обсуждаем, какой поисковик лучше? Правильный ответ – Гугл, только пользоваться им не всегда удобно. Что за манера постоянно уводить спор в сторону? Я всего лишь объяснил причины, по котором Рамблер не может индексировать наш форум.


И хоть я совсем человек не воинственный,
все-тки погожу, погляжу,
а потом возьму аргумент свой единственный,
выну и на стол положу...
(с) Ю.Ким

[Eugene]

Да ничего не отстает. Я только в декабре зарегистрировал сайт Лифановского.

Я хочу найти слово "Плетнев" на форуме Лифановского.
Рамблер
Яндекс

Кто отстаёт?

И что мы вообще обсуждаем?

Что обсуждаю я:
1. генерацию sessionid отключать нельзя
2. Яндекс умеет индексировать странички с изменяющимся параметром sessionid в URL, а Рамблер не умеет
Всё. Если ты по обоим пунктам согласен, то дальше можно не спорить

Да, а по поводу безопасности ты ничего не прокомментируешь?

[Serg]

Вот, взял и откорректировал свое сообщение, пока я не успел опубликовать (с твоего разрешения) наш Аськин диалог.
Ладно, завтра отвечу. Постараюсь по крайней мере.

Кто отстаёт?

Ох, ну, не хотел говорить, считая профессионально неэтичным выдавать некие сведения, полученные лично на кухне под коньячок. Старался все обходными путями объяснить, что то, что делает Яндекс никак не может называться «индексирует форум». Но ты упорный человек, все слал мне свои домыслы, что, дескать, индексирует, но с задержкой, или рандомизировано.

У Яндекса существует ограничение на количество скачанных страниц с одного сайта. Отсюда и отставание более чем на полгода. Назвать точное число? Нет уж…
Всё! Яндекс не будет больше форум качать до тех пор, пока не увеличит количество серверов и не установит новое ограничение.

Вопросы еще будут? Или бум продолжать упорствовать, что дескать индексирует, но с отставанием.

И что мы вообще обсуждаем?

Что обсуждаю я:
1. генерацию sessionid отключать нельзя

Можно или нельзя это решать Борису. Это его частная лавочка с фейс и дресс контролем. И точно так же, Рамблер – частная лавочка с еще более жестким фейс и дресс контролем.

2. Яндекс умеет индексировать странички с изменяющимся параметром sessionid в URL, а Рамблер не умеет
Всё. Если ты по обоим пунктам согласен, то дальше можно не спорить

Ты знаешь, у меня иногда возникают сомнения, что ты внимательно читаешь то, что тебе пишут, и начинаешь ломиться в открытые двери. Мне казалось, что этот вопрос мы уже закрыли, причем не один раз.

С твоего позволения публикую наш диалог в Асе:
Eugene:
по поводу индексации - ты имеешь в виду sid, который генерится методом post и явно не виден, или который есть в строке URL, например posting.php?sid=a13bgf4...

Serg:
Я подробности не узнавал. Могу спросить.
Факт в том, что при повторном скачивании страницы, из-за идентификатора сессии, страница опять становится уникальной - база пухнет.

Eugene:
а ты сюда зайди - http://www.yandex.ru/yandsearch?text...lifanovsky.com
посмотри, во всех ссылках поиска есть sid, каждая страница уникальна. но поисковый движок Яндекса это учитывает и из-за разных sid не индексирует одну

Serg:
Слушай, мне объясняли, почему подобное автоматическое схлопывание невозможно, но я не очень вникал. Мне говорили, что, таким образом, похерятся некоторые страницы, у которых эта цифирь присутствует легально, т.е. физически, и по особому запросу они включают подобные сайты в обработку.
Вечером могу уточнить.

Eugene:
я тебе в форум отвечу, и ты ответь, уже с уточнениями

Serg:
Ок, договорились.


Конец первой серии. Мне казалось, что я достаточно понятно объяснил, почему нельзя корректно автоматически объединить одинаковые страницы с разными сидами. Если не до конца понял (я же не могу в Аське давать развернутые ответы) то уточнил бы… Но нет, в следующем сообщении на форуме опять появляется:

Движок Яндекса справляется с sessionid, а движок Рамблера - не справляется

на что я тебе и ответил:

Ну, ты упорный! Я тебе уже в аське объяснил, почему автоматически схлопывать подобные страницы нельзя.

Вторая серия.

Eugene:
ты зачем обманываешь? в аське сказал, что не очень вникал, вечером уточнишь, а на форуме: " Я тебе уже в аське объяснил"

Serg:
По поводу того что нельзя объединять я тебе объяснил:
>Мне говорили, что, таким образом, похерятся некоторые
>страницы, у которых эта цифирь присутствует легально,
>т.е. физически, и по особому запросу они включают
>подобные сайты в обработку.
>Вечером могу уточнить.

Мне кажется, достаточно было такого объяснения, что бы не писать опять:
>Движок Яндекса справляется с sessionid, а движок Рамблера - не справляется

Могу еще добавить аргументации, почему нельзя схлопывать автоматом.

Eugene:
что такое схлопывание?

Eugene:
что значит "цифирь присутствует физически"?

Serg:
Это значит, что строгого формата на sid не существует. Наличие сида определяется только по наличию в урле 32-х разрядного числа. Такие файлы схлопывать автоматически нельзя, так как на некоторых сайтах встречаются (довольно редко) страницы, имеющие подобные числа в самом урле, а не генерятся движком по запросу. Проще, подобные сайты не индексировать вообще, а по специальной договоренности включать их в индексацию по запросу хозяина сайта, а не поисковика. Это ему, хозяину сайта, надо, в первую очередь. С другой стороны, большинство форумов, отключают сид при заходе робота. Опять таки, это в интересах хозяина форума, а не поисковика.

Eugene:
да, но яндекс их индексирует

Eugene:
хорошо это или плохо - но индексирует

Serg:
Значит, он не индексирует что-то другое. Или что-то другое неправильно схлопывает.
Я ясно объясняю? Не существует единого формата на сид. Не существует!

Eugene:
да, вот теперь всё ясно

Eugene:
только речь шла об индексации конкретного форума, а не гипотетических сайтов, на которых (очень редко) встречаются страницы с 32-разрядными числами

Serg:
Из-за того, что некий хозяин некого форума не хочет отключать у себя Сид, и это его право, должны страдать абсолютно честные сайты? В чем провинились они? Они, вовсе, не гипотетические.

(примечание. Подобные страницы с 32-х разрядными числами в урлах, в частности, формируются Лотусом.)

Eugene:
ну мы же там обсуждали, что сид отключать нельзя из соображений безопасности
если бы не было прецедентов атаки на форум, то можно было ещё размышлять на эту тему
но прецеденты были

Serg:
Ладно, давай заканчивать, я уже должен бежать.

Конец второй серии.

Мне казалось, что после слов «да, вот теперь всё ясно» все стало, действительно ясно, ан нет!

2. Яндекс умеет индексировать странички с изменяющимся параметром sessionid в URL, а Рамблер не умеет
Всё. Если ты по обоим пунктам согласен, то дальше можно не спорить

Мне кажется, что «дальше можно не спорить», т.е. бесполезно.

Да, а по поводу безопасности ты ничего не прокомментируешь?

Мое мнение? Идентификатор сессии мало связан с безопасностью. Нужен, в основном для отслеживания пути по логам, т.е. как и что делал некий юзер. Интернет-магазины, зачастую, зная предысторию конкретной сессии, используют его для формирования динамических страниц. Т.е. в зависимости от сессии увидишь либо то, либо другое.
Ну, не знаю, может Борис и использует его для безопасности, типа дает некие задержки на частые запросы с одинаковым СИДом, но, на мой взгляд, от злонамеренных действий, это мало спасет, т.к. если я захочу завалить конкретно сайт Лифановского, то, зная конкретный формат, я легко обойду это ограничение. Давай, я не буду дальше продолжать, т.е. не буду рассказывать подробно, как можно Борин сайт поломать.
Надежнее анализировать АйПишник. Правда, Борис, вроде говорил, что с анализом АйПишника у него некие трудности.
Т.е. на мой взгляд, если оставить формирование СИДов для обычных запросов, но не формировать их, если юзерагент – робот поисковика, то вероятность злонамеренного завала против той, что существует сейчас, не сильно увеличится. Либо, я что-то не понимаю.

Впрочем, я еще раз повторюсь, что говорю все это не для того, что бы убедить Бориса что-то сделать. Это его сайт – его право делать, так как он хочет.

Ну, а Рамблер в свою очередь ведет себя достаточно корректно: скачивает в день с одного сайта не более определенного количества страниц (точную цифру знаю, но не скажу), что бы не сильно напрягать сайт. Дает между запросами задержки… Не открывает много сессий…
Я не знаю, как там внутри у Бориса устроено, но мне кажется, что это можно использовать против флуда, т.е. если некий юзерагент начнет слать непрерывно запросы, то глушить такого агента.

[boris]

Собственно, главная проблема в том, что я недостаточно хорошо знаком с php для того, чтобы что-то как-то редактировать в движке. У меня есть рекомендации разработчика по поводу того, что сделать, чтобы меня не сильно ломали. Потому что HR на меня тогда сильно обиделся, а хостинг меня устраивает и я бы не хотел ничего менять. Естественно, безопасность строится не только на SID, но и на нем в том числе. Как отключить его специально для Рамблера я не знаю и не особенно хочу вникать.
В том числе потому что на форум люди и так, вообще говоря, приходят. Как Вы все знаете, у меня нет цели обогатиться за счет бешеной раскрутки форума. У меня есть цель обеспечить хорошим приятным людям хорошее приятное общение. Хорошее приятное общение бывает, когда людей не слишком много. А адекватное освещение происходящего на форуме в поисковиках приведет к неизбежному притоку совершенно случайных людей. И кому они тут нужны? И так вон на Андрея Гаврилова понабежало поклонников...
Так в свое время было и с ММВ: все, кто надо, в итоге о нем узнавали. А толпы случайных людей мне не нужно - и так мы уже не справляемся и нам нужны модераторы новые.
Поэтому, строго говоря, что как там индексируют Яндекс или Рамблер мне лично по барабану. Максимум, что они мне могут предложить - это тучу рефереров, которых, кстати, я с Яндекса и так имею. Но я тут не показываю рекламу и вообще это не бизнес. Мне не интересен поток посетителей нескончаемый - мне интересны два-три человека, но чтобы они были классные. Вам, я полагаю, тоже. А такие люди приходят скорее не из поисковика, а через word of mouth.

[Eugene]

Боря, ты забыл ещё про один аспект - поиск по форуму. Всё-таки, если бы Яндекс, например, регулярно и полно индексировал форум, мы бы получили отличный поиск, со словоформами и т.д.

[Serg]

Действительно, задачей поиска является в первую очередь не привлечение "новой крови", а сам поиск. Сколько раз сталкивался с ситуацией, что возникает вопрос, который так или иначе обсуждался, и хотелось бы не дублировать свои или чьи-то ответы, а дать ссылку. Но по прошествии даже месяца найти сообщение часто бывает нереальным, особенно если в топике много страниц. А часто, и название топика-то толком не помнишью.

Впрочем, я с самого начала сказал: "Не хочешь ничего менять, твое право." Весь этот сыр-бор разгорелся из-за другого.

[boris]

А что, встроенный поиск не помогает? Я помню, как-то несколько раз что-то искал - довольно быстро нашел...