Claire Silent Hall

Copyright © IPMONEY.ru

До того, как сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой. Индексация означает, что поисковый робот посетил ваш сайт, проанализировал его и сохранил копию страницы в свою базу данных. Ни для кого не секрет, что индексация сайта в поисковых системах очень важна для любого ресурса в сети. Если Ваш сайт по каким-то причинам не проиндексирован - то он как бы и "не существует" для остального мира, а посетить его смогут только ваши друзья и знакомые, которым Вы сообщите его адрес персонально. Как правило, грамотные создатели сайтов ревностно следят за индексацией всех нужных страниц своих ресурсов. Если же вдруг индексация по какой-либо причине задерживается или не происходит, но нужно "принимать дополнительные меры".

Большинство сайтов не крупных размеров (то есть содержащих несколько десятков или сотен страниц) обычно не испытывают никаких проблем с правильной индексацией поисковыми системами. Однако, есть несколько моментов, которые стоит учитывать при seo-оптимизации сайта.

Поисковая система может узнать о новом созданном сайте двумя путями:

1. Ручное добавление адреса сайта через соответствующую форму поисковой системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его адрес попадает в очередь на индексацию. Добавлять следует только главную страницу сайта, остальные будут найдены поисковым роботом по ссылкам или при помощи карты сайта (большинство крупных поисковых систем поддерживают карты сайта как в .XML, так и в обычном .HTML формате);
2. Предоставить поисковому роботу самостоятельно найти ваш сайт. Если на ваш новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже проиндексированных поисковой системой, то поисковый робот в короткие сроки сам посетит и проиндексирует ваш сайт. В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота. Ручное добавление сайта может даже удлинить время ожидания.
3. Время необходимое для индексации сайта различно. Как правило робот приходит на ресурс в течение от 2-3 дней до 2 недель, в зависимости от загруженности поисковой системы. Быстрее всех индексирует сайты поисковая система Google: уже через несколько часов после ручного добавления сайта робот во всю его сканирует.

Поисковый робот, так же как и программисты не любит запутанный веб-код. Для полной индексации сайта постарайтесь сделать его как можно дружественнее. Для этого учитывайте следующие факторы:

1. Любые страницы вашего сайта, по возможности, должны быть не глубже чем в 3-х кликах, начиная переход с главной страницы. Если структура сайта сделать этого не позволяет, то сделайте так называемую карту сайта, которая позволит выполнять указанное правило;
2. Не повторяйте распространенных ошибок. Идентификаторы сессий затрудняют индексацию. Если вы используете навигацию через скрипты, то обязательно дублируйте ссылки обычным образом – поисковые системы не умеют читать скрипты;
3. Помните, что поисковые системы индексируют не более 100-200 кб текста на странице. Для страниц большего объема будет проиндексировано только начало страницы (первые 100-200 кб). Запомните правило – не используйте страницы размером более 100 кб, если хотите, чтобы они были проиндексированы полностью. Поисковые роботы прекрасно понимают файл правил robots.txt Управляйте поведением поисковика с помощью этого файла. В нем можно разрешить или запретить для индексации те или иные страницы.

Также существует специальный тег «NOINDEX», позволяющий закрыть для индексации отдельные части страницы, однако этот тег поддерживается только российскими поисковыми системами. Полностью запретить страницу от индексации можно поместив этот тэг в HEAD-область.

Базы данных поисковых систем постоянно обновляются. Записи в базе постоянно изменяются и обновляются, исчезают и появляются снова. Поэтому число проиндексированных страниц вашего сайта может периодически меняться.

Одной из наиболее частых причин исчезновения страниц из индекса является недоступность сервера, то есть поисковый робот при попытке индексации сайта не смог получить доступ к нему. После восстановления работоспособности сервера сайт должен появиться в индексе снова через некоторое время.

И ещё одно важое наблюдение - чем больше внешних ссылок имеет ваш сайт, тем быстрее происходит его переиндексация.

Отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых записываются все визиты поисковых роботов.