Индексирование сайта поисковыми системами

Индекс поисковой машины – это огромная база сетевых ресурсов, в которой сохраняются страницы многих сайтов, которые присутствуют в индексе той или иной поисковой системы. Индекс модифицируется или наполняется, с учетом того насколько много создается переменных или новых страниц.

Перемена – это изменение контента или ссылки. Если Вы только что создали сайт, нужно немного подождать чтобы он проиндексировался и только тогда можно будет увидеть его в результатах поиска. Период индексации у каждого поисковой системы уникальный, поэтому точно узнать за какой срок будет проходить индексация сайта очень сложно.

Например, по многим результата, самая быстрая индексация у поисковой системы Googl'а. Индексация – это простой процесс, бот находит Вашу страницу и сравнивает её с теми, которые ему известны. Если страница появилась на свет с новым текстом, значит, бот её загоняет в индекс, если на странице текст, который боту известен, значит, он проходит дальше и не обращает внимание на страницу. Всё довольно таки просто и понятно практически каждому новичку.

Для того, чтобы бот постоянно индексировал страницы Вашего сайта, нужно сделать его максимально лучшим для робота, т.е. чтобы бот постоянно находился на сайте и индексировал новые страницы. Для того чтобы сайт хорошо индексировался, нужно создавать уникальные страницы, ежедневное обновление и желательно создать карту сайта.

Также если Вы хотите, чтобы бот индексировал Ваш сайт, нужно создавать не очень больше страницы, максимум их размер должен быть 100-200 кб, потому что бот индексирует только начало страниц и к концу практически не идет. Поисковики не всегда понимают различные скрипты, поэтому если на Вашем сайте присутствует огромное количество скриптов, их лучше удалить. Чем больше внешних ссылок будет иметь сайт, тем быстрее он будет индексироваться.

На сайте, который необходимо продвинуть, не должно находится "несуществующих" страниц. Все страницы ресурса должны быть рабочими.
Если же создание сайта осуществлялось посредством использования сервисных скриптов (php, perl, asp и др.), обязательно следите за тем, чтобы этот самый скрипт не создал кучу одинаковых страниц.
Когда в сервисных скриптах присутствуют сессии, роботам-поисковикам следует предоставлять те же страницы, но без использования сессий. Проверку легко осуществить по "user-agent"либо по "ip", разыскать такие данные доступно на официальных сайтах систем поиска.

Стоит поставить запрет на индексирование бесполезных страниц. Без лишней головоломки сделать такую операцию вам поможет специальный файл " robots.txt ", к которому при индексировании сайта робот постоянно обращается. Данный файл необходимо разместить в корне. Так же можно прибегнуть к использованию специального тэга в коде html, но такой способ вряд ли вас обрадует. Он занимает не маленькое пространство и вряд ли уменьшит количество обращений к вашему сайту. Робот сначала должен обнаружить этот код на странице, а к файлу "robots.txt" он обратиться первым делом при входе на сайт.

На множестве банковских сайтов существуют версии страниц для печати. Эти страницы с таким же текстом, но не содержат навигации, рекламы и другой ненужной информации. Если пользователь благодаря поиску попадёт на данную страницу, он сможет прочесть исключительно текст статьи, но вряд ли перейдёт на следующую страницу, так как меню страницы отсутствует. Именно по этому такие страницы стоит запретить к индексированию.

Пример: для запрета индексирования всеми поисковыми роботами списка на денежные переводы для физических лиц в системе Western Union, находящегося на странице ***.ru/services/personal/western-union.html, создаём файл robots.txt, такого содержания:

User-agent: *
Disallow: /services/personal/western-union.html

И специальный html тэг, который позволит закрыть страницы от индексирования:

<meta name=robots content=noindex> или <meta name=robots content=none>