Индексация Яндекс.

Сегодня

На этой странице решил поделиться опытом, как сделать, чтобы ваш сайт был проиндексирован Яндекс .

Ниже я скопировал рекомендации от администрации Яндекс и вставил свои ремарки.

Руководство для веб-мастеров

Что игнорирует Яндекс?

Revisit-After Робот Яндекса ее игнорирует.
Если Ваш сайт на английском языке необходимо написать в техподдержку.
Страницы, добавленные через автоматическую систему, не будут включены в базу.
тег noindex ( Естественно ) .
Ссылки на вашем сайте сделаны с помощью скриптов, и робот их не понимает. Измените их, либо создайте карту сайта, где есть прямые ссылки на все страницы сайта.( Опять же как и у google нужна карта сайта ) .

Когда сайт будет готов, сделайте следующее.

Специально добавлять сайт не требуется — если на него есть ссылки на страницах других сайтов, он автоматически будет найден, и, скорее всего, проиндексирован. Если ссылок на сайт еще нет, вы можете воспользоваться формой «Добавить URL», чтобы сообщить роботу о существовании сайта.
Обратите внимание, что добавление URL не гарантирует, что сайт будет проиндексирован или проиндексирован быстро. Добавление URL не гарантирует, что он будет проиндексирован вообще, это лишь один из способов сообщить роботу поисковой системы, что появился новый сайт. Добавление полезно, если на сайт еще нет ссылок или их число незначительно — так робот быстрее его обнаружит.( На моих сайтах это случилось приблизительно через 1 месяц ) . Сотрудники Яндекса не могут ускорить добавление страницы в поисковую базу.

Правила дизайна и подбора содержания.

Чтобы ускорить появление остальных страниц сайта в индексе, нужно, во-первых, исключить из индексации ненужную информацию, во-вторых, сообщать роботу о новых страницах:( Если конечно не учитывать платную регистрацию ) .

запретить в robots.txt индексацию страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, сайты-зеркала, документы на нераспространенных в рунете языках;
создать карту сайта, то есть страницу или несколько страниц, на которых есть ссылки на все документы сайта;
выдавать корректные заголовки ответа сервера (например, если страница не существует, выдавать ошибку 404, а если поступил запрос «If-Modified-Since», то выдавать код 304, если страница с указанной в запросе даты не изменилась);
каждой уникальной странице сайта, по возможности, должен соответствовать только один URL. Распространенная причина появления дубликатов — генерация сайтом URL с незначащим параметром, изменение которого не приводит (или не всегда приводит) к изменению страницы.

Технические рекомендации

Воспользуйтесь размещенным на веб-сервере файлом robots.txt. Он сообщает сканерам, какие каталоги можно сканировать, а какие нельзя. Следите за актуальностью содержания этого файла, чтобы случайно не заблокировать сканер поискового робота Яндекс. Инструкции о том, как давать указания роботам, сканирующим сайт, приводятся на сайте http://www.robotstxt.org/wc/faq.html.