Индексация Google.

Сегодня

На этой странице решил поделиться опытом, как сделать, чтобы ваш сайт был проиндексирован Google.

Ниже я скопировал рекомендации от администрации Google и вставил свои ремарки.

Руководство для веб-мастеров

Как добавить сайт в результаты поиска Google?

Сайты включаются в результаты поиска Google бесплатно и очень просто, для этого даже не нужно добавлять свой сайт в Google. Google - это полностью автоматизированная поисковая система. В ней используются программы "пауки", которые регулярно сканируют Интернет и находят сайты для внесения в индекс Google. Нужно заметить, что большинство сайтов, представленных в наших результатах, не включаются в индекс по заявке, а находятся и добавляются автоматически, когда "пауки" сканируют Интернет. ( Иногда надо достаточно долго ждать. Некоторые мои сайты небыли включены до 2 месяцев и я решил всё-таки добавить вручную их ) .

Чтобы проверить, включен ли сайт в наш индекс, выполните в Google поиск URL своего сайта. Например, запрос [ site:www.moryam.net ] даст следующие результаты: http://www.google.com/search?hl=ru&q=site%3Awww.moryam.net+

Хотя Google сканирует миллиарды страниц, некоторые сайты он неизбежно пропускает. Если наши пауки пропускают сайт, это может быть вызвано одной из следующих причин:

- Сайт недостаточно хорошо связан многочисленными ссылками с другими сайтами в Интернете.
- Сайт запущен после последнего сканирования, выполненного Google.
- Дизайн сайта затрудняет эффективное сканирование его содержания.
- Когда мы пытались произвести сканирование Вашего сайта, он оказался временно недоступен.

Нашей целью является честное и точное представление содержания Интернета. Чтобы ее достигнуть, мы предлагаем рекомендации по построению сайта, удобного для сканирования. Хотя нельзя гарантировать, что определенный сайт будет обнаружен нашими пауками, эти рекомендации должны повысить шансы того, что сайт появится в наших результатах поиска.

ЧТО НЕОБХОДИМО СДЕЛАТЬ

Обеспечить высококачественное содержание Ваших страниц, особенно главной. Это самое важное условие, которое нужно выполнить. Если Ваши страницы содержат полезную информацию, они привлекут многих посетителей, а веб-мастера будут создавать ссылки на Ваш сайт. Создавая полезный и информативный сайт, старайтесь, чтобы страницы содержали четкое и точное описание Вашей темы. Подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте.

Постарайтесь, чтобы другие сайты ссылались на Ваш. Ссылки помогают сканерам найти Ваш сайт и могут способствовать тому, что сайт будет чаще показываться в наших результатах поиска. Составляя результаты запроса, Google полагается на рейтинг страницы, или PageRank (это наша мера важности страницы), и усовершенствованные приемы сопоставления текста, что позволяет показывать страницы, которые являются важными и релевантными для каждого запроса. Google подсчитывает число голосов в пользу страницы для определения ее рейтинга, интерпретируя ссылку со страницы А на страницу В как голос страницы А в пользу страницы В. Голоса, подсчитываемые по страницам, которые сами по себе являются "важными", ценнее и помогают сделать "важными" другие страницы. Обратите внимание на то, что рейтинг сайтов в результатах поиска формируется автоматически и мы не присваиваем ключевые слова сайтам вручную.

Создавайте сайт с использованием структуры логических ссылок. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке.

Решите, будете ли Вы создавать статические копии динамических страниц. Хотя индекс Google включает динамические страницы, они составляют лишь малую часть индекса. Если есть подозрения, что Ваши динамически созданные страницы (например, URL, содержащие знаки вопроса) создают проблемы для нашего сканера, можно создать статические копии этих страниц. В этом случае не забудьте добавить динамические страницы в свой файл robots.txt, чтобы мы не считали их копиями. ( Идеальный вариант это конечно сайт на статических страницах. К примеру один из моих сайтов Google проиндексировал около 500 страниц на которых почти отсутствовала какая-либо информация, и как следствие отсутствие посещений. Проблему решил закрытием этих страниц в robots.txt ) .

Попробуйте создать и передать в Google подробную карту своего сайта с помощью Google Sitemaps. . Google Sitemaps - это простой способ, позволяющий передать все URL сайта в индекс Google и получать подробные отчеты о показах Ваших страниц на Google. С помощью этой службы пользователи могут автоматически информировать нас обо всех своих страницах и вносимых в них изменениях. Помните, что предоставление Sitemap не гарантирует, что все страницы данного сайта будут просканированы или включены в результаты поиска. Дополнительная информация о Google Sitemaps представлена на странице http://www.google.com/webmasters/sitemaps/about?hl=ru ( Полезная вещь, я к примеру не стал себя утруждать настройкой скрипта, а сделал sitemaps.txt файл со всеми своими страницами. Вы наверное задумаетесь, хорошо когда страниц от 50 до 100 - можно в ручную, а когда страниц 100000 - что делать? В файл sitemaps.txt можно добавить до 50000 адресов страниц. Моё мнение ,что это абсолютно не к чему. Достаточно ввести все свои статичные страницы. если учесть, что раньше пауки сканировали не понятно какие страницы на Вашем сайте, то теперь Вы можете им подсказать, что именно надо сканировать. И понятное дело, что посещаемость возрастёт. Даже если Вы загрузите на свой сервер скрипт Sitemaps - то представьте объёмы этих файлов. Хотя это дело хозяйское и Вам решать какой способ избрать. Самое главное, что вещь очень полезная ).

ЧТО НЕ СЛЕДУЕТ ДЕЛАТЬ

Не заполняйте свои страницы списками ключевых слов, не пытайтесь публиковать разное содержание для поисковых систем и для пользователей, не создавайте страницы, предназначенные только для сканеров. Если сайт содержит страницы, ссылки или тексты, не предназначенные для посетителей, Google рассматривает их как вводящие в заблуждение и может игнорировать такой сайт.

Обращаться к услугам фирм по оптимизации поиска необязательно. Некоторые компании заявляют, что могут "гарантировать" высокий рейтинг Вашего сайта в результатах поиска. В то время как существующие на легальном положении консалтинговые фирмы действительно могут улучшить поток и содержание Вашего сайта, остальные используют нечестные приемы, пытаясь обмануть поисковые системы. Будьте осторожны. Если Ваш домен связан с одной из таких мошеннических фирм, он может быть исключен из нашего индекса.

Не используйте изображения для показа важных имен и названий, другого содержания и ссылок. Наш сканер не распознает текст, содержащийся в изображениях. Используйте теги ALT, если основное содержание и ключевые слова на Вашей странице нельзя перевести в обычный формат HTML.

Не создавайте многочисленные копии страницы под разными URL. Многие сайты предлагают только текстовые страницы или версии для печати, которые предлагают то же содержание, что и соответствующие страницы с изображениями. Чтобы обеспечить включение выбранной Вами страницы в результаты поиска, необходимо блокировать копии для наших пауков с помощью файла robots.txt. Дополнительную информацию об использовании файла robots.txt можно найти в разделе о блокировании робота Google.

Когда сайт будет готов, сделайте следующее.

Попросите разместить ссылки на него на других сайтах, посвященных похожим темам. ( Попросить у кого-то разместить Вашу ссылку, Вы наверное действительно, только сможете попросить и не больше. Пока, наверное существует, для меня по крайней мере два известных способы, это приобрести каталог обмена ссылками, я на своих сайтах к примеру использую LinkExchanger v2.0 - дёшево и сердито, и второй способ это платное размещение Ваших ссылок на главных страницах сайтов которым Вы за это заплатите) .
Передайте его в Google на странице http://www.google.com/addurl.html.

Правила дизайна и подбора содержания.

Создайте сайт с четкой иерархией и текстовыми ссылками. На каждую страницу должен быть переход хотя бы по одной статической текстовой ссылке.
Составьте для пользователей карту сайта со ссылками на его важные разделы. Если в ней окажется более или немногим менее ста ссылок, возможно, удобнее будет разбить ее на несколько отдельных страниц.
Сделайте сайт полезным и информативным. Страницы должны содержать четкое и точное описание содержания.
Подумайте, по каким ключевым словам пользователи будут искать Ваши страницы, и включите эти слова в текст на сайте.
Старайтесь сделать так, чтобы важные имена и названия, другое важное содержание и ссылки представляли собой текст, а не изображения. Сканер Google не распознает текст, содержащийся в изображениях.
Следите за тем, чтобы теги TITLE и ALT были точными и информативными.
Убедитесь в том, что все ссылки работают. Проверьте правильность кода HTML.
Если Вы решите использовать динамические страницы (то есть такие, в URL которых содержится символ "?"), учтите, что не все "пауки" поисковых систем сканируют динамические страницы так же успешно, как и статические. Советуем сократить длину и количество параметров.
Не размещайте на одной странице слишком много ссылок (более 100).

Технические рекомендации

Воспользуйтесь размещенным на веб-сервере файлом robots.txt. Он сообщает сканерам, какие каталоги можно сканировать, а какие нельзя. Следите за актуальностью содержания этого файла, чтобы случайно не заблокировать сканер поискового робота Google. Инструкции о том, как давать указания роботам, сканирующим сайт, приводятся на сайте http://www.robotstxt.org/wc/faq.html. Убедиться в том, что файл robots.txt правильно используется, можно с помощью инструмента для анализа robots.txt в Google Sitemaps.
Если Ваша компания решит приобрести систему управления содержанием, проверьте, может ли она экспортировать содержание, чтобы позволить "паукам" поисковых систем его сканировать.
Не используйте "&id=" в качестве параметра в URL, поскольку такие страницы мы не индексируем.

Рекомендации по обеспечению качества

В этом руководстве перечислены самые распространенные формы обмана и мошеннических манипуляций. Однако Google может негативно отреагировать и на другие недобросовестные действия, которых нет в этом списке (например, на использование неправильно написанных названий популярных веб-сайтов с целью обмана пользователей). Если тот или иной способ обмана не указан на этой странице, это совсем не означает, что Google его одобряет. Веб-мастера, прилагающие усилия к соблюдению основных принципов, существенно упрощают для пользователей работу в Интернете, а потому их сайты располагаются в списках результатов поиска выше, чем сайты тех, кто тратит время на поиски лазеек. Если Вы считаете, что какой-то сайт нарушает рекомендации по обеспечению качества Google, сообщите об этом на странице http://www.google.com/contact/spamreport.html. Google предпочитает разрабатывать масштабируемые автоматизированные решения проблем, поэтому мы стараемся свести к минимуму "рукопашные бои" со спамом. Сообщения о спаме используются при создании масштабируемых алгоритмов, которые распознают и блокируют дальнейшие попытки рассылать спам

Рекомендации по обеспечению качества: основные принципы

Создавайте страницы для пользователей, а не для поисковых систем. Не вводите пользователей в заблуждение и не публикуйте разное содержание для поисковых систем и для пользователей. Клоакинг - а это называется именно так - не приветствуется.
Не пытайтесь хитростью повысить рейтинг сайта в поисковой системе. Следуйте правилу: если Вы смогли бы без затруднений объяснить владельцу конкурирующего сайта, что Вы с ним сделали, значит, все правильно. Кроме того, полезно задаться вопросом, поможет ли это пользователям? Нужно ли было бы это делать, если бы поисковых систем не существовало?
Не участвуйте в схемах построения ссылок, разработанных для повышения рейтинга веб-сайта, а также PageRank. В частности, не размещайте ссылки на сайты, с которых рассылается спам, и на "неблагоприятных соседей" по сети, так как это может повредить Вашему рейтингу.
Не используйте для отправки информации о сайте, проверки его рейтинга и т.д. запрещенные компьютерные программы. Они поглощают вычислительные ресурсы и нарушают наши Условия предоставления услуг. Google не рекомендует использовать программные продукты, отправляющие в поисковую систему автоматические и программные запросы, например, WebPosition Gold™. ( Вы успели уже заметить, сколько в сети существует сайтов предлагающих поставить их кнопку с определением Вашего PR - делайте выводы. )

Особые рекомендации по обеспечению качества

Не используйте скрытый текст и скрытые ссылки.
Не применяйте клоакинг и скрытую переадресацию.
Не отправляйте в поисковую систему Google автоматические запросы.
Не перегружайте страницы словами, не относящимися к теме.
Не создавайте страницы, субдомены и домены, в значительной степени повторяющие содержание друг друга.
Не создавайте страниц, которые устанавливают вирусы, "троянских коней" или другие вредоносные программы.
Не используйте страницы портала, предназначенные исключительно для поисковых систем, и другие трафаретные приемы, например, партнерские программы, где оригинальное содержание почти или совсем отсутствует.
Если Ваш сайт участвует в партнерской программе, убедитесь, что он вносит свой оригинальный вклад. Используйте уникальное и релевантное содержание, чтобы пользователи в первую очередь посещали Ваш сайт.