XML Sitemap: полное руководство по использованию. Файлы Sitemap

Что такое карта сайта

Содержимое любого веб-ресурса рано или поздно будет проиндексировано поисковыми системами. А как сделать так, чтобы этот процесс происходил побыстрее?

Один из наиболее эффективных способов – использование так называемой карты сайта (Sitemap ).

Карта сайта (Sitemap ) – это xml -файл с информацией для поисковых систем о страницах веб-ресурса, которые подлежат индексации. Sitemap помогает поисковикам определить местонахождение объектов веб-ресурса, время их последнего обновления, частоту обновления, приоритетность.

Формат протокола Sitemap состоит из XML -тегов.

В файле необходимо использовать кодировку UTF-8 .

Атрибуты XML -тегов Sitemap

– обязательный атрибут. Инкапсулирует этот файл и указывает стандарт текущего протокола;

– обязательный атрибут. Родительский тег для каждой записи URL . Остальные теги являются дочерними для этого тега;

– обязательный атрибут. URL страницы; должен начинаться с префикса (например, http:// ) и заканчиваться косой чертой, если ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов;

– необязательный атрибут. Дата последнего изменения файла; должна быть в формате W3C Datetime . Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД;

– необязательный атрибут. Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать частоте сканирования этой страницы. Допустимые значения: always , hourly , daily , weekly , monthly , yearly , never ;

– необязательный атрибут. Приоритетность URL относительно других URL на вашем сайте. Допустимый диапазон значений – от 0,0 до 1,0. Это значение не влияет на процедуру сравнения ваших страниц со страницами на других сайтах – оно только позволяет указать поисковым системам, какие страницы, по вашему мнению, более важны для сканеров (приоритет, который вы назначили странице, не влияет на положение ваших URL на страницах результатов той или иной поисковой системы). Приоритет страницы по умолчанию – 0,5.

Пример XML -файла Sitemap

(необязательные теги выделены ):

http://сайт/

2010-04-19

daily

0.8

http://сайт/aldan.htm
2009-10-03
monthly

0.5

http://сайт/aldan-weather.htm

2010-04-15

weekly

0.5

Если ваш сайт содержит много веб-страниц, вы можете опустить необязательные атрибуты (это позволит значительно уменьшить размеры файла Sitemap ):

http://сайт/

http://сайт/aldan.htm

http://сайт/aldan-weather.htm

Использование файлов индекса Sitemap

Файл Sitemap должен содержать не более 50000 URL , при этом его размер не должен превышать 10МБ .

При необходимости файл Sitemap можно сжать с помощью архиватора gzip , чтобы уменьшить требования к пропускной способности канала.

Если необходимо перечислить более 50000 URL , следует создать несколько файлов Sitemap . При этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap . В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap . Размер этого файла не должен превышать 10МБ .

Как создать карту сайта

Для создания карты сайта можно воспользоваться так называемыми генераторами Sitemap , а можно всё сделать самому:

– откройте Блокнот ;

– соблюдая правила протокола Sitemap , заполните файл Sitemap ;

– в соответствующее текстовое поле введите имя файла (например, sitemap.xml );

– в выпадающем списке Тип файла выберите Все файлы (*.*) ;

– в выпадающем списке Кодировка выберите UTF-8 , нажмите Сохранить ;

– закачайте Sitemap в корневую директорию вашего сайта.

Уведомления для сканеров поисковиков о наличии и месторасположении файла Sitemap

После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о его местонахождении поисковым системам, поддерживающим этот протокол. Это можно сделать следующими способами:

Передача файла Sitemap с помощью веб-интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к справочной системе поисковика.

Например, передать

Создать Sitemap xml (карту сайта) необходимо для улучшения индексации сайта поисковыми системами. Существует приличное количество программ и онлайн инструментов, сервисов в Интернете, позволяющих быстро создать sitemap.

Наиболее удобным из них я считаю бесплатный онлайн генератор - бесплатно до 500 страниц, чего вполне достаточно для молодых сайтов. Назначение остальных форматов sitemap: xml.gz, html - опишу ниже.

Почему я выбрал этот англоязычный сервис, если есть аналогичные на русском языке? Потому что на нём не требуется регистрация, а в файлах sitemap нет ошибок, как на других. Всё делается в два этапа и очень быстро. Вводим адрес сайта, выбираем частоту обновления сайта, например: Weekly (еженедельно) и жмем «Start». Всё. Остальные параметры можно не менять.

Через несколько секунд получаем такой список и просто щелкаем по нужному файлу sitemap - он молниеносно загружается на ваш компьютер. Нижняя ссылка позволит получить zip-архив со всеми видами sitemap:

Справа в окошке - дополнительная информация, обратите внимание: время создания - 25 секунд, а последняя строчка - отсутствие ошибок. Сервис поддерживает отправку карты сайта в Инструменты для веб-мастеров Google, а для Pro-аккаунтов - в Яндекс Вебмастер. Поясню насчёт «необязательных» настроек, в некоторых случаях они могут быть востребованы:

1. «Change frequency» (изменение частоты) - как часто бывают обновления.
2. «Last modification» (последнее изменение) - ответ вашего сервера или установка своего времени и даты, по умолчанию - текущее. Позволит избежать повторного сканирования поисковыми роботами неизменённых документов, что сократит время обнаружения новых.
3. «Priority» (приоритет) - рассчитает автоматически для конкретных url относительно остальных страниц по шкале от 0,0 до 1,0 (по умолчанию 0,5). Здесь кроется возможность повлиять на процесс сканирования сайта поисковыми машинами, если изменить эти параметры вручную.

Готовый sitemap требуется поместить в корневую папку сайта, там, где находится index.html. Рекомендую не ограничиваться файлом xml и использовать также sitemap в более сжатом формате xml.gz, что будет актуальным для всех поисковых систем. А в файле Robot.txt пропишите следующие строчки (или одну), изменив доменное имя на своё:

Sitemap: http://сайт/sitemap.xml..xml

Для чего нужен sitemap? Объясню на примере карты сайта html. Изначально нужно исходить из того, что сайт должен иметь понятную структуру, а любая значимая страница находиться не далее чем в 2-х кликах от главной. На практике этого добиться непросто: структура получается сложной, а вложенность страниц многоуровневой (для больших сайтов).

Если создать sitemap, то пользователь получает возможность в два шага попасть на любую страничку, а задача становится решена. Этой же возможностью воспользуются пауки поисковых систем. А sitemap XML позволяет паукам проиндексировать новые страницы за один шаг. Поясню: спайдеры ПС находят новые страницы по ссылкам с уже проиндексированных.

Приведу, на всякий случай, еще один бесплатный сервис: Sitemapgenerator . Он русскоязычный, поддерживает отправку sitemap на поисковые системы, что идёт ему в плюс. А в минус: требуется регистрация, очередь на бесплатную генерацию - задержка по времени, и возможны ошибки, хотя на XML-Sitemaps - их нет.

Представлю ещё бесплатную программу SiteMap Generator , которая позволит быстро создать sitemap в нескольких форматах, показывает файл Robots.txt и битые ссылки, ведущие в «никуда».

Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.

Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.

Какие возможности дает карта сайта?

Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.

Сайтмап позволяет:

• найти новые страницы на ресурсе и проиндексировать их;
• расставить приоритетность страниц;
• отследить свежие изменения на индексируемых страницах;
• запомнить частоту обновления индексируемых страниц.

Какие бывают карты сайта?

В общем случае существует два варианта сайтмапа - это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.

Что такое Sitemap.html?

Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.

Sitemap.html имеет структуру дерева с развернутыми разделами.

У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример - карта сайта TripAdvisor .

Что такое sitemap.xml?

Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль - показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.

Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько . Дополнительные преимущества - возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.
Приведем пример карты сайта в формате.xml:

http://mysite.ru/
2017-09-18T18:54:13+04:00
always
1.0


http://mysite.ru/category/
2017-09-18T18:57:09+04:00
hourly
0.8


http://mysite.ru/page/
2017-09-18T18:59:37+04:00
daily
0.6

Как создать карту сайта?

Существует ряд методов создать sitemap для вашего ресурса:

• Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
• Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам - программа для создания карты сайта. Есть платные и бесплатные варианты: , и множество других.
• Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
  • для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
  • для Joomla существует Xmap ;
  • DLE - имеется встроенный модуль .

Полезный нюанс!

Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.

А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.

Как часто должна обновляться карта сайта?

Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.

При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час - робот не станет индексировать страницу так часто.

Как правильно указать ссылку на sitemap.xml в robots.txt

Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.

Чтобы это сделать, пропишите в robots.txt следующую строку:

Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} - это полный URL вашего сайтмапа.

В итоге, robots.txt приобретет такой вид:

User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.

Частые ошибки в карте сайта

Самые распространенные ошибки:

• битые ссылки;
• редиректы;
• некорректные даты публикации или обновления контента.

Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.

Как проверить корректность карты сайта

Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).

Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.

Протестируйте sitemap.xml в Яндекс * - https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus - https://webmaster.yandex.ru/tools/sitemap/
Англоязычный сервис - https://sitemapkoala.com/

* - для теста в Яндекс, необходимо .

Итого

Карта сайта - удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.

Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.

Файлы robots.txt и sitemap.xml дают возможность организации индексации сайта. Эти два файла хорошо дополняют друг друга, хотя в то же время решают противоположные задачи. Если robots.txt служит для запрета индексации целых разделов или отдельных страниц, то sitemap.xml, напротив, подсказывает поисковым роботам, какие именно УРЛ-адреса нужно индексировать. Разберем каждый из файлов в отдельности.

Файл robots.txt

robots.txt - это файл, в который записываются правила, ограничивающие доступ поисковым роботам к каталогам и файлам сайта для того, чтобы избежать попадания их содержимого в индекс поисковых систем. Файл обязательно должен располагаться в корневой директории сайта и быть доступен по адресу: site.ru/robots.txt.

В robots.txt нужно закрывать от индексации все дублирующиеся и служебные страницы сайта. Часто общедоступные CMS создают дубли, статьи могут быть доступны по нескольким УРЛ-адресам одновременно, например; в категориях site.ru/category/post-1/ , тегах site.ru/tag/post-1/ и архиве site.ru/arhive/post-1/ . Для того, чтобы не было дублей, необходимо запретить индексацию тегов и архива, в индексе останутся только категории. Под служебными страницами, я имею в виду, страницы администраторской части сайта и автоматически генерируемые страницы, например: выдачу при поиске на сайте.

От дублей просто необходимо избавляться, так как они лишают страницы сайта уникальности. Ведь если в индексе находятся несколько страниц с одинаковым содержимым, но доступные по разным УРЛ-адресам, то контент ни одной из них не будет считаться уникальным. В следствие этого поисковые системы принудительно будут занижать позиции таких страниц в выдаче.

Директивы robots.txt

Директивы - это правила или можно еще сказать команды для поисковых роботов. Самой главной является User-agent , с ее помощью можно установить правила для всех роботов или для конкретного бота. Эта директива прописывается вначале, а после нее указываются все остальные правила.

# Для всех роботов User-agent: * # Для робота Яндекса User-agent: Yandex

Еще одной обязательной директивой является Disallow , с ее помощью закрываются разделы и страницы сайта, а ее противоположностью является директива Allow , которая напротив принудительно разрешает индексировать указанные разделы и страницы сайта.

# Запрещаем индексацию раздела Disallow: /folder/ # Разрешаем индексацию подраздела с картинками Allow: /folder/images/

Для того, чтобы указать главное зеркало сайта, например: с www или без, используется директива Host . Стоит отметить, что главное зеркало прописывается без указания http:// протокола, а вот https:// протокол необходимо указывать. Host понимают только боты Яндекса и Mail.ru и прописывать директиву нужно только один раз.

# Если главное зеркало работает по http протоколу без www Host: site.ru # Если главное зеркало работает по https протоколу c www Host: https://www.site.ru

Sitemap - директива, указывающая путь к файлу sitemap.xml, путь необходимо указывать полностью с протоколом, прописывать данную директиву разрешается в любом месте файла.

# Указываем полный путь к файлу sitemap.xml Sitemap: http://site.ru/sitemap.xml

Для упрощения написания правил существуют специальные символьные операторы:

• * - обозначает любое кол-во символов, а так же их отсутствие;
• $ - обозначает, что символ стоящий перед знаком доллара, последний;
• # - обозначает комментарий, все что находиться в строке после данного оператора будет проигнорировано поисковыми роботами.

После знакомства с основными директивами и специальными операторами уже можно набросать содержимое простенького файла robots.txt.

User-agent: * Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php User-agent: Yandex Disallow: /admin/ Disallow: /arhive/ Disallow: /tag/ Disallow: /modules/ Disallow: /search/ Disallow: *?s= Disallow: /login.php # Разрешаем роботом Яндекса индексировать изображения в разделе modules Allow: /modules/*.png Allow: /modules/*.jpg Host: site.ru Sitemap: http://site.ru/sitemap.xml

Ознакомиться с подробным описанием всех директив с примерами их использования можно в публикации на сайте Яндекса в разделе помощь .

Файл sitemap.xml

sitemap.xml - это так называемая карта сайта для поисковых систем. Файл sitemap.xml содержит информацию для поисковых роботов, о страницах сайта, которые необходимо индексировать. В содержимом файла обязательно должны быть указанны УРЛ-адреса страниц, а необязательно можно указать приоритет страниц, частоту переобхода страниц, дату и время последнего изменения страниц.

Необходимо отметить, что sitemap.xml не обязателен, и поисковые системы могут его не учитывать, но в то же время все поисковики говорят о том, что наличие файла желательно и помогает правильно индексировать сайт, особенно, если страницы создаются динамически или на сайте сложная структура вложенности.

Вывод напрашивается один: что файлы robots.txt и sitemap.xml необходимы. Правильная настройка индексации - это один из факторов нахождения страниц сайта на более высоких местах в поисковой выдаче, а это цель любого более-менее серьезного сайта.

Файл Sitemap - это файл с информацией о страницах сайта иначе называемая карта сайта . С помощью файла Sitemap вы можете сообщить поисковой системе, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексация каких страниц наиболее важна.

Здесь вы можете сформировать необходимый Google и Yandex XML -код для карты сайта. А также создать визуальную карту сайта онлайн, которую сможете разместить на одной из ваших страниц.

Подробнее о XML-формате файла Sitemap можно прочитать на sitemaps.org

Новичок Эксперт VIP Информация Структура XML История FAQ

Технические подробности sitemap

Теги файла sitemap.xml:

• changefreq - наиболее вероятная частота изменения контента указанного URL;
• lastmod - фактическая дата последнего обновления URL;
• loc - сам URL;
• priority - приоритетность указанной страницы по отношению к другим страницам сайта;
• url - этот тег служит родительским для указанных первых четырех тегов;
• urlset - этот тег объединяет теги первых пяти типов.

Особенностью применения формата XML является необходимость замены всех служебных символов на их безопасное представление. Ниже приведена таблица символов, которые встречаются в URL и подлежат обязательной замене:

• & - амперсанд;
• " - одиночные кавычки;
• " - двойные кавычки;
• > - знак "больше";
• < - знак "меньше".

Файл Sitemap имеет ограничения на размер индексного файла в 10 мегабайт. Для того чтобы это ограничение не затронуло владельцев небольших веб-сайтов, предусмотрена возможность сжатия файлов, которые предназначены для Sitemap с помощью открытого архивного формата gz (gzip-архиватор).

Можно указать местоположение файла Sitemap , используя файл robots.txt . Для этого просто добавьте в файл robots.txt следующую строку:

Sitemap: http://ДОМЕН.ru/sitemap.xml
URL должен быть полным URL для файла Sitemap.

Для передачи поисковым системам нового Sitemap используйте строку вида:
Поисковая система/ping?sitemap=http://ДОМЕН.ru/sitemap.xml
Для Google: http://www.google.com/webmasters/sitemaps/ping?sitemap=http://ДОМЕН.ru/sitemap.xml

Для проверки корректности составления карты вашего сайта следует предварительно проверить его на правильность. Проще всего это сделать с помощью одной из утилит, расположенных на веб-сайтах или xml.org . При этом вам понадобится XML-схема данных индексного файла Sitemap. Чтобы указать в XML файле ссылку на схему проверки установите флажок "Добавлять ссылку на XSD схему для проверки ". После этого при открытии Sitemap.xml файла в браузере, при наличии ошибок в структуре, вы получите соответствующее сообщение.

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам - помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта . Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84 . За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps , предложенное Google , стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo , а в апреле и Ask.com . На радостях формат Sitemaps получил новую версию Sitemap 0.90 , расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask , Google и Yahoo , т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндекс ом.

Как сделать, чтобы на вашем сайте всегда была свежая карта? Для этого создан бесплатный сервис поддержания карты сайта.

Также Вы можете приобрести готовый универсальный скрипт поиска на вашем сайте с учетом морфологии русского языка + генератор карты сайта .