Страница обходится роботом, но отсутствует в поиске. Ошибка Яндекс.Вебмастер

Инструмент 24.04.2019
Инструмент

Добрый день друзья. На связи Александр Мельничук, и сегодня я бы хотел рассказать вам о сервисе, с помощью которого можно проводить бесплатный SEO-анализ сайта и его аудит в считанные секунды. Наверняка, многие из вас уже встречали подобные онлайн-инструменты, и пользуются ими на постоянной основе. Действительно, это очень удобно, указал адрес домена или проверяемой страницы и в течение 10 секунд получил полную картину по проблемным местах своего сайта.
Инструмент Sitechecker.pro как раз и предназначен для решения подобных вопросов и обладает рядом преимуществ:

1) Детальный аудит сайта. Ваш сайт или страница будут оценены по 156-параметрам. В итоге, Вебмастер получает комплексную оценку своего сайта и видит его проблемные места;

2) Подсказки по устранению проблемных моментов. Сервис проверки сайтов, не только показывает проблему на вашем ресурсе, но и предлагает детальные решения по устранению этих ошибок;

3) Быстрая проверка. В среднем время на проверку сайта или отдельного url составляет около 7 секунд;

4) Полностью бесплатный. Инструмент работает исключительно на бесплатной основе и без ограничений по количеству проверок;

5) Поддержка 10 языков. Интерфейс сайта может быть доступным на 10 разных языках для удобства пользователей.

Тестирование сервиса

Этот обзор был бы не полным и не объективным, если бы я просто сделал описание сервиса, без демонстрации конкретных результатов. Поэтому, поехали. Для анализа, я возьму произвольный сайт, и посмотрим, какие результаты покажет сервис.

Вставляем адрес сайта на главной странице сервиса Sitechecker.pro и нажимаем кнопку Проверить. Через несколько секунд получаем детальный анализ сайта с пояснениями по проблемам.

Важно! Работа сервиса организована в формате лэндинга, поэтому вся необходимая информация располагается на одной странице, что очень удобно для анализа. В первую очередь обращайте внимание на критические ошибки, потом на предупреждения.

Для удобства пользователей с левой стороны сервиса расположена быстрая навигация по сервису с 5-ю направлениями проверки, а в правой области экрана результаты.

Начнем с 1-го блока – Оптимизация контента, кликнув по которому открывается дополнительное меню.

В этом блоке проверяются:

— Основные параметры страницы: ее ответ (код ответа http), и размер содержимого на странице;

— Title-проверка: будет показан сам title и его длина. Обратите внимание, если есть проблема по отдельному элементу, то это будет обозначено красным значком x и под указанием проблемы будет указан способ по ее устранению;

— H1-H6 проверка: будут показана все теги от H1 до H6 в исходном коде страницы;

— Проверка Description: осуществляется проверка по мета-тегу описания страницы с подсчетом символов и демонстрацией отображения этого описания в сниппете Google;

— Проверка контента. Интересный анализ контента, при котором подсчитывается количество символов на странице и идет подсчет соотношения величины контента к коду. Таким образом, можно определить слабые страницы на вашем сайте, где контента недостаточно;

Блок — Изображения

— Проверка Favicon: будет показана информация о присутствии фавиконки на вашем сайте, а также ее отображение на разных типах устройств;

— Проверка изображений на сайте: идет проверка к каждой расположенной картинке на проверяемой странице на наличие тегов – alt и title, а также указание размера к каждому изображению;

Блок — Поисковая оптимизация

— Проверка канонических ссылок: инструмент проверяет наличие канонической ссылки на странице;

— Проверка альтернативных ссылок;

— Индексирование поисковыми системами: данный элемент анализа показывает текущую информацию об индексировании анализируемой страницы. Обратите внимание на процентный показатель закрытого контента в теги noindex, сервис показывает и эту информацию;

— Пагинация: определение страниц пагинации на сайте;

— Уязвимость URL: идет анализ url-адреса страницы и выявления на ней потенциальных уязвимостей;

— Проверка маскировки: проверка на сканирование роботами поисковых систем Яндекса и Google.

Внутренняя перелинковка сайта: будут показаны все ссылки перелинковки со страницы;

— Внутренние страницы: показаны страницы, на которые ведут ссылки с проверяемой страницы с указанием url-адреса, анкора ссылки и ответа их сервера.

Блок — скорость веб-страницы

— Мобильный предосмотр: демонстрация вашего сайта на экране мобильного устройства;

— Удобство работы (мобильная версия): оценка мобилопригодности вашей страницы по всем основным параметрам. Вот лишь часть из них;

— Удобство работы (десктоп-версия): проверка удобства работы в десктопной версии и рекомендации по исправлениям.

Мой вердикт (плюсы и минусы)

Если рассматривать сервис по аналогии с другими подобными проектами (например, pr-cy или cy-pr), а это будет наиболее объективная оценка (по крайнем мере, я так считаю), то он имеет ряд преимуществ: не нужно проводить никакой регистрации, чтобы получить определенные преимущества в проверке(в сервисе анализа сайта Sitechecker.pro ее просто нет), также не нужно ждать окончания результатов кэширования на сутки, как в других сервисах, ввел адрес сайта, получил актуальные данные.

Ну и последнее, чтобы я хотел отметить, так это четкое описание каждого параметра проверки и детальное решение проблемы путем внесения правок согласно рекомендациям из сервиса.

Что касается минусов, то я их практически не обнаружил. Пишу практически, так как в инструменте проверки — Внешние ссылки, при анализе моего блога вместо 3-х исходящих ссылок, сервис показал всего 2. И было бы круто, если бы разработчики сервиса, внесли некоторые изменения в алгоритм работы данного элемента, таким образом, чтобы он показывал, закрыта ли ссылка от индексации атрибутами – noindex и rel=»nofollow». Ребята, если вы читаете этот пост, усовершенствуйте, пожалуйста, данный модуль.

Проверяет html код, как заданный с помощью ссылки на страницу, так и просто в виде загруженного файла или скопированного текста. Дает список замечаний с рекомендациями по их исправлению.
http://validator.w3.org/

Проверка css (css валидатор)

Проверяет стили документа или таблицу стилей, расположенную в отдельном файле.
http://jigsaw.w3.org/css-validator/

Проверка лент (feed) RSS и Atom

Проверяет правильность работы фидов RSS и Atom.
http://validator.w3.org/feed/

Проверка орфографии на веб странице

Подсвечивает ошибки на заданной URL странице.
http://webmaster.yandex.ru/spellcheck.xml

Показывает ошибки в тексте, скопированном в проверочное окно.
http://api.yandex.ru/speller/

Проверка структуры веб страницы

Показывает структуру веб страницы. Актуален для проверки html5 документов. Неправильно отображает кириллицу (:.
http://gsnedders.html5.org/outliner/

Проверка контента на уникальность

В бесплатной версии показывает до 10 страниц в инете с частичным совпадением текста с вашей страницей.
http://www.copyscape.com

Проверяет уникальность текста введенного в форму. В бесплатной версии возможно ожидание результатов.
http://www.miratools.ru/Promo.aspx

Проверяет уникальность как введенного текста, так и текста по заданному URL, показывает уровень уникальности в процентах. Имеет собственный алгоритм проверки.
http://content-watch.ru

Десктопные программы для проверки уникальности контента от бирж копирайтеров. Работают долго, но качественно. Etxt имеет версии для трех операционных систем: Mac, Linux и Windows.
http://advego.ru/plagiatus/
http://www.etxt.ru/antiplagiat/

Показывает сайты с похожим содержанием и схожей внутренней структурой.
http://similarsites.com

Проверка cms сайта

Проверяет наличие признаков наиболее известных cms.
http://2ip.ru/cms/

Проверка юзабилити сайта для различных групп пользователей Проверка доступности с мобильных устройств

Оценивает возможность просмотра страницы с мобильных устройств и выдает список замечаний и ошибок.
http://validator.w3.org/mobile/

Проверка удобства сайта для телефонов от Гугл.
https://www.google.com/webmasters/tools/mobile-friendly/

Показывает скорость загрузки сайта на мобильных устройствах.
https://testmysite.withgoogle.com/intl/ru-ru

Сайт эмулятор выхода с мобильного телефона. Показывает сайт глазами выбранной модели.
http://www.mobilephoneemulator.com/

Проверка доступности для людей с ограниченными возможностями

Сервис проверки страницы для слабовидящих. Доступен on-linе и в виде плагина для Firefox.
http://wave.webaim.org/

Просмотр содержания сайта глазами поискового робота

Показывает текст сайта, приближенный к тому, что видит поисковый индексатор.
http://www.seo-browser.com/

Дистрибутив текстового браузер lynx для win32 систем. Перед использованием нужно отредактировать lynx.bat, указав в нем путь к директории с lynx.
http://www.fdisk.com/doslynx/lynxport.htm

Убирает все разметку и показывает текст страницы, мета теги и теги заголовков, число внешних и внутренних ссылок. Показывает превью страницы в google.
http://www.browseo.net

Проверка ссылочной структуры сайта Проверка битых ссылок

Показывает список исходящих ссылок для URL и проверяет их отклик. Может проверять рекурсирвно, то есть переходить от одного документа к другому самостоятельно.
http://validator.w3.org/checklink

Freeware инструмент для проверки битых ссылок. Для работы нужно установить его на свой компьютер. Рекурсивно сканирует сайт, делает отчеты, может быть полезен для составления карты сайта.
http://home.snafu.de/tilman/xenulink.html

Проверка перелинковки и заголовков страниц

Сканирует до 500 страниц сайта в бесплатной версии. Проверяет число внешних и внутренних ссылок. Выводит информацию о просканированных страницах: вложенность, коды ответа, названия, мета информацию и заголовки.
http://www.screamingfrog.co.uk/seo-spider/

Проверка ссылочной структуры и веса внутренних страниц

Программа сканирует сайт, строит матрицу внутренних ссылок, добавляет внешние (входящие) ссылки с заданных URL и, на основании этих данных, рассчитывает внутренние веса страниц сайта. Программа может быть использована для нахождения внешних (исходящих) ссылок для списка URL страниц сайта.

Проверка кодов ответа сервера, видимости сайта поисковыми роботами, технических характеристик сайта Проверка HTTP заголовков и ответа сервера, видимости страниц для роботов

Проверяет коды ответа сервера, прогнозирует скорость загрузки страницы в зависимости от объема в байтах ее данных, показывает содержимое html тега head, внутренние и внешние ссылки для страницы, содержимое страницы глазами поискового робота.
http://urivalet.com/

Проверяет коды ответа сервера. Дает возможность проверить редиректы (коды ответа 301, 302), заголовок Last-Modified и др.
http://www.rexswain.com/httpview.html

Показывает объемы и содержимое данных, передаваемых при загрузки страницы.
http://www.websiteoptimization.com/services/analyze/

Проверяет редиректы, использование атрибута canonical, мета теги, некоторые аспекты безопасности сайта. Дает рекомендации по улучшению загрузки страниц.
http://www.seositecheckup.com

Проверка информации о домене и об IP адресе

WHOIS-сервис центра регистрации доменов RU center. Дает информацию по IP адресам и доменам по всему миру. Иногда зависает.
https://www.nic.ru/whois/?wi=1

Служба Whois от РосНИИРОС (RIPN). Дает информацию для доменов в зоне RU и IP адресам из базы RIPE (Европа).
http://www.ripn.net:8080/nic/whois/

Определяет, где у домена хостинг и также показывает IP адрес сайта.
http://www.whoishostingthis.com

Проверка не включен ли IP адрес в черный список для рассылки email.
http://whatismyipaddress.com/blacklist-check
http://ru.smart-ip.net/spam-check/

Проверка MX записей для домена. Проверка SMTP сервера для домена. Проверка IP в черных списках для рассылки.
https://mxtoolbox.com/

Поиск по базе зарегистрированных торговых марок в США.
http://tmsearch.uspto.gov/

Проверка файлов robots.txt

Проверяет доступность для индексации страниц сайта роботом Yandex.
http://webmaster.yandex.ru/robots.xml

Проверяет корректность файла robots.txt.
https://www.websiteplanet.com/webtools/robots-txt

Техосмотр сайта

Мониторинг доступности сайта. Дает возможость подключить один сайт бесплатно с минимальными опциями проверки.
http://www.siteuptime.com

Проверка скорости загрузки сайта. Посылает отчет на email. Имеет платные сервисы мониторинга доступности сайта.
http://webo.in

Проверка скорости загрузки страниц сайта.
http://www.iwebtool.com/speed_test

Проверка индексации и отображения сайта поисковиками Видимость сайта в поисковиках

Сервис, показывающий ключевые слова для сайта, по которым он находится в ТОП 20 (первой двадцатке) выдачи Google во времени. Данные о поисковом и рекламном трафике.
http://www.semrush.com/

Положение в ТОП50 yandex и Google. Тиц сайта и PR главной страницы, наличие в важных каталогах, видимость в топе по ВЧ запросам.
http://pr-cy.ru/

Проверка банов и уровня доверия к сайту

Проверка трастовости сайта. Сервис, утверждающий, что он измеряет траст для Яндекса (проверить все равно никто не может:).
http://xtool.ru/

Проверка наложения фильтров Панда и Пингвин от Гугл. Сервис позволяет визуально определить падал ли сайт в даты апдейтов Панда и Пингвин.
http://feinternational.com/website-penalty-indicator/

Проверка Page Rank страниц сайта (при копировании URL в инструмент нужно стереть последнюю букву а потом написать заново).
http://www.prchecker.net/

Проверка истории развития сайта

Показывает историю развития сайта и дает возможность посмотреть скриншоты старых страниц.
http://www.archive.org/web/web.php

История позиций сайта в ТОП Google (ключевые фразы, страницы, заголовки), показателей PR, ТИЦ, Alexa Rank, числа обратных ссылок для популярных сайтов.
http://SavedHistory.com

SEO плагины для проверки сайтов

SEO Doctor - дополнение к Firefox. Показывает ссылки на странице и дает удобный интерфейс к различным SEO сервисам.
http://www.prelovac.com/vladimir/browser-addons/seo-doctor/

SeoQuake - дополнение к Firefox. Показывает важнейшие характериситки сайта: ТИЦ, PR, обратные ссылки, Alexa Rank. Работает как с выдачей Google, так и с выдачей Yandex. Дает возможность быстрого анализа конкурентов.
http://www.seoquake.com/

IEContextHTML - дополнение к Internet Explorer. Проверяет индексацию ссылок в Yandex и Google, показывает список внешних и внутренних ссылок, позволяет импортировать данные c веб страниц.

Видимость сайта в посковиках в зависимосит от места расположения

Обновляемый список бесплатных прокси серверов, в том числе и Российских.
http://www.checker.freeproxy.ru/checker/last_checked_proxies.php
http://spys.ru/proxys/ru/

Анонимный бесплатный прокси с возможностью представиться из трех стран. Работает с поиском Google.
https://hide.me/en/proxy

Эммуляторы поиска Google в разных странах, путем задания параметров поиска.
http://searchlatte.com/
http://isearchfrom.com/

Проверка позиций в Yandex и Google

Сервис дает возможность глубокой проверки (до 500) позиции сайта по регионам в Yandex.

Сетевой анализ сайта, проверка обратных ссылок Анализ обратных ссылок

Осуществляет анализ ссылочной массы сайта, формирует срезы по различным критериям: тип ссылки, анкоры, страницы. Показывает вес обратных ссылок. Сервис доступен только для зарегистрированных пользователей.
http://ahrefs.com

Проверка наличая обратных ссылок на сайт

Проверяет наличие бэклинков на сайт в предложенном списке URL (до 100 страниц).
http://webmasters.ru/tools/tracker

Проверка популярности сайта в социальных медиа PlusOneChecker

Показывает число лайков (plusone) в Google+. Можно вводить сразу список проверяемых URl.
http://www.plusonechecker.net/

Facebook Graph API Explorer SharedCount

Показывает популярность в Твиттере, Google+, Facebook, LinkedIn, Pinterest, Delicious, StumbleUpon, Diggs.
http://sharedcount.com

Cool Social

Показывает популярность первой страницы сайта в Твиттере, Google+, Facebook, Delicious, StumbleUpon. Для российских сайтов данные иногда неверные.
http://www.coolsocial.net

Social-Popularity Social Crawlytics

Сканирует сайт и формирует отчеты "Shares" основных зарубежных социальных сетей для этих страниц. Регистрирует пользователей через акаунт в твиттере. Отчеты можно видеть уже на следующий день.
https://socialcrawlytics.com

Проверка сайта на вирусы Dr.Web

Проверяет заданный URL на подозрительный код, показывает подгружаемые скрипты и результаты их проверки.
http://vms.drweb.com/online/

Virus Total

Проверяет URL на вирусы 30 сканерами.
https://www.virustotal.com/#url

Alarmer

Система защиты сайта от вирусов. Ежедневно сканирует файлы сайта и присылает отчет об их изменениях по email.



Всем привет! В данной статье затронем тему безопасности, а именно безопасный протокол передачи данных — https. Если вы обратили внимание мой блог, на котором вы сейчас находитесь работает по протоколу https, на который я перешел недавно. Также, на https я перевел один из моих клиентских сайтов. Пришлось немного повозиться и понервничать, но в итоге все получилось. Я подумал, что надо обязательно написать об этом на блоге — как перейти с http на https безболезненно для сайта, тем более эта тема я считаю уже популярна, т.к. сегодня все больше и больше сайтов переходят на https.

Что меня побудило перейти на протокол https? В последнее время мне на глаза стали попадаться вот такие заголовки: Браузер Mozilla Firefox в скором времени перестанет поддерживать небезопасные http-соединения; всем государственным сайтам перейти на HTTPS; C января 2017 года все сайты, передающие секретные данные (пароли, номера кредитных карт и т.д.) по незащищенному соединению в браузере Google Chrome будут помечаться как небезопасные. Плюс ко всему где-то в интернете читал, что скоро всем сайтам придется перейти на протокол https в обязательном порядке. Я подумал, что в один прекрасный день все равно эта участь постигнет и меня. Так зачем же тянуть? Тем более хостинг beget.ru , на котором я сижу предоставил возможность для приобретения бесплатных SSL-сертификатов. В общем, собрал всю необходимую информацию по тому, как перейти с HTTP на HTTPS и сделал это. 🙂

Структура статьи

Зачем нужно использовать https и что имеется ввиду под безопасностью?

Если говорить кратко, то протокол https позволяет отправлять запросы на сервер с нашего сайта в зашифрованном виде, гарантируя при этом, что эти самые данные не будут перехвачены хакерами. Элементарный пример передаваемых данных — это авторизация на сайте (или регистрация). В процессе авторизации мы отправляем запрос на сервер, который содержит логин и пароль. Так вот, если отправлять эти данные по небезопасному соединению, то они легко могут быть перехвачены, что в результате может привести к взлому сайта. Работу протокола https обеспечивают SSL сертификаты. Они бывают разных видов, про виды сертификатов читайте ниже.

Весь процесс я решил разделить на шаги и выполнять их как раз именно в такой последовательности. Также ниже я дам рекомендации по переходу для популярных cms Joomla и WordPress. У каждого есть свои особенности.

Приобретение сертификата

Для начала необходимо приобрести SSL сертификат, чтобы ваш сайт был доступен по обоим протоколам — http и https. Давайте сначала внесем некоторые ясности в виды SSL сертификатов.

Виды сертификатов Простые сертификаты

Такие сертификаты выдаются на один или несколько доменов и подходят как физическим, так и юридическим лицам. Как правило, на выпуск таких сертификатов не уходит много времени, может быть выпущен даже в течении 5 минут. Чтобы получить такой сертификат необходима только проверка принадлежности к домену того, кто его запрашивает.

Wildcard SSL

Wildcard SSL — прекрасно подойдет сайтам с наличием поддоменов. В данном случае достаточно выпустить один сертификат, который будет работать на всех поддоменах и позволит сэкономить деньги на покупку отдельных сертификатов.

Мультидоменные SSL сертификаты

Мультидоменный SSL сертификат — сертификат, который может поддерживать сразу несколько доменов. Также, как и Wildcard позволит сэкономить денежку. Так что имейте ввиду, если у вашей компании или проекта имеется несколько доменных имен, то выбирайте именно мультидоменный сертификат.

EV (Extended Validation) сертификаты

EV (Extended Validation) — расширенная проверка компании. Данный вид сертификата могут позволить себе купить только крупные компании. Для его получения необходимо предоставить всю подробную информацию о компании — название организации, реквизиты, наличие о государственной регистрации, реальные звонки для утверждения полученных данных и многое другое. Да, получение такого вида сертификата дело хлопотное, но поверьте оно того стоит. Более того, рядом с адресной строкой в браузере будет отображаться название компании. Вот как это выглядит на примере сайта Сбербанка.

Смотрится круто и повышает доверие потенциального клиента. Поэтому, владельцам крупных компаний рекомендуется выпуск именно EV сертификатов.

Сертификаты с поддержкой IDN

Не все сертификаты поддерживают кириллические домены. Если у вас домен кириллицей в зоне РФ, то вам следует приобрести сертификат с поддержкой IDN.

Подробнее про виды сертификатов и их стоимости вы можете почитать в интернете. Здесь же я привел лишь некоторые, чтобы вы имели понятие, что сертификаты SSL бывают разные.

Получение сертификата

Сегодня приобрести сертификат SSL для сайта можно абсолютно бесплатно. Уже давно Google заявил о том, что пора уже переходить всем на безопасный прокол https и что предпочтение в ранжировании будет отдаваться сайтам именно с защищенным соединением. Кстати, это еще одна причина по которой я перешел на https. В общем, в связи с этим всем в свет появился проект под названием Let’s Encrypt . В первую очередь данный проект рассчитан на доступность приобретения SSL сертификата, а также облегчить жизнь рядовым веб-разработчикам с установкой сертификатов (генерация приватных ключей и прочее). И что самое главное — сертификаты, выдаваемые Let’s Encrypt, абсолютно бесплатные . Лично на моем блоге стоит именно такой сертификат.

Я получил сертификат SSL от Let’s Encrypt в панели управления beget.ru. Если вы пользуетесь данным хостингом, то получить его будет проще простого. Заходите в панель управления Бегет, далее переходите в раздел «Домены » и в списке доменов щелкаете по иконке SSL.

Иконка рядом с доменом говорит о том, что сертификат уже установлен. Попав в раздел SSL, открываем вкладку «Бесплатный SSL сертификат «. Если у вас имеются поддомены на выбранном домене, то лучше сразу выберите и их тоже, т.к. если этого не сделать сразу, то в дальнейшем придется перевыпускать сертификат.

Настройка сайта Загружаемые ресурсы

Для перевода сайта на HTTPS необходимо выполнить некоторые настройки на сайте, касается это загружаемых ресурсов. Что подразумевается под ресурсами, это — скрипты, стили, картинки, аудио, видео, т.е. все те ресурсы, которые загружаются браузером с вашего сайта через протокол http. Существуют относительные и абсолютные адреса. Чем они отличаются?

Относительный адрес:

/image.jpg

Относительный адрес вне зависимости от протокола:

//sitename.ru/image.jpg

Абсолютный адрес:

http://sitename.ru/image.jpg

В абсолютном адресе указывается доменное имя сайта с протоколом. Так вот, при переходе на https необходимо применять относительные адреса вне зависимости от протокола, т.е. отсекая сам протокол. При таком подходе ресурсы будут загружаться по такому же протоколу, что и ваш и не важно на http он или на https. Единственное условие — если вы загружаете ресурсы с внешних сайтов (например, с CDN), то данные сайты должны быть доступны по https, иначе от них придется отказаться.

Также, как вариант вы можете просто указать все абсолютные ссылки с протоколом https (так например сделано в WordPress).

Тег

Обратите внимание, если вы на сайте используете тег с адресом сайта, то обязательно проследите, чтобы адрес был указан с протоколом https.. Данный тег не является обязательным, но все же, если в вашей cms он используется, то потрудитесь его исправить в случае чего. Находится он в самом начале секции . Если получится так, что вы все ссылки изменили на относительные вне зависимости от протокола (//sitename.ru), а в теге содержится адрес с http, то все ваши относительные ссылки будут считаться относительными в зависимости от протокола http. В результате в консоле браузера вы получите кучу ошибок, а на сайте поплывет дизайн.

Тег rel=»canonical»

Если у вас на сайте используется тег rel=»canonical», то проследите за тем, чтобы канонический адрес страницы в данном теге был абсолютным с указанием протокола https. Иначе, если будет http он будет работать только во вред.

301 редирект с http на https

Чтобы не потерять трафик нам необходимо сделать так, что когда пользователь заходит на сайт по протоколу http его бы автоматически перекидывало на https. Склейка зеркал и переиндексация сайта в поисковиках дело долгое (Гугл правда быстро реагирует, вот с Яндексом придется ждать), поэтому 301 редирект может это дело ускорить и не дать потерять трафик. Для этого в файл.htaccess нужно добавить всего две строчки:

RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)$ https://sitename.ru/$1

Этих двух строк должно хватить. Если же у вас будут проблемы с редиректом, то можете попробовать альтернативный код.

RewriteEngine On # Если этой строки нет выше RewriteCond %{HTTP:X-Forwarded-Protocol} !=https RewriteRule .* https://%{SERVER_NAME}%{REQUEST_URI}

А вот еще один код редиректа. Бывало такое у меня, что выше два кода не работали. Помог только этот.

RewriteEngine On RewriteCond %{HTTPS} off RewriteCond %{HTTP:X-Forwarded-Proto} !https RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI}

Если и это не поможет, то вам надо будет обратиться в службу поддержки хостинга, они должны помочь с этим вопросом.

Еще советую добавить код, который будет перекидывать по 301 редиректу на www или на без www, в зависимости от того, какой домен вы выбрали основным.

## редирект с без www на www: RewriteCond %{HTTP_HOST} ^sitename.ru$ RewriteRule ^(.*)$ https://www.sitename/$1 ## редирект c www на без www: RewriteCond %{HTTP_HOST} ^www.sitename.ru$ RewriteRule ^(.*)$ https://sitename.ru/$1

Файл robots.txt

В robots.txt нам обязательно следует указать главное зеркало с протоколом https. Также указать ссылку на карту сайта так с протоколом https. Вот как я сделал на своем блоге:

Host: https://сайт Sitemap: https://сайт/sitemap.xml

Переезд сайта в панели вебмастеров Яндекс и Гугл

После вышеперечисленных действий нам необходимо сообщить поисковикам, что сайт переехал на новый протокол https. Как известно адрес с http и с https это абсолютно два разных адреса в глазах поисковиков.

Яндекс вебмастер

Для переезда сайта в Яндекс заходим в панель Яндекс Вебмастер по адресу https://webmaster.yandex.ru . Выбираем свой сайт и в разделе «Настройка индексирования » вводим свой домен и отмечаем чек-бокс «Добавить HTTPS «, сохраняем.

Центр вебмастеров Гугл

Http://сайт https://сайт http://www..сайт

Далее выбираем основное зеркало с https естественно, только с www или без www. Для своего сайта я выбрал без www — https://сайт . Открываем сайт и в настройках сайта (кликаем по шестеренке справа) указываем основной домен. Вот на примере моего блога.

Ну вот, на этом все. Если вы сделали все правильно, то в браузере рядом с адресной строкой у вас должен появиться зеленый замочек. Хотелось бы отметить, что если хотя бы один ресурс будет загружаться по незащищенному протоколу, то зеленого замочка вы не увидете, будет серый восклицательный знак. Отследить загрузку всех ресурсов вы можете в .

Также хотелось бы сказать, что процесс переиндексации в Гугл занимает не так много времени, примерно 2 недели хватит, а может и меньше. Вот в Яндекс по сложнее с этим, я и не удивлен. Яндекс всегда был тугой в этом плане. В первое время у вас обнулится ТИЦ, если он у вас был и в первый же апдейт ТИЦа должен будет вернуться. Это я написал, чтобы вы не пугались. Ну а далее в Яндекс Вебмастер вы обнаружите следующую картину…

Прошло довольно приличное время после перехода на https и как видите по скрину еще не все страницы перешли на https. Что сказать, так устроен отечественный поисковик.

Парус слов про Яндекс Метрику. Если у вас был установлен код яндекс метирки, то в панели метирики вам придется добавить сайт заново с протоколом https.

Переход на HTTPS в Joomla

Обновлено - 15.12.2016

В последних версиях Joomla с переходом на https не должно возникнуть проблем. В файл.htaccess не обязательно добавлять директивы редиректов, движок сам перекинет с http на https. Для этого необходимо просто включить опцию в общих настройках Joomla — «Сервер » -> «Включить SSL » -> «Весь сайт» .

Важно! Включайте данную опцию именно тогда, когда вы уверены, что сертификат у вас уже установлен и сайт доступен по протоколу Https.

Ошибка при переходе на Https в Joomla

Один раз у меня было такое, что мне пришлось немного потрудиться, на одном из клиентских сайтов переход на https прошел не так гладко. Браузер ругался на относительные адреса загружаемых ресурсов, хотя адреса были указаны относительными вне зависимости от протокола. Проблема была в теге . Давайте расскажу по порядку.

Помимо тех настроек сайта, что были указаны выше нам необходимо открыть файл configuration.php и в поле live_site вписать абсолютный адрес с проколом https.

Public $live_site = "https://sitename.ru";

По идее после этой настройки в теге адрес сайта должен быть указан с протоколом https. Но нет, он был указан с протоколом http, от того и пошли все ошибки. Поискал решение проблемы в интернете, конкретно на форуме joomlaforum.ru и нашел решение. Необходимо было сделать некоторый хак ядра, правда уверяли, что после обновления данные изменения не затрутся. Открываем файл — /libraries/joomla/document/renderer/html/head.php и заменяем (77 строка)

$buffer .= $tab . "" . $lnEnd;

$buffer .= $tab . "" . $lnEnd;

Скажу сразу — после обновления движка изменения все же затираются и вам придется после каждого обновления вносить правки в вышеуказанный файл.

Пока я эту проблему так и не решил. Не понимаю почему так происходит — версия движка последняя.

После этих действий все пришло в норму. Также в общих настройках Joomla, включил SSL. Ее включение привело к неработоспособности сайта. Если вдруг вы выбрали опцию «Весь сайт » и сайт перестал работать, то вам необходимо открыть файл configuration.php по Ftp, найти $force_ssl и установить значение на 0.

Public $force_ssl = "0";

После этого сайт заработает.

Переход на HTTPS в WordPress

В принципе для перехода на https в WordPress никаких дополнительных действий, помимо вышеперечисленных делать не нужно. Единственное нужно поменять адрес сайта на https в общих настройках WordPress. Но эту настройку необходимо сделать только после приобретения SSL сертификата, когда ваш домен будет доступен по протоколу https, иначе в админку вы не сможете попасть.

Также, желательно сделать бэкап сайта на всякий случай. Просто дело в том, что в WordPress все адреса хранятся в базе данных в абсолютном виде. После изменения настройки сайта все адреса должны поменяться и в базе данных. Поэтому на случай, если пойдет что-то не так сделайте бэкап.

На этом и завершу. Всем спасибо за внимание. Не стесняемся, задаем вопросы в комментариях.

Google собирается отказаться от классического адреса интернет-страниц в своем браузере. Компания планирует укрепить средства защиты пользователей в сети.

Интернет-мошенничество становится настоящей чумой 21 столетия. Каждый день в виртуальном мире хакеры воруют и продают все, что угодно - от реквизитов банковских карт до интимных фотографий звезд Голливуда.

Каждая интернет-компания пытается внедрять свои способы защиты пользователей, но все это пока недостаточно эффективно. Согласно McAfee, кибератаки в прошлом году принесли миру убытков на $600 млрд (примерно половина действующего бюджета США).

Принять радикальные методы безопасности хотят создатели одного из самых популярных браузеров - корпорация Google.

Вчера браузеру Сhrome исполнилось 10 лет и, помимо существенных изменений в , разработчики планируют cерьезно укрепить надежность адресной строки.

Google намерен отказаться от использования традиционных интернет-адресов URL, поскольку они являются слишком сложными и непонятными для пользователей.

Это часто играет на руку хакерам и мошенникам, которые создают фейковые страницы финансовых учреждений и прочие вредоносные сайты, распространяют ложную информацию или вирусное программное обеспечение.

Поэтому, программисты компании работают над такой системой, которая поможет упростить пользование веб-страницами в Chrome для каждого пользователя.

“Я еще не знаю как точно это будет выглядеть, потому что сейчас мы активно обсуждаем это в команде. Я знаю: что бы мы не предложили - это будет спорным”, - рассказала в интервью WIRED директор технологий в Chrome Париса Табриз. “Это один из самых главных вызовов в работе со старой, открытой и разваливающейся платформой. Изменения в любом случае будут спорными, независимо от того, что произойдет. Важно, что мы делаем это, поскольку все недовольны URL. Это вроде как отстойно”.

По сути, Google должен разработать новую систему, все участники которой смогут легко проверять и понимать с чем они имеют дело, заходят ли они на подлинный веб-сайт и легко различать страницы или сообщения, которым точно нельзя доверять.

Представители корпорации объясняют, что сейчас они сосредоточены на определении того, как люди используют URL-адреса, чтобы найти альтернативу с повышенными мерами безопасности и определением личности в интернете.

Очевидно, что Google пока не имеет определенного решения того, как будут функционировать веб-страницы без URL-адресов.

Но компания работает над этим еще с 2014 года. Несколько лет назад они экспериментировали с так называемой “функцией подлинности”. Браузер показывал только основное имя домена сайта, чтобы гарантировать подлинность подключения именно к этому домену. Чтобы увидеть полный URL-адрес нужно было нажать на кнопку, которая отвечала за эту функцию.

Позже, Google перешел на другую систему веб-шифрования HTTPS, которая работает в Сhrome и по сей день.

Напомним, URL - это единый указатель интернет-ресурса, который был изобретен как универсальный определитель нахождения в сети одним из создателей Всемирной паутины Тимом Бернерсом-Ли в 1990 году.

Вредоносный код может быть добавлен на сайт умышленно или случайно:

  • злоумышленником, который получил доступ к серверам или системе управления сайтом;
  • владельцем сайта (например, код баннерной системы, счетчика веб-аналитики) - сторонние ресурсы могут быть взломаны;
  • пользователем сайта, если есть возможность оставлять сообщения или загружать файлы.
Какие именно страницы сайта заражены?

Перечень страниц, на которых обнаружен вредоносный код, можно найти в Яндекс.Вебмастере, в разделе Безопасность и нарушения .

Список может быть неполным, так как страницы проверяются выборочно. Также следует помнить, что зараженным может оказаться код, включенный во все страницы - например, заголовок или подвал сайта.

Как часто происходят проверки?

Период проверок варьируется, поэтому данные о заражении могут обновляться с задержкой.

Сайт, на котором Яндекс нашел вредоносное содержимое, обязательно будет перепроверен. Если в ходе следующей проверки окажется, что сайт все еще заражен, интервалы между перепроверками начнут увеличиваться. Чем раньше сайт будет обеззаражен, тем быстрее Яндекс узнает об этом и снимет пометку об опасности для пользователей.

Как найти вредоносный клиентский код на своём сайте? Я все исправил, как убрать пометку об опасности сайта?

Пометка об опасности сайта в результатах поиска будет снята, если при очередной проверке робот Яндекса не обнаружит заражения. Чтобы ускорить перепроверку, в интерфейсе Яндекс.Вебмастера, в разделе Безопасность и нарушения , нажмите кнопку Я все исправил .

Зачем регистрироваться в Яндекс.Вебмастере?

Яндекс.Вебмастер перечисляет страницы, на которых Яндекс обнаружил вредоносный код, сообщает вердикт антивируса для каждой страницы и показывает цепочки заражения . Также сервис позволяет вам запросить перепроверку заражения, чтобы как можно скорее снять пометку об опасности сайта в результатах поиска.

Чтобы данные о сайте были доступны только владельцу и его доверенным лицам, необходимо зарегистрироваться и подтвердить права на управление сайтом .

Как защитить сайт от новых заражений? Почему сайт в результатах поиска помечен как зараженный, но в Вебмастере списка зараженных страниц нет?

Страницы разных доменов проходят проверку на вредоносный код независимо друг от друга. Если разные домены одного сайта (например, www.example.com и example.com ), не склеены Яндексом как зеркала , в Яндекс.Вебмастере информация может быть неполная. Домен, зарегистрированный в Яндекс.Вебмастере, может не помечаться как опасный, в то время как страницы на незарегистрированном домене будут зараженными.

Зарегистрируйте второй домен на сервисе. После этого вы сможете видеть информацию о заражении для обоих доменов, и запрашивать перепроверки безопасности для каждого из них.

Почему приходит много противоречивых сообщений о заражении сайта?

Обычно такие сообщения говорят о попытке вредоносного кода скрыть свою активность от сканирующей системы: код может проявляться с определенной периодичностью либо при соблюдении определенных условий. Например, только при переходе на сайт из поисковых систем или только для определенных браузеров.

Проверьте на заражение все файлы сайта.



Рекомендуем почитать

Наверх