N / a URL запрещён к индексированию тегом noindex, как исправить?
1) вспомнил, насколько давно убрал галочку в настройках чтения.
если поисковику указать noindex и потом убрать, то он это дело (почему-то) ещё помнит до нескольких недель.
поэтому НЕ рекомендую вообще указывать noindex например, если сайт в разработке, проще включить maintenance mode (типа заглушки), а потом снять — в этом случае поисковик сразу же начинает индексировать открытый сайт, без выделываний.
2) скормил конкретный url в инструмент проверки на индексацию, в вебмастере есть, насколько я помню (просто по причине указанной выше редко пользуюсь). если он не проходит проверку — то искать причину, если проходит — то дальше смотрим.
3) если и галочку давно убрали, и url открыт к индексации, и нету в индексе этого url (проверка по site:url в поисковой строке) — то отправил бы url на ручную приоритетную переиндексацию (там в вебмастере тоже есть это дело).
4) если прошло после отправки несколько дней а все равно тишина — написал бы в техподдержку яндекса, они вменяемо отвечают и довольно оперативно, может что дельное скажут.
Индексация главной страницы сайта. Где искать причину?
les1967
Новые сообщения и уведомления о критических ошибках отсутствуют.
В индексе была, и в яндексе сейчас есть есть, но пишет Страница была проиндексирована роботом и присутствует в поиске.
Версия страницы на момент построения поиcковой базы
Дата загрузки:10.01.2017 20:39:24
HTTP-статус:URL Запрещён к индексированию тегом noindex
Url запрещен тегом noindex к индексированию страниц
Url запрещен тегом noindex -такое сообщение появляется в Яндекс вебмастер. Например, у меня роботы Яндекса сразу запретили пакет статей. В индексе их стало меньше на 14%. Запрещала многие файлы движка Word Press целый год, чтобы не было дублей. Но вдруг, неожиданно для меня, из индекса стали исчезать канонические статьи целыми категориями или выборочно. Вероятно, какие-то из моих многочисленных запретов сработали.
Url запрещен тегом noindex — многие средства
Например, были запрещены в файле robots.txt разные технические параметры, страницы из wp-admin. Но, кроме того, раньше я запрещала страницы архивов, категорий, постраничную пагинацию главной страницы и рубрик. Все категории сайта тоже запрещала.
Еще у меня появился платный плагин Clearfy Pro, в котором есть тоже функция для запрета дублей страниц, например, архивов. На вкладке SEO тоже есть функция запрета. Авторы плагина объясняют нам, что в результаты поиска включаются страницы пагинации /page/2/,
/page/3/ и т.д.
Clearfy Pro: Закрывает от индексации страницы пагинации с помощью тега noindex. Эту кнопку включала, в плагине. Возможно потому Яндекс закрыл сразу много страниц.
Однако для поисковой системы Яндекс все эти запреты носят лишь рекомендательный характер. Если пожелают, то все равно будут индексировать наши посты. Однако могут и отреагировать на ряд запретов. Долго все мои статьи и их дубли находилось в индексе ПС Яндекса, несмотря на запреты.
Посмотрела код страницы, но в коде тег noindex повторялся только 4 раза. Запрет индексации был для социальных сетей и в коде Яндекс метрики. То есть только по делу.
Как исправляла
Еще раньше, года 2 назад сообщал Гугл, что статьи блокируются файлом robots.txt. С этого времени в части файла robots.txt для поискового робота Гугла запреты не пишу. Они остались только для роботов Яндекса. Например. Как на картинке.
Чтобы снять блоки удаляю из файла robots.txt некоторые строки Disallow. Например, удалила строчки категорий, page, все архивы по годам. Так много всего удалила, потому что не знаю точно, что удалять. Действую методом «проб и ошибок»
В плагине Clearfy Pro, во вкладке дубли, отключила запрет архивов, но не все, а только по датам. Отправила на переобход статьи из освобожденных категорий, от блока noindex. Однако, все это не значит, что все запреты из индекса сразу исчезли. Они остаются в индексе Яндекса, но все же количество канонических статей в индексе опять возрастает, хотя к численному результату, всех написанных, еще не пришло.
Посмотрела в вебмастере Гугл — search console. Нет ли там тоже запретов noindex. Да, они там тоже оказались, в количестве 107 файлов. Но это только те файлы, которые я сама запретила, чтобы не было дублей постов. Канонические статьи здесь не затронуты.
Вновь возвращаю запреты индексации
Очень быстро индекс индексации стал увеличиваться. Однако не только за счет разблокированных статей. Например появились архивы. Но что такое архивы, и сколько в них дублей?
Например, огромное количество дублей в архивах дат. Если наша статья выводится на главной и в категории, то мы еще получаем 3 дубля. В архивах по году, месяцу и дате, Плагин Clearfy Pro удаляет полностью архивы дат и ставит редирект. Так что опять активирую кнопку для отключения архивов.
Проблемы индексации. Индексирование страницы запрещено тегом noindex
Здравствуйте! Сегодня я расскажу как возникли у меня проблемы индексации сайта и как я их решал. А возникли эти проблемы после того, как я запретил в файле robots.txt индексировать главную страницу — Disallow: / moyprimer.h1n.ru . Я это сделал потому, что она была еще в разработке и я не хотел, чтобы она попала в поиск. Потом я это убрал из robots.txt, но видимо плагин yoast seo и google работают в паре и одного исправления в файле robots.txt было недостаточно. И так все подробно и по порядку.
Сначала я привел в порядок файл robots.txt, хотя Яндекс Вебмастер не нашел ошибок в этом файле, но вот сервисе гугл почему-то ругался:
он мне выдавал ошибки:
Здесь проблема скорее всего в неправильной кодировке файла robots.txt. Проверить можно в этом сервисе:
У меня был файл в кодировке UTF8+BOM (посмотреть кодировку можно в программе блокнот notepad++) :
И user-agent выглядел у меня вот так:
После смены кодировки в notepad++ на ANSI или просто на UTF8 крогозяблы ушли перед user-agent. Запустив снова проверку через гугл я получил файл без ошибок:
Индексирование страницы запрещено тегом noindex
Одну ошибку исправил. Но все равно почему-то в яндексе все нормально работало и главная страница проиндексировалась, а вот гугл постоянно ругался, что индексирование страницы запрещено тегом noindex:
Эту проблему я решил, исправив настройки с Нет на Да в плагине yoast seo:
После этого отправил запрос на индексацию сайта. Запрос отправился уже без ошибок:
Но после проверки индексации гул выдал следующее:
Решил я проверить свою страницу в старой версии гугла:
Здесь он точно указал на какие ресурсы у него нет доступа. Заходим по порядку в каждую строчку, на рисунке помечено стрелкой, и откроется следующее:
Внизу теперь можно скопировать wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js и вставить его в robots.txt с разрешающей директивой. Таким образом проделаем со всеми проблемными местами.
Такой robots был вначале:
User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже
Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*
Disallow: /cgi-bin # папка на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
# правило можно удалить)
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
# ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы
# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml
# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Такой теперь, красным шрифтом я добавил исправления:
User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже
Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*
Disallow: /cgi-bin # папка на хостинге
Disallow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
# правило можно удалить)
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении # открытой ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif
# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml
# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Отправил страницу на индексацию. Посмотрим что будет.
Опять проблемы индексации. Но на этот раз были уже другие ошибки. Вновь исправил файл robots.txt и отправил страницу на индексацию. И АЛЛИЛУЙЯ, ошибок нет, страница прошла индексацию:
Вот в такой теперь форме мой robots.txt:
User-agent: * # общие правила для роботов, кроме Яндекса и Google,
# т.к. для них правила ниже
Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*
Disallow: /cgi-bin # папка на хостинге
Allow: /? # все параметры запроса на главной
Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
# правило можно удалить)
Disallow: *?s= # поиск
Disallow: *&s= # поиск
Disallow: /search/ # поиск
Disallow: /author/ # архив автора
Disallow: /users/ # архив авторов
Disallow: */trackback # трекбеки, уведомления в комментариях о появлении открытой
# ссылки на статью
Disallow: */feed # все фиды
Disallow: */rss # rss фид
Disallow: */embed # все встраивания
Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не # используете, правило можно удалить)
Disallow: /xmlrpc.php # файл WordPress API
Disallow: *utm*= # ссылки с utm-метками
Disallow: *openstat= # ссылки с метками openstat
Allow: */uploads # открываем папку с файлами uploads
Allow: /feed/turbo/ #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif
Allow: /https://mc.webvisor.org/*
Allow: /https://mc.yandex.ru/watch/*
# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml
# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Главная страница сайта имеет большое значение для его продвижения в поисковой выдаче. Поэтому для меня решение этой задачи было первоочередной. Надеюсь моя статья подскажет Вам, как решаются проблемы индексации сайта, в особенности если индексирование страницы запрещено тегом noindex.