Как сделать чтобы робот яндекс зашел на сайт

Как добавить сайт в поисковики Яндекс и Google

Продвижение в поисковых системах по сей день остается одним из наиболее эффективных инструментов привлечения на сайт целевых клиентов. Огромный плюс органического трафика – его бесплатность. Чем больше людей заходит на страницы, тем выше конверсия и вероятность получить желаемый результат.

• Добавляем сайт в поисковую систему Яндекса
• Добавляем сайт в Google
• Заголовок – это важно!
• Как улучшить индексацию

Рано или поздно поисковые роботы найдут ваш молодой ресурс, однако это может занять недели, а то и месяцы. Чтобы ускорить индексацию, целесообразно добавить сайт в поисковики самостоятельно с помощью специальных сервисов, также регулярно отслеживать процесс и использовать дополнительные ресурсы.

Яндекс.Вебмастер и Google Search Console – это сервисы, с помощью которых можно добавить ресурс в поисковые системы и видеть, как он сканируется поисковыми роботами. Они позволяют:

• видеть, как сайт индексируется в системах поиска;
• оценить трафик, в том числе с мобильных устройств;
• выявить проблемы с индексацией;
• проанализировать ссылочную массу;
• узнавать, какие источники ссылаются на ресурс.

Сервисы лишь показывают, как сайт представлен в результатах поиска, но не влияют на них. Далее рассмотрим подробнее, как настроить Вебмастер и Серч Консоль, и расскажем, каким образом можно влиять на индексацию.

Бесплатно проконсультируем, подготовим подробный медиаплан и коммерческое предложение в течение 1 дня по SEO-продвижению в Google и Яндекс. Обращаться по контактам.

Добавляем сайт в поисковую систему Яндекса

Добавить сайт в Вебмастере несложно, просто нажмите «Начать работу» и выберите на открывшейся странице «Добавить сайт».

Затем введите url (адрес) своего сайта, например, fireseo.ru

Вторым шагом станет «Подтверждение прав на сайт». Яндекс. Вебмастер сам предложит вам 4 варианта подтверждения прав на ваш ресурс, среди которых:

• Мета-тег на главной странице: необходимо добавить в HTML-код главной страницы сайта (в элемент head) специальный мета-тег.
• HTML-файл в корневом каталоге: необходимо создать HTML-файл с заданным уникальным именем и содержимым, и разместить его в корневом каталоге сайта.
• TXT-запись в DNS: необходимо добавить в DNS записи сайта запись типа TXT, содержащую указанное уникальное значение.
• Электронный адрес из данных WHOIS: необходимо подтвердить электронный адрес, указанный в WHOIS на странице Адреса электронной почты.

Используйте этот способ, если ваш сайт является доменом второго уровня и находится не в доменной зоне RU или РФ. Рекомендуем вам самый простой способ решить ситуацию – добавить мета-тег. Это можно сделать самостоятельно через FTP. Также несложным будет и 4 вариант подтверждения прав на ресурс – добавьте лишь запись о почте в whols! Теперь вы знаете,что нужно сделать , чтобы сайт попал в поисковик Яндекс и,если сделали все согласно инструкциям, теперь вам доступна вся общая информация по сайту. Подождите окончания процедуры проверки прав, которая занимает обычно несколько секунд, и приступайте к полноценной работе с массой полезных инструментов Вебмастера.

Далее зайдите в раздел “Переобход страниц” Яндекс. Вебмастера и добавьте адреса основных страниц сайта. Вот здесь:

Если сайт сложнее, чем лендинг, с особым вниманием поработайте в Вебмастере над файлом robots.txt, который содержит параметры индексирования сайта для роботов поисковых систем. Создайте файл, заполните его в соответствии с требованиями (в Вебмастере есть хорошее видео на эту тему), проверьте файл в сервисе Яндекс. Вебмастер и загрузите его в корневую директорию сайта. А поможет вам вот это видео.

Итак, если у вас на сайте больше 1 страницы, то рекомендуем вам для более быстрой индексации остальные страницы также добавить в Переобход страниц Яндекс Вебмастера.

Но, помните! Существует дневной лимит по добавлению адресов. В день можно увеличить количество таких страниц не более 10. Вместе с тем, вы можете воспользоваться созданием и настройкой файла Sitemap, который будет содержать информацию о страницах сайта, подлежащих индексированию. В Яндекс. Вебмастер представлена подробная информация и инструкции к работе с этим файлом. Ознакомиться с ней можно здесь.

А для увеличения посещаемости сайта советуем подумать о контекстной рекламе. При помощи этого эффективного инструмента для продвижения сайта, размещения объявлений ваших товаров или услуг в Яндекс. Директ, в результатах поиска на конкретный запрос пользователям будет представлен именно ваш сайт. Ваши клиенты будут приятно удивлены! Да, и не забудьте добавить свою организацию в Яндекс. Справочник

Заполните форму с указанием названия, адреса, контактных данных и вида деятельности вашей организации. Несколько несложных манипуляций, и вас легко найдут! Особенно, если будут искать по локальному признаку, например “парикмахерская в Перово”. Поздравляем! Теперь Ваш сайт найдут все пользователи в поисковике Яндекс!

Добавляем сайт в Google

Для того, чтобы добавить свой сайт в Google, сначала вам тоже нужно зарегистрироваться или войти под своим логином в систему, и вы увидите:

С помощью бесплатного сервиса Google Search Console вы сможете не только добавить свой сайт для индексации в Google, но и оптимизировать его согласно предпочтениям системы, улучшить его для повышения позиций в поиске. Сам сервис довольно простой и понятный в управлении. Укажите url своего сайта в адресной строке и нажмите кнопку «Добавить ресурс», Процедура добавления аналогична действиям в Яндекс. Вебмастер (как, например, с мета-тегами). Google также сам предложит вам следующий список действий, среди которых будет:

• Анализируйте переходы к вашему контенту из Google Поиска.
• Получайте оповещения о проблемах или критических ошибках.
• Проверяйте, верно ли Googlebot обработал контент.

Этот замечательный сервис поможет оптимизировать ваш сайт, улучшить его контент в зависимости от запросов пользователей, сделать его понятным и привлекательным и многое другое – все, что позволит найти новых потенциальных клиентов и заручиться доверием уже имеющейся аудитории. Главное в этом деле, как вы наверняка знаете – всегда работать над улучшением сайта и стремиться к совершенству! �� Еще один эффективный сервис, который поможет вам в этом, Google бизнес. Данный сервис является аналогом Яндекс. Справочника и предназначен для поиска ближайших организаций.

Зарегистрируйте свою компанию, указав ее название, адрес, основные контакты и другую необходимую информацию. Дальше – вы всегда сможете размещать актуальные данные о своей организации, добавлять фото и другой контент, следить за отзывами и статистикой посещения вашего сайта.

Заголовок – это важно!

Рекомендуем вам прописать заголовок (title) вашего сайта. Зачем? С помощью этого заголовка страницы, который выглядит как специальный тег в начале html кода внутри конструкции, вы продвинете свой веб-проект. Например, это может выглядеть так:

Такой тайтл «СЕО агентство» был выбран нами неслучайно. Во-первых, мы хотим, чтобы большинство пользователей при вводе запроса «СЕО агентство в Москве или «СЕО агентство», переходили именно к нам на сайт. К тому же, эти слова дают хорошее описание деятельности нашей компании и помогают пользователям найти нас через поисковик.

Также и вы, формулируя заголовок, помните, что тайтл – это один из краеугольных камней успешного продвижения сайтов, и, создавая его, поработайте над правильным оформлением, лаконичным и понятным для клиентов. При работе над этим атрибутом учитывайте, что он будет отображаться и при распространении в соцсетях, и в результатах поиска. Именно поэтому ваш тайтл должен быть кратким и максимально содержательным. Такие несложные манипуляции позволят вашему сайту появляться в поисковых системах, помогая пользователям найти вас.

После того, как вы успешно добавили сайт в поисковые системы Яндекс и Google, можете приступать к дальнейшей оптимизации сайта.

Как улучшить индексацию

Чтобы заставить робота-индексатора чаще посещать сайт, увеличить количество проиндексированных страниц, видеть как можно скорее появившиеся публикации, используйте дополнительные способы продвижения.

1. Регулярно добавляйте новый уникальный контент. Поисковые роботы быстрее сканируют ресурсы с обновляемой информацией, нежели те, которые не обновляются;
2. Настройте внутреннюю перелинковку;
3. Проверьте структуру веб-ресурса. Устраните дубли страниц на сайте. Если ошибок в структуре нет и на каждую страницу будет хотя бы одна внутренняя ссылка, боты быстрее доберутся до страниц и занесут их в свою базу;
4. Позаботьтесь о внешних ссылках. Займитесь их закупкой, публикуйте посты в соцсетях, размещайте ссылки на форумах. Наращивание ссылочной массы ускорит сканирование страниц сайта поисковиком;
5. Используйте пинг-сервисы, которые устанавливаются на движки и уведомляют поисковых роботов о появлении обновлений на сайте (CS YZZLE, Pingxpert, PingFarm и другие).

Безусловно, вы вполне можете не регистрировать свой сайт в Яндекс.Вебмастер и Google Search Concole, поисковики все равно его проиндексируют. Однако для улучшения позиций и ускорения индексации эти сервисы, а также другие инструменты обязательны.

Быстровыдача Яндекса. Как привлечь быстробота

138

Думаю, каждый веб-мастер или владелец хотел бы, чтобы страницы его сайта как можно скорее попадали в индекс и приносили трафик.
Это стало возможным. 9 июля 2010 года Яндекс представил решение в виде быстровыдачи. Не стоит спешить радоваться, всё не так просто, как хотелось бы. У быстровыдачи много нюансов, к тому же не все ресурсы могут попасть в неё. Ниже рассмотрим, что такое быстровыдача, как стать одним из избранных, которымпозволено в неё попасть.

Быстровыдача и её виды

Быстровыдача – это технология Яндекса, которая добавляет (подмешивает) в индекс документы в течение нескольких минут после
их появления на сайте. Она использует отдельный алгоритм ранжирования, при расчёте которого учитываются только внутренние
факторы.

Пример быстровыдачи

Срок жизни быстровыдачи – 3 дня. После этого страницы, которые в неё попали, индексирует основной бот. На них действует уже
основной алгоритм ранжирования, после вычисления которого страница занимает соответствующую позицию в выдаче.

Ранее быстровыдача делилась на 2 типа: Ultra и обычная. Ultra находилась в выдаче до 3 часов, затем переходила в обычную, которая жила до 3 дней.

Их можно было определить по следующим показателям:

Ultra – через сохранённую копию страницы, в адресе которой находился параметр «src=FT».

Пример адреса сохранённой копии со значением «src=FT»

Обычная определялась через Яндекс.XML, в котором значение size = 0.

Пример XML-кода со значением size=0

Сейчас такими способами нельзя определить, к какому типу относится та или иная страница быстровыдачи (кроме просмотра даты добавления).

В Ultra показатель «src=FT» в сохранённой копии появляется без привязки ко времени добавления. Он может появиться, если документ был добавлен вчера, и не появиться, если добавлен час назад и наоборот.

Таблица наличия показателя «src=FT» в выдаче по запросу «испания швейцария прогноз матча»

С обычной быстровыдачей всё также, как и с Ultra: у части страниц есть значение size 0, а у части – нет. В этом случае также нет привязки ко времени добавления.

Узнать, что страница попала в быстроиндекс, можно двумя способами:

1. Через оператор url:адрес страницы.

Пример применения оператора url:

1. Через запрос, который относится к странице.

Поиск страницы в быстровыдаче через запрос

Также стоит сказать, что позиции в быстровыдаче постоянно меняются. Это затрудняет их анализ. Так, позиции могут изменяться каждые 5 минут.

Таблица сравнения позиций

Какой бот индексирует и как его отследить

Для быстровыдачи есть специальный бот – Orange. Он работает в режиме реального времени, обходит сайты, смотрит на новые страницы, обрабатывает их и сразу добавляет в индекс.

Хоть мы и знаем, какой бот относится к быстровыдаче, увидеть его не получится. Дело в том, что он «парень стеснительный», поэтому краулит сайт под видом обычного поискового бота.

Ответ техподдержки

Чтобы понять, что бот заходил на сайт, нужно открыть логи. Не стоит смотреть страницы, которые были добавлены неделю назад.
Лучше обратить внимание на те, которые были добавлены в течение дня, максимум двух.

Пример логов

Посмотреть, заходил ли бот на сайт, также можно через Вебмастер. Для этого следует перейти во вкладку «Индексирование», выбрать пункт «Статистика обхода» → «Все». После этого выгрузить список страниц, которые обошёл бот.

Скриншот из Вебмастера «Статистика обхода»

Таким образом, появляется возможность проверить, на какие страницы заходил краулер. Эти решения целесообразно применять, когда на сайте возникают проблемы с индексацией страниц быстроботом.

Какой контент попадает в быстровыдачу

В быстровыдачу попадают событийные страницы – страницы, контент которых освещает событие, которое произойдёт или уже произошло в определённый день. Следовательно, есть 3 основных типы сайтов, которые попадают под эту категорию:

1. Новостные сайты.
2. Букмекерские сайты.
3. Сайты трансляций.

Кроме общей тематики страницы, есть ряд критериев, которые учитываются при попадании в быстровыдачу:

1. Частота обновления контента.
2. Качество страниц, контента и сайта в целом.
3. Отсутствие технических ошибок, влияющих на индексацию.

Благодаря критерию частоты обновления контента, быстробот периодически путается и добавляет в индекс страницы, которые никак не относятся к событийной тематике. Например, интернет-магазин часто добавлял новые карточки товаров, быстробот ошибся и добавил некоторые страницы в быстровыдачу.

Пример страниц интернет-магазина в быстровыдаче

Для желающих попасть в ТОП, создавая много страниц под ВЧ/СЧ запросы, и собирать трафик с помощью быстровыдачи у меня есть печальная новость – алгоритм довольно точно определяет принадлежность страницы к событию. Если она не подходит к этой категории, будет находиться явно не на ТОПовых позициях в быстровыдаче.

Как оптимизировать контент, чтобы попасть в быстровыдачу

Так как быстровыдача использует в ранжировании только внутренние факторы, следует уделять внимание качеству контента и отсутствию технических ошибок, которые могут затруднить индексацию или негативно повлиять на ранжирование.

В целом оптимизация страниц под быстровыдачу не сильно отличается от обычной, но есть основной нюанс – не получится собрать полноценную семантику для страниц. Может совсем не быть запросов под событие. В таком случае возникают «танцы с бубном».
В самом плохом положении, на мой взгляд, оказались новостные сайты, которые, в отличие от тех же букмекерских и сайтов трансляций, не могут делать заголовки по определённому шаблону.

Также не забываем, что в быстровыдаче хаотичные позиции. Чтобы закрепиться в ТОПе, нужен качественный контент и страница.

Теперь рассмотрим, как оптимизировать страницу, чтобы попасть в быстровыдачу.

Title и Description
– как обычно, не спамим, всё должно быть чётко и логично. Единственный нюанс – так как чаще всего событие закрепляется за какой-то определённой датой, нужно вписать её в эти теги. Например:

Title: Франция — Италия прогноз футбольного матча за 01.06.2018

Description: Прогноз на товарищеский матч сборных Франции и Италии, который пройдет 1 июня 2018 года в Ницце.

Заголовок H1
– также есть небольшая особенность заполнения. При его составлении желательно использовать глаголы.

Например: «Франция — Италия: ждем голов в Ницце» или «Франция — Италия: победит ли Италия?».

Контент
– с ним следует быть внимательнее. Чтобы понять, каким должен быть контент, следует проанализировать ТОП. Так как позиции в быстровыдаче постоянно меняются, следует обращать внимание на те сайты, чьи показатели более-менее стабильны. При анализе выдачи по запросам будет видно, какие сайты стабильно занимают ТОПовые позиции в быстровыдаче. Их позиции либо не меняются в течение дня, либо меняются незначительно – на 1–2 пункта. Отбираем такие сайты и смотрим:

• Количество текста, насколько он информативен.
• Есть ли на страницах: изображения, видео или таблицы, какая в них информация.
• Обращаем внимание на мелочи, например: фото автора новости, логотипы команд (если ваш сайт о спортивных прогнозах) и
  т. д.
• Что есть на этих сайтах и чего нет на вашем.

После анализа ТОПа вы будете иметь информацию о том, каким должен быть контент.

В любом случае текст должен быть информативным, легко читаться, полностью отвечать на запрос пользователя. На страницах должна присутствовать добавочная ценность в виде изображений, видео, таблиц и тому подобного. Например, для букмекерских сайтов хорошим решением будет добавить изображение состава команд и их расположения на поле.

Пример изображения состава команд

Также нужно, чтобы была активность в комментариях на странице. Вы можете сами симулировать её или написать первый комментарий, тем самым сподвигнув других пользователей к обсуждению.

Если на сайте есть реклама, нужно быть осторожным, придерживаться следующих правил:

• реклама не должна быть похожа на элементы интерфейса;
• реклама должна быть качественной (не должно быть сообщений, например: «похудей за один день…» или «это средство лечит от всего…»;
• рекламные блоки не должны мешать просматривать контент вашего сайта, их не должно быть много на странице.

С технической точки зрения, важно, чтобы на сайте отсутствовали дубли, не было проблем с индексацией страниц, все элементы находились в исправном состоянии, было быстрое время загрузки и т. д. Чтобы обнаружить такие ошибки, следует провести технический аудит.

Хотя выше было сказано, что внешние факторы не участвуют в ранжировании, не забываем о ссылках – они нужны. Ссылки приманивают быстробота к новой страничке. Лучше всего подходят ссылки с социальных сетей и хабов. Желательно настроить автоматическое размещение таких ссылок в больших количествах.

Проблема индексации быстроботом

Если вы замечаете просадку трафика из быстровыдачи, следует обратить внимание, индексируются новые страницы или нет.

Это можно проверить, воспользовавшись данными из логов или Вебмастера. Для этого следует пойти по следующему алгоритму и составить таблицу:

1. Составить список страниц, которые были добавлены на сайт в определённый день, посмотреть их количество.
2. Выгрузить логи или данные Вебмастера и посмотреть, какие страницы обходил бот, сколько всего он обошёл.
3. Проверить, обходил ли бот страницы из первого пункта, какое количество он обошёл.
4. Проверить, сколько страниц попало в индекс.

Для удобства можно смотреть по отдельным категориям и, если нужно, расширять таблицу.

В результате получится таблица следующего вида:

Пример сравнительной таблицы обхода ботом

После того как была составлена таблица, нужно её проанализировать. Возьмём для примера таблицу выше.

На сайт в определённый день (назовём его день X) было добавлено 850 страниц. Всего бот обошёл (на следующий день после дня X) 2814 страниц. Из этого количества бот обошёл всего лишь 50 страниц, добавленных в день X.

Сразу видим первую проблему – бот обходит критически мало новых страниц, всего 50 из 850. Теперь нужно посмотреть, сколько страниц он обошёл за день-два до дня X. Это подскажет нам, через какое время после добавления страниц бот их обходит.

Условно скажем, что таких страниц было 200. Теперь мы знаем, что 2564 (страницы, которые бот обошёл за день-два до дня X, отнесли к новым) старых страницы было прокраулено ботом. Делаем вывод, что некорректно расходуется краулинговый бюджет.
Нужно сделать всё возможное, чтобы сместить акцент краулера на новые страницы. Конечно, то, что бот обходит старые страницы – не ошибка, но для сайта, который получает основной трафик с быстровыдачи, это становится серьёзной проблемой.

Теперь нужно посмотреть, какая ситуация была до просадки. Это следует сделать, чтобы подтвердить или опровергнуть теорию с проблемой индексации.

Для этого также берём данные из логов и составляем такую же таблицу, которую сделали раньше. Если по каким-то причинам у вас нет данных логов за период до просадки, понадобится Яндекс.Метрика (Вебмастер уже не используем, так как он показывает статистику обхода за 3 дня). Открываем «Отчеты» → «Страницы входа», сегментируем по поисковой системе Яндекс, указываем определённый день и выгружаем отчёт.

Скриншот Яндекс.Метрики

Открываем отчёт, находим страницы, которые были добавлены в тот же день. Далее смотрим, сколько страниц было добавлено в
этот день, делаем табличку – это покажет, сколько страниц попадало в индекс до просадки.

Таблица сравнения количества добавленных страниц и страниц, которые приносили трафик

Составив и проанализировав таблицу, мы видим, что раньше бот лучше индексировал страницы. Это подтверждает нашу теорию о
плохой индексации новых страниц.

После этого следует принимать действия по оптимизации краулингового бюджета.

Краулинговый бюджет можно оптимизировать следующими способами:

• Настроить HTTP-заголовок If-Modified-Since для всех страниц. Его суть в следующем: если после последнего обхода бота
  на страницы не вносились изменения, сервер должен дать 304 ответ – не скачивать их содержимое, расходуя квоту, прежде
  всего, на реально изменившиеся со времени предыдущей индексации или же новые документы.
• Установить на сайт «Ловец ботов». Когда поисковый робот будет приходить на страницу, специальный скрипт покажет ему ссылки
  именно на непроиндексированные страницы. Стоит упомянуть, что это довольно дорогое удовольствие.
• Настроить перелинковку. На сайт нужно добавить новые блоки, которые будут рандомно (случайным образом) выдавать новые
  страницы, добавленные в тот же день, при каждом обновлении страницы.

Пример блока с перелинковкой

• Закрыть от индексации страницы пагинации, которые ведут на старые страницы. Оставить открытой пагинацию, которая ведёт
  на новые страницы, добавленные в течение 4–5 дней.
• Добавлять новые страницы на переобход в Вебмастере. Есть нюанс – на переобход можно отправить ограниченное количество
  страниц, разное для каждого сайта. Эту функцию можно найти в Вебмастере, перейдя на вкладку «Индексирование» → «Переобход».
• Настроить автоматическое добавление ссылок с социальных сетей или хабов со ссылкой на новую страницу. Это привлечёт бота,
  он перейдёт по ссылке и обойдёт страницу. Таких ссылок должно быть много.

Также стоит проверить сайт на наличие технических ошибок, которые могут привести к плохой индексации, например, дубли, закрытые
страницы/категории от индексации, которые ведут на новые страницы и т. д.

Из таблицы также видно, что, хотя бот и обошёл 50 новых страниц, всего 40 из них попало в индекс. Это говорит о том, что
боту не нравится страница. Также можно провести эксперимент: добавить ряд страниц на переобход и проверить, сколько из
них попадёт в индекс. Если будет такая же ситуация, значит, есть проблемы со страницами. В этом случае нужно работать над
улучшением качества самих страниц и контента.

Заключение

Подытожим, какими качествами должна обладать страница и сайт в целом, чтобы попасть в быстровыдачу:

• Страницы должны иметь событийный характер.
• Контент и страницы сайта в целом должны быть качественными, не содержать спама, информативными и полностью отвечать на
  запрос пользователя.
• При размещении новой страницы должны автоматически размещаться ссылки с хабов и социальных сетей.
• Контент сайта нужно часто обновлять.
• На сайте не должно быть технических ошибок.
• Нужно правильно настроить краулинговый бюджет, быстробот должен беспрепятственно обходить новые страницы.

Помимо качества контента, следует уделить внимание техническому состоянию сайта, от которого также многое зависит. Мы можем провести технический аудит вашего сайта и написать инструкции по исправлению ошибок.

Как получить быстробота Яндекса на сайт?

Быстрые роботы Яндекса практически моментально закидывают статьи в поисковую выдачу без лишних действий. Нет необходимости покупать ссылки или накручивать поведенческие факторы. Статья просто появляется в топе через пару минут после публикации — не плохо?

В изображениях примеры, то что на данный момент выловил.

Ранжирование в быстровыдаче происходит по свежести и актуальности новости, а так же снижении интереса к вашей странице. Т.е. чем меньше переходов идет на статью, тем ниже она опустится среди прочих статей на данную тему.

Если интересно, то ниже можно посмотреть видео, где более подробно освещается данная тема.

Собственно к чему все это — хочу поделиться опытом и написать несколько заметок на данную тему относительно своего проекта, а так же ожидаю обсуждения данной темы и новых идей.

В конце 2018 года был опыт создания новостного сайта, который проработал почти 2 месяца. В пиковые дни трафик этом сайте доходил до 20к+ (по опыту знакомых реально вывести на 40-60к). Новостник в автоматическом режиме грабил новости с определенных сайтов, что давало не плохой результат.
Данный проект по причинам отсутствия времени был брошен на произвол судьбы и в конце концов ушел в небытие.

В феврале 2019 решили возобновить работу над идеей с новым подходом, переосмыслив предыдущий проект и пожалев о том, что забросил его.

С чего начали: проанализировали множество новостных сайтов и выбрали самые, на наш взгляд, лучшие идеи и начали реализацию этой «солянки» на базе WordPress’а. Взяли за основу всем известный агрегатор «Яндекс Новости» — из расчета того, что многие знают что это такое и будет больше доверия, а так же специалисты, которые его создавали, явно поумнее многих вместе взятых.

Для улучшения поведенческих факторов добавили такие фишки как собственная боковая тизерка и изображения в тексте статей, которые ведут на другие статьи (по примеру РИА Новости). Помимо этого еще много отдельных мелких доработок, которые на наш взгляд могут улучшить показатели работы ресурса. На них не буду заострять внимание.

Получился а-ля новостной сайт its-news.ru.

После «доработки напильником» провели необходимые работы (подключение аналитик, консолей и прочей всем известной необходимой «байды») и открыли сайт для индексации (примерно 25 февраля). Далее начался процесс ловли быстрых роботов Яндекса.

Запустили парсер, который раз в пол часа выкладывает новость по категориям с выбранных ресурсов. Прописали СЕО для сайта и рубрик. Завели страницы во всех популярных соц сетях и начали постить анонсы новостей с обратными ссылками.

Началась работа по закупке различных ссылок (в основном крауд), а так же анализ всего происходящего.

На сегодняшний день роботов еще нет, да и рано, т.к. на предыдущем проекте они пришли где-то через 1,5 месяца. Т.е. по моим подсчетам — это должно произойти через несколько дней после пересчета ИСК (ожидаем числа 3-5 мая — как говорится «ВЭЛКАМ»).

Основные моменты, что выделили, для достижения цели:
1. Наличие RSS и автопостинг анонсов везде, куда можно (соц.сети, агрегаторы, фидеры);
2. Постоянное обновление контента (пару раз в час, на первом сайте раз было каждые 5 минут);
3. Размещение крауд ссылок, ссылок и покупка постов в соц сетях (особенно твиттер).

Так же, необходим трафик и репосты в соц сети. В прошлый раз покупали переходы на буксе, за что словили писсимизацию Яндекса примерно на 2 недели пред приходом быстрых роботов. В настоящее время, к нашему счастью, по непонятным причинам (подозреваю, что ВК сменил алгоритмы выдачи постов) ловим трафик с группы ВК (у нас группа старого проекта с 1600+ подписчиками), при том в аналогичной группе с 1 подписчиком просмотры постов с анонсами есть и идут постоянные переходы (30-60 переходов в сутки) и имеем виральный охват до 2,5к. Аналогичная ситуация обстоит с FB, OK пока что в пролете.

Планы на ближайшее время: закупка твитов (Яндекс это любит) на популярных аккаунтах (от 10к фоловеров), постинг (спам) анонсов по группам ВК, продолжение создания крауд ссылок (закупка + своими силами) и самое главное — доработка процессов работы новостника после прихода быстрых роботов (копипаст — это краткосрочное решение долгосрочной проблемы), другими словами нужен контент план и организация работы копирайтеров.

Так же, хочу отметить первые «симптомы» быстрых роботов — индексация в мусорных ПС (а-ля Bing, Yahoo, Mail, DuckDuckGo) по несколько переходов в день и самое главное — качественные переходы «рабов» из Толоки. Последние, по моим соображениям, выполняют роль оценщиков качества сайта, потому что видел там задания на тему «проверить сайт или страницу на качество и полезность материала» и т.п. за 3 копейки.

В завершении данной статьи хотел бы попросить посмотреть и проанализировать свежим взглядом наш новостной сайт — ждем критики, предложений и пожеланий, будем очень признательны. А новые заметки, материалы или новости обязательно буду размещать в процессе становления.

Надеюсь, что данная информация будет полезна для кого-то, т.к. очень мало гайдов/кейсов или же просто толковых статей для тех, кто интересуется данной темой.

Как сделать чтобы робот яндекс зашел на сайт

КАК ЗАМАНИТЬ ПОИСКОВЫХ РОБОТОВ НА СВОЙ САЙТ

Многие начинающие владельцы сайтов сокрушаются от того, что поисковые роботы обходят стороной их сайты. И, соответственно, сайты этих горемык не только не участвуют в рейтинге поисковых систем, но они даже не видны в этих поисковых системах. А ведь многие создатели сайтов надеются зарабатывать деньги на своих сайтах и выкладывают на них действительно неплохой контент. Многих интересует, где же находится та золотая приманка, которая заманит роботов-поисковиков на их сайт.

В интернете существует множество предложений по продвижению сайтов, не обошел стороной этот вопрос и наш uCoz, услугами которого я пользуюсь в данный момент. Иногда предлагается купить (кстати, недешево) ключевые слова, по которым чаще всего идет поиск в интернете. Я с интересом изучал предложения, которые появляются в интернете в части, касающейся продвижения сайтов. Заглядывал на многие форумы, но самое главное, что я выяснил для себя, ни о каком продвижении сайта не может вестись речи, если на сайт не ходят роботы-поисковики. На форуме uCoz я даже встречал четко поставленный вопрос: «мой сайт такой-то, средняя посещаемость в сутки более 100 человек, а почему роботы обходят стороной сайт?». На этот вопрос я видел расплывчатые ответы представителей компании uCoz, которые завершались примерно такими словами: «воспользуйтесь нашей платной услугой…». Вообще-то, предложение дельное и вполне справедливое (в части касающейся продвижения сайта), но, чтобы заманить роботов-поисковиков на сайт, совсем не необходимое.

Сейчас будем говорить о роботах поисковых систем Google и Yandex, т.к. они на данный момент самые популярные, и в этих системах можно зарабатывать деньги на рекламе. Так вот, чтобы роботы этих систем не обходили ваш сайт стороной, необходимо пригласить эти системы делегировать своих роботов на ваш сайт. Как это сделать сейчас, мы и разберем, отдельно для каждой из названных поисковых систем, тем более что эти приглашения несколько отличаются друг от друга.

Для поисковой системы Yandex , это делается так. Для начала заходите на Yandex под своим именем. Для этого заводите себе почту на этом сервере. Как только вы зарегистрируетесь в этой уважаемой системе, вы автоматически становитесь одним из ее клиентов, которым она предоставляет ряд услуг, в том числе и инструменты веб-мастера, которые нам в данном случае и нужны.

Итак, чтобы воспользоваться инструментами веб-мастера вы должны зайти на адрес //webmaster.yandex.ua/, но, опять же, вы должны предварительно войти в одну из служб Yandex (к примеру, в почту) под своим именем. Страничка веб-мастера выглядит так, см. Рис.1.

На этой страничке вы должны выбрать пункт «Сообщить о новом сайте» (см.1 Рис.1). После того, как вы выбрали этот пункт, у вас появляется новое окно Рис.2.

В графе URL (см. 1 Рис.2) вы вводите название своего сайта. Чтобы не было ошибок, лучше всего скопируйте адрес вашего сайта в адресной строке вашего браузера, и вставьте его в графу URL. Затем, набираете контрольное число (см. 3 Рис.2) в специально отведенную для этого графу (см. 2 Рис.2). После того, как вы ввели контрольное число (защита от роботов-вредителей), смело жмете кнопку «Добавить» (см. 4 Рис.2).

Результатом ваших действий является следующее окно (Рис.3), в котором должно быть написано: «адрес вашего сайта – успешно добавлен. По мере обхода роботами он будет проиндексирован и станет доступным для поиска».

Чтобы убедиться, что сайт принадлежит именно вам, Yandex предлагал вам скачать специальный файл, который вы должны разместить в корневой папке вашего сайта. Для сайтов, размещенных на сервере uCoz, корневую папку вы найдете, если зайдете в панель управления вашего сайта на главную страницу (см. 1 Рис.4). Там, нажав на «Файловый менеджер», вы получите доступ к корневой папке. И вам останется выбрать необходимый файл со своего компьютера, нажав соответствующую кнопку «Выбрать файл», и добавить его, нажав кнопку добавить. Вы можете спросить, для чего я описываю эту процедуру? Дело в том, что аналогичную процедуру вам будет необходимо провести, если вы захотите воспользоваться инструментами веб мастера от Google. (Для сайтов, размещенных на других серверах, доступ к корневой папке несколько иной, но все равно он осуществляется через панель управления сайтом). А задачу заманивания поисковых роботов от Yandex вы уже выполнили.

Теперь рассмотрим, как заманить поисковых роботов от Google. Для этого в своем браузере вы открываете начальную страничку Google и в правом верхнем углу нажать «Войти». После этого вы попадаете в окно доступа к аккаунтам (см. Рис.5). Если у вас уже есть аккаунт, заполните поля 1 и 2 Рис.5 и нажмите «войти» (см. 3 Рис.5). Если у вас нет аккаунта, заведите его себе, нажав кнопку «Зарегистрироваться» (см. 4 Рис.5). Обычно, если вы заводили себе почту на сервере Gmail.com, вы могли завести себе и аккаунт, но, это не обязательно, т.к. после того, как вы завели себе почту на сервере Gmail.com, вы в течение трех дней должны были подтвердить желание завести себе кроме почты и аккаунт. Но, в любом случае, заманить к себе роботов от Google вы сможете только после того, как войдете в аккаунт Google. Зайдя в свой аккаунт, вы должны в поисковой строке набрать «инструменты для веб-мастеров» и, естественно нажать «поиск». Выбрав из предлагаемого вам списка именно инструменты для веб-мастера, вы должны попасть в окно Рис. 6. Далее вы действуете как в случае с Yandex. Заполняете соответствующие поля 1и 2 и жмете кнопку «Отправить запрос» (см. 3 Рис.6).

Затем, как и в случае с Yandex, вам будет необходимо подтвердить, что сайт принадлежит именно вам. Ваши последующие действия абсолютно аналогичны описанным для поисковой системы Yandex. Вы должны скачать файл подтверждения и разместить его в корневой папке. Если вы сделали все правильно, то в результате вы получите на экране своего компьютера такой ответ: «Ваш запрос получен и вскоре будет обработан».

Следует отметить, что поисковые роботы от Yandex и Google могут заглянуть на ваш сайт не сразу, а через несколько дней. Так что вам необходимо запастись терпением. Но в любом случае, они уже не обойдут вашего сайта, а частота их появления будет зависеть от частоты обновления материала на вашем сайте.