ускорение индексации сайта через пинг
Как ускорить индексацию сайта: 5 способов на все случаи жизни
Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.
Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.
Проблемы с индексацией сайта бывают трех типов:
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Давайте разберем способы ускорения индексирования сайта поисковиками
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:
В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:
В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Также укажите путь в панелях для вебмастеров:
Google Search Console – в разделе Индекс/Файлы Sitemap:
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Подробно о кодах ответа сервера мы рассказывали в этой статье.
Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:
Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.
В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).
В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:
Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:
Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:
Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:
Добавить блог можно в такие каталоги:
Нелишним будет добавить сайт в бесплатные рейтинги:
Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.
Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.
Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.
Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.
Почему важно ускорить индексацию сайта и как это сделать
Чем быстрее страницы вашего сайта проиндексирует поисковик, тем быстрее они попадут в выдачу.
У Google на процесс индексирования уходит от пары минут до семи дней, Яндексу на это понадобится от недели до месяца. Заранее определить сроки индексации никто не может — все зависит от вашего сайта. Но есть несколько способов ускорить процесс.
Методы быстрой индексации особенно пригодятся сайтам:
Перейдем к сути — что может сделать владелец сайта, чтобы поисковики как можно быстрее проиндексировали его сайт.
1. Отправьте страницы на индексацию в Google Search Console и Яндекс.Вебмастер
Чтобы страницы как можно быстрее попали под радар поисковиков, используйте сервисы самих поисковиков — Google Search Console и Яндекс.Вебмастер. Они помогают владельцам сайтов следить за состоянием индексации, изучать ошибки во время сканирования и оптимизировать сайты.
Google Search Console
Чтобы проверить статус индексации новой страницы, выберите на левой панели «Проверка URL» или введите нужный URL-адрес в поисковое поле сверху. Вот так просто.
После отправки URL на проверку вы увидите, проиндексирована ли эта страница, а также ошибки, связанные с AMP, разметкой и индексацией.
Если страница не проиндексирована, вы можете запросить визит робота Googlebot и отслеживать статус индексирования.
Инструмент «Проверка URL» подходит для индексации как новых страниц, так и тех, которые вы обновили.
Яндекс.Вебмастер
Начало работы с вебмастерской Яндекса такое же, как в Google: добавляете туда свой сайт и подтверждаете права. После этого сайт автоматически попадает в очередь на индексирование. Обычно это занимает до 2 недель.
Как только данные по вашему сайту появятся в Яндекс.Вебмастере, вы сможете отправить нужные страницы на переиндексацию.
Для этого на левом меню откройте вкладку «Индексирование» → инструмент «Переобход страниц». Вставьте нужные вам URL в поле и отправьте список на переиндексацию.
Дневной лимит на добавление URL индивидуальный для каждого сайта и определяется автоматически — Яндекс не рассказывает, как его рассчитывает.
2. Используйте преимущества карты сайта
Карта сайта XML служит навигатором для поисковых роботов, и это можно использовать для ускорения индексации.
Карта помогает поисковым роботам быстрее находить страницы сайта и быстрее их индексировать. То есть, чтобы сообщить поисковикам о том, какие страницы на вашем сайте доступны для сканирования, добавьте их в файл sitemap.xml, а ссылку на сам файл — в специальный раздел панели для веб-мастеров (ниже добавлю инструкцию).
Карта XML для поисковых систем — рекомендация, а не строгая инструкция. Она не гарантирует, что все добавленные страницы будут проиндексированы, но может действительно помочь большим сайтам быстрее и полнее проиндексироваться.
Несколько советов по созданию карты
Чтобы карта лучше сработала, она должна быть хорошо структурирована и размечена для поисковика.
Отмечайте обновленные страницы с помощью тега для добавления действительной даты последнего изменения, а не одной и той же даты для всех страниц.
Укажите приоритетность страниц для сканирования с помощью тега
(от 0 до 1) и частоту изменений страницы (с помощью тега ). Так поисковики получат полную информацию о вашем ресурсе. Но учтите, что частота изменений страницы может не соответствовать тому, как часто ее будут сканировать поисковые роботы. Google в настоящее время не учитывает атрибуты
Как создать карту сайта и добавить ее в панели веб-мастеров
Создать XML-карту помогут разные веб-инструменты и программы. Эта опция есть и в SE Ranking — в разделе «Анализ сайта».
В этом инструменте можно выбрать, какие типы страниц включить в карту, указать частоту изменения страниц и приоритет сканирования для страниц разного уровня.
Файл с картой нужно добавить на сам сайт (загрузить в корень сайта https://yoursite/sitemap.xml ), а затем отправить в Google и Яндекс.
Чтобы отправить карту в Google Search Console, укажите ссылку на размещенную на вашем сайте карту. Сделать это можно в разделе «Файлы Sitemap».
Как только карта сайта будет просканирована роботами, вы получите отчет о том, какие страницы сайта попали в индекс поисковика и какие ошибки были при этом обнаружены.
3. Соберите качественные обратные ссылки
Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.
Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.
Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их.
Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент «Анализ обратных ссылок» от SE Ranking.
Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее.
Отдельно стоит сказать о соцсетях.
Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках.
Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты.
Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту.
На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется и Google, и Яндекс. Также поисковики индексируют ссылки с активных страниц в Facebook. Тоже самое с Вконтакте — чем больше будет набираться подписчиков, которые лайкают и репостят записи, тем скорее вы привлечете внимание поисковых роботов.
Для Яндекса хорошо работает постинг в связках соцсетей — это ВК + Twitter, также можно добавлять ссылки на новые страницы в LiveJournal, LiveInternet, Diary.Ru.
Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.
4. Увеличьте скорость загрузки сайта
Есть такой понятие — краулинговый бюджет. Оно означает максимальное количество страниц, которое поисковой робот может просканировать за один визит. И чем дольше грузятся ваши страницы, тем меньше поисковые роботы просканируют за один раз.
Именно поэтому скорость загрузки так важна для индексации страниц.
Посмотрите на страницы «с низкой скоростью» — увидите, какие проблемы поисковик обнаружил при сканировании. Устранив описанные проблемы, можно нажать «Проверить исправление» и следить за ходом проверки.
Здесь вы сможете проверить среднее время загрузки всего сайта, время загрузки каждой отдельной страницы и турбо-страниц. Данные в отчете показаны для каждого этапа загрузки страницы (обработка запросов к DNS, обработка HTTP-редиректов, продолжительность установки соединения с браузером, ответ сервера, время загрузки и парсинга HTML и т.д.). Обнаружив самый долгий этап, вы можете начать с оптимизации его загрузки в первую очередь.
5. Выстройте хорошую перелинковку и навигацию по сайту
Главное, чтобы внутренние ссылки были релевантными и не сбивали пользователей с толку. Но даже самая удачная перелинковка может со временем перестать работать — поэтому очень важно периодически проверять, как с ней обстоят дела на вашем сайте. Рекомендую воспользоваться понятной рабочей инструкцией в нашем блоге, где по полочкам разложено, как проанализировать внутреннюю перелинковку вашего ресурса и найти все связанные с ней ошибки.
Помните, что ваш сайт должен быть простым и понятным как для поисковых роботов, так и для посетителей.
6. Регулярно публикуйте и обновляйте контент
Поисковикам нет смысла заходить на ваш сайт, если на нем ничего не меняется. Если же свежий контент появляется на вашем сайте регулярно, поисковые боты тоже зачастят на ваш веб-ресурс.
Вы можете создать график публикаций новых страниц на сайте (например, статей или обзоров в блоге) и придерживаться этого плана. Но не стоит публиковать новый контент ради «галочки» — он должен нести ценность для читателей вашего ресурса и не повторять то, что уже есть на сайте.
Много похожих страниц негативно отразятся на индексации всего сайта, особенно если речь идет о больших ресурсах. Также не в вашу пользу сработают публикации, в которых есть неуникальный контент, плохой рерайт, мало смысла и много воды.
Что можно предпринять, чтобы контент на вашем сайте помог с ускорением индексации:
7. Используйте сервисы пингования
Пингование — еще один способ оповещения поисковых систем о новом контенте. Когда вы отправляете пинг (сигнал), вы как будто «призываете» поисковых роботов прийти и проверить новый контент на вашем сайте.
В админке WordPress предусмотрена такая функция — в настройках нужно выбрать Написание → Сервисы обновления — и там указать список пинг-сервисов.
При использовании таких инструментов обязательно добавляйте только свежий контент и важные обновления, а также не переусердствуйте с отправлением пингов, чтобы поисковики не решили, что вы их спамите. Если планируете использовать автоматическое оповещение, вам пригодятся специальные WP-плагины для кастомной настройки пингования ― как часто отправлять пинги, после каких правок и т.д.
8. Добавьте сайт в RSS-агрегаторы
Сообщать поисковикам о новом контенте на вашем сайте можно через RSS-агрегаторы.
RSS — это формат для публикации новостей, который отлично подходит для отслеживания изменений на сайте без необходимости заходить на сам ресурс. Его используют для создания новостных лент (RSS feed), которые отображаются в самых разных RSS-агрегаторах, рейтингах и каталогах.
Теперь вы готовы добавлять сгенерированную в FeedBurner ленту в различные агрегаторы и каталоги.
Среди бесплатных RSS-агрегаторов, куда можно добавить свою новостную ленту:
Несколько рейтингов, куда можно добавить свою ленту:
Обычно для добавления ленты в агрегатор достаточно указать название самой ленты, ее описание, URL сайта, ваш email и категорию (тематику новостей).
После добавления новостной ленты в RSS-агрегаторы все анонсы ваших материалов будут появляться там автоматически, привлекая поисковых роботов на ваш ресурс.
Действовать или ждать
Процесс сканирования и индексирования сайта требует вашего постоянного внимания и контроля. Если вы обнаружили проблемы с индексацией, не ждите, пока поисковики сами все решат.
Нужно действовать! Пробуйте методы ускорения индексации, о которых я писала выше ― каждый из них может дать «зеленый свет» для поисковых роботов. Осталось только выбрать наиболее подходящий вариант или комбинацию способов для вашего ресурса.
Уже пробовали какой-то из них или знаете другой рабочий прием? Пожалуйста, поделитесь с нами в комментариях. И пусть ни одна важная страница на вашем сайте не останется без индексации!
Как ускорить индексацию сайта – 100+ Работающих Пинг Сервисов WordPress
После того как вы опубликовали замечательный пост в своем блоге, вы, наверняка, хотите, чтобы поисковые системы как можно быстрее проиндексировали его и стали показывать в поисковой выдаче, чтобы получить трафик? Если вы — владелец популярного блога, которому больше года, и вы регулярно публикуете уникальный контент высокого качества, то проблем с индексированием новых статей у вас не должно быть; на большинстве моих «старых» блогов контент индексируется в течение нескольких часов. Если же ваш блог относительно новый, то индексация новых статей может занимать до нескольких дней, и чтобы ускорить этот процесс есть несколько вариантов:
Пинг сервисы необходимы только для скорейшей индексации вашего контента — дополнительных посетителей или ссылок вы от них вы не получите. В случае с сервисами обновления принцип «чем больше — тем лучше» не действует, и поэтому не имеет смысл «заливать» в список сервисов обновления несколько сотен позиций — только нагрузку на свой сервер увеличите. Многие из «Основных Пинг Сервисов WordPress», приведенные ниже, рассылают оповещение в несколько служб, как, например, Pingomatic, и поэтому не имеет смысла «пинговать» их отдельно.
Основные Пинг Сервисы WordPress
Ориентируйтесь на основные пинг сервисы WordPress, их вам должно с лихвой хватить, чтобы ускорить индексацию контента, но если уж вам совсем не имется, и жгучее желание «нагрузить» ваш сервер не дает вам спать, то можете добавить в список сервисов обновления все 100+ служб из списка ниже. Только учтите, что по умолчанию WordPress «пингует» все сервисы из вашего списка обновлений каждый раз, когда вы редактируете и публикуете пост, так что, если вы часто редактируете записи или любите редактировать их онлайн через админку, то имеет ли смысл оповещать об этом 100+ служб? Чтобы вас не занесли в список «пинг спамеров», установите WordPress Ping Optimizer
Как ускорить индексацию сайта: 5 способов на все случаи жизни
Все способы подходят для Яндекса и Google, проверены и работают в 2020 году
Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.
Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.
Почему не индексируется сайт
Проблемы с индексацией сайта бывают трех типов:
Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.
Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.
Давайте разберем способы ускорения индексирования сайта поисковиками.
1. Улучшите внутреннюю SEO-оптимизацию
Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.
Проверьте файл robots.txt
Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:
В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:
В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.
Создайте sitemap.xml
Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.
После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:
Также укажите путь в панелях для вебмастеров:
Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).
Добавьте HTML карту сайта
Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.
Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.
Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.
Проверьте ответы сервера
Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.
Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.
Подробно о кодах ответа сервера мы рассказывали в этой статье.
Поработайте над внутренней перелинковкой
Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:
Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.
В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).
В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:
Следите за уровнем вложенности
Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.
Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.
Пишите полезные и уникальные тексты
Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.
Чаще публикуйте записи и обновляйте страницы
Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.
Как поддерживать актуальность сайта:
Устраните дубли на сайте
Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:
Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».
2. Используйте инструменты для вебмастеров
После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.
После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).
В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».
В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:
Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:
Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.
3. Добавьте сайт в RSS-каналы, каталоги, рейтинги и соцсети
Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.
RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:
Добавить блог можно в такие каталоги:
Нелишним будет добавить сайт в бесплатные рейтинги:
Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.
Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.
Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.
Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.
4. Используйте пинг-сервисы
С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:
Пример списка пинг-сервисов для блога на WordPress
Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.
5. Нарабатывайте «сильные» ссылки
Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.
Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.
Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.