ускорение индексации сайта яндекс

Как улучшить индексацию блога в Яндексе и Google?

Доброго времени суток, друзья! Сегодня мы поговорим о такой насущной теме, а для некоторых проблеме, как индексация новых страниц в Яндексе и Google. В рамках данного материала я отвечу на популярный вопрос, как ускорить индексацию сайта в поисковых системах.

В этой статья я расскажу, какими методами пользуюсь я, для улучшения индексации страниц сайта. Таким образом, вы можете быть уверены в действенности этих способов, т.к. у меня они работают. Как я писал в информации «О блоге», я вебмастер-практик, все советы, которые я даю в блоге, я проверяю на себе и с чистой совестью могу рекомендовать их вам. Итак, поехали!

Общие рекомендации ( UPD 05.2019 )

Всё ниже описанное также влияет на ускорение индексации и все методы перечисленные в данной статье настоятельно рекомендую к использованию. Однако, статья писалась в 2015 году, а на момент этой правки на дворе 2020 год. Появились дополнительные методы быстрого загона статей в индекс.

Лично я использую два сервиса быстрой индексации страниц сайта:

Всё что от вас требуется – это скопировать в соответствующие поля список URL’ов для индексации. ВСЁ!

Indexer от Баночкина Indexme – быстрая индексация страниц в Гугле и Яндекс

У indexme.site есть возможность “просмотреть” страницы из-под мобилы:

Для индексации сайт под Яндекс и Google одновременно используйте мобильную версию сайта (в режиме теста из браузера. Тест с телефона был пройден успешно и Google проиндексировал всю пачку URL)

В чём смысл данных индексаторов? Страницы открываются поочередно в вашем браузере и тем самым дают сигнал поисковикам зайти на эту страницу. Всё просто 🙂

Причём Яндекс.Браузер “стучит” роботам Яндекса, а если вам нужно добавить страницы в индекс Гугла, то нужно заходить на данные сайты через Google Chrome.

Как ускорить индексацию сайта в Яндексе?

Многие вебмастера сталкиваются с проблемой индексации новых страниц сайта в Яндексе. Все они бьются над одним и тем же вопросом, как улучшить индексацию сайта? Я отвечу на этот вопрос и дам рекомендации по улучшению данного параметра.

Подготовка

Для начала нужно сделать первичный анализ индексации, чтобы знать, от чего отталкиваться. Заходим на Seopult, находим раздел «Профессиональные инструменты» и выбираем «Анализ индексации страниц». Так мы быстро проверим сайт и в Яндексе, и в Google. Первые 8 проверок (не больше 100 страниц) бесплатные, за остальные придется платить.
После выгрузки xlsx-файла и замера начальных данных можно уже приступать к работе

Социальные сети

При создании сайта, я настоятельно рекомендую создавать для него группы во всех популярных социальных сетях. Кстати, о том, как создать сайт на Вордпресс, я уже писал. Особенно важны для ускорения индексации сайта: Twitter и Google+. О важности Твиттера в скорости индексации страниц говорится уже давно, раньше с помощью этой социальной сети можно было, чуть ли не моментально проталкивать страницы в индекс Яндекса. Сейчас ситуация несколько хуже, но тем не менее важность Twitter в улучшении индексации новых страниц сложно переоценить. Кроме того, с недавних пор Google начал индексировать твиты в «прямом эфире», что, несомненно, говорит об авторитете этой соцсети и в Гугле.

Если про Twitter знают многие, то влияние Google+ на скорость индексации страниц, причём как не странно именно в Яндексе, а не Google, знают или хотя бы слышали единицы. А влияние очень существенное.

Исходя из вышенаписанного, вам просто необходимо завести аккаунты в Twitter и Google+ для ускорения индексации в Яндекс. Кроме того, не лишним будет иметь группу в ВКонтакте, хотя там техподдержка не из лучших, и в Facebook.

Во все соцсети необходимо настроить кросспостинг, например, с помощью платного сервиса novapress.pro, им я сам лично пользуюсь. Или постить новые опубликованные статьи в социальные сети самостоятельно.

Закупка временных ссылок на новые статьи

Одним из вариантов для улучшения индексации новых страниц в Яндексе является закупка нескольких временных ссылок на новую опубликованную статью.

Важно закупать временные ссылки с ресурсов, на которых «живёт» быстроробот, тогда новая страница быстро влетит в индекса поисковика.

Ссылка с ресурса в Яндекс.Новостях

Если вам необходимо, чтобы страница попала в выдачу Яндекса за считанные минуты, то, есть смысл купить ссылку в статье, которая попадёт в Яндекс.Новости. Быстроробот в ЯН индексирует новые статьи, чуть ли не за секунды, а значит, он быстро попадёт и к вам на сайт и быстро «съест» новую страницу.

Публикация через Главную

Все новые страницы на сайте должны проходить через Главную. Это значительно улучшит индексацию сайта в Яндексе. Кроме того, можно создать специальный блок в сайдбаре, куда вы будете вручную добавлять «Популярные статьи», об этом я писал в статье про правильную перелинковку страниц сайта.

Переобход страниц

Решил обновить статью, т.к. у Яндекса в 2017 году появилось сразу несколько инструментов для быстрой индексации новых страниц и обновления старых.

Итак, первый инструмент называется – Переобход страниц. Находится данное меню в Вебмастере Яндекса —> Индексирование —> Переобход страниц.

Метод очень действенный, робот приходит в тот же день и быстро добавляет в быстроиндекс, а после первого же апдейта добавляет в постоянный индекс. Единственная проблема – таким способом можно добавить для быстрой индексации только 20 страниц в сутки. Однако, буквально месяц назад Яндекс предоставил другую возможность, на этот раз уже для массовой индексации и переиндексации страниц на сайте, о нём ниже.

Переобход sitemap.xml

Данный метод быстрой индексации новых страниц и обновлённых старых подойдёт для интернет-магазинов, у которых ассортимент исчисляется не одним десятком товаров.

Для того, чтобы как можно скорее обновить ассортимент, следует зайти в Яндекс.Вебмастер —> Индексирование —> Файлы Sitemap и там выбрать нужный нам файлик и поставить его в очередь на переобход.

В месяц можно переобходить карту сайта только 10 раз, так что добавляйте на переиндексацию только тогда, когда работа по обновлению карточек товаров завершена на 146% 🙂

Все эти способы помогут ускорить индексацию новых страниц. Ну, что, я ответил на вопрос, как улучшить индексацию сайта в Яндексе? Думаю, да 🙂

Как ускорить индексацию сайта в Google?

Честно говоря, ни на одном из сайтов у меня не возникало проблем с индексацией страниц в Google. В принципе, для Гугла применяются все описанные выше методы. Однако, есть один 146%-ый способ улучшить индексацию сайта в Google – это его инструмент, который есть в Гугл Вебмастере. Я о нём рассказывал в статье о необходимости добавления сайта в Яндекс и Google вебмастеры.

Напишу ещё раз, вам необходимо зайти в Google Webmaster, а затем проследовать в «Сканирование» и «Просмотреть как Googlebot» и туда уже добавить URL новой страницы, которую вы хотели бы быстро добавить в поиск Гугла.

Обратите внимание, что УРЛ нужно добавлять без названия домена.

После того, как вы скопировали туда путь до статьи, нажимаете «Сканирование», и статья появится в течение часа в поиске Google.

Таким способом, вы можете ускорить индексацию в Гугле.

Резюме

Итак, подведём итоги, для улучшения индексации сайта вам необходимо:

Надеюсь, мне удалось ответить на вопрос, как улучшить индексацию блога и теперь у вас не будет возникать таких проблем.

А какими способами ускорения индексации пользуетесь вы?

Источник

Как ускорить индексацию сайта в Яндексе и Google

В статье:

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Индексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница-сирота в структуре сайта

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью поста с сайта на Фейсбуке

Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.

Фрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Источник

Как ускорить индексацию сайта: 5 способов на все случаи жизни

Всем хочется, чтобы опубликованные страницы мгновенно попадали в индекс и сразу же приводили посетителей.

Если вы хотите, чтобы новые страницы сайта побыстрее стали доступны в выдаче, следуйте нашим советам.

Проблемы с индексацией сайта бывают трех типов:

Узнайте, какие именно страницы проиндексированы Яндексом и Google. В помощь — специальный инструмент от PromoPult. После этого вы сможете оценить характер и масштаб проблемы. Подробная инструкция — здесь.

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Давайте разберем способы ускорения индексирования сайта поисковиками

Начните с сайта. Проблемы с внутренней оптимизацией могут усложнить индексацию.

Найти ошибки в robots.txt можно в Яндекс.Вебмастере в разделе Инструменты / Анализ robots.txt:

В разделе можно проанализировать текущую и предыдущие версии файла, инструмент покажет ошибки. Здесь же можно скачать файл для того, чтобы отредактировать:

В этом же разделе есть функционал для проверки доступности для индексации отдельных URL — просто укажите интересующий URL в поле «Разрешены ли URL?», нажмите «Проверить», и система выдаст ответ.

Этот файл содержит ссылки на все страницы сайта и помогает поисковикам сориентироваться в его структуре. Если появляются новые страницы, они попадают в sitemap.xml, и роботы их быстрее находят.

После создания sitemap.xml пропишите в robots.txt строку для указания роботу пути к файлу:

Также укажите путь в панелях для вебмастеров:

Google Search Console – в разделе Индекс/Файлы Sitemap:

Чтобы не обновлять файл вручную после появления новых страниц, используйте динамический sitemap.xml. Он настраивается с помощью плагинов (например, один из популярных для WordPress – All in One SEO Pack) или средствами PHP. Динамический файл sitemap.xml создается каждый раз перед обращением робота (а значит, всегда актуален).

Создайте отдельную страницу, с которой будут идти ссылки на все значимые страницы ресурса. Это полезно не только для посетителей, но и для индексации роботами, а также является одним из способов перелинковки.

Интересно, что этот способ утратил свою актуальность для Google: представители поисковика советуют лучше прорабатывать структуру сайта, тогда надобность в HTML карте отпадет. Но от Яндекса подобных заявлений пока не было, так что создавайте по принципу «хуже не будет». Тем более делается это буквально за несколько минут штатными средствами CMS или при помощи специальных плагинов.

Важно! HTML и XML-карта — не одно и то же. HTML-карта располагается на сайте, ее видят пользователи. XML-карта нужна только поисковикам, пользователи ее не видят.

Сервер при обращении поискового робота должен отдавать код 200 (если страница существует) и код 404 (если страницы не существует). Кроме того, время ответа не должно превышать 1,5-2 с — в противном случае робот может не дождаться и покинуть сайт.

Проверить ответ сервера можно в Яндекс.Вебмастере в разделе Инструменты / Проверка ответа сервера.

Подробно о кодах ответа сервера мы рассказывали в этой статье.

Чтобы поисковый бот понял, что на новую страницу стоит зайти, поставьте ссылки на нее с уже проиндексированных страниц. Контент, в котором находится ссылка (ссылочное окружение) должен быть близким по тематике:

Лучше всего работают ссылки с главной и других посещаемых страниц сайта, поэтому разместите на них линки на новые статьи или товары.

В блогах добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре).

В интернет-магазинах – блоки рекомендуемых товаров или комплектующих/аксессуаров:

Как быстро робот доберется до нового url, зависит в том числе от его уровня вложенности. Идеальный вариант – не более трех кликов от главной. Страницы на 5, 6 и далее уровнях индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий» описаны все самые эффективные подходы.

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте здесь.

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

Устраняются они путем настройки 301 редиректа, указания канонических страниц, с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?».

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» — «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

В Google Search Console после обновления интерфейса в 2018 году как таковой «аддурилки» нет. Но можно воспользоваться функцией проверки URL:

Вбиваете новый URL, получаете данные о его статусе и нажимаете «Запросить индексирование». Таким же способом можно отправлять на переобход гуглобота страницы с внесенными изменениями:

Эти действия — не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

Каталоги и рейтинги хорошо индексируются поисковыми системами, и если в них будут ссылки на ваш сайт, то повысится вероятность быстрой индексации.

RSS-агрегаторы уходят в прошлое. Из тех, что еще работают в 2020-м году, отметим:

Добавить блог можно в такие каталоги:

Нелишним будет добавить сайт в бесплатные рейтинги:

Здесь важно серьезно подойти к отбору площадок, на которых регистрируете свой ресурс. Обходите стороной заспамленные «братские могилы» сайтов. Обращайте внимание на посещаемость, траст и ИКС. Отдавайте предпочтение тематическим каталогам и рейтингам а также тем, которые принадлежат к региону, в котором вы продвигаетесь.

Также для ускорения индексации советуем разместить ссылку на новую запись в соцсетях – в своих и тематических группах. Для России особенно важны ВКонтакте и Одноклассники, для продвижения на западных рынках – Twitter и Facebook.

Еще один канал для привлечения дополнительного трафика на новые материалы – Яндекс.Дзен. Трансляция публикаций в канале с хорошей посещаемостью обеспечит переходы и поспособствует быстрому добавлению страницы в индекс.

Для новостных сайтов актуальна работа с быстровыдачей Яндекса, которая формируется по актуальным на данный момент запросам. Для этого нужно подключить сайт ко всем доступным агрегаторам новостей, транслировать свежие статьи в соцсетях. Кроме этого, нужно использовать актуальные ключевые слова в заголовках и избегать кликбейта. Пользователь должен находить ценность в материале. Высокий процент отказов подскажет Яндексу о низком качестве источника. В этом случае путь к высоким местам в быстровыдаче будет закрыт.

С помощью пинг-сервисов вы уведомляете поисковые системы о появлении новых страниц на сайте. В интернете можно найти громадные списки пинг-сервисов, и многие используют сразу все. Это ошибка. В данном случае принцип «чем больше, тем лучше» не работает. Достаточно 5-7 сервисов:

Пример списка пинг-сервисов для блога на WordPress

Практика показывает, что использование пинг-сервисов ускоряет индексацию — особенно это заметно в случае с молодыми сайтами, которым меньше 6 месяцев.

Чем больше будет ссылок на ваш ресурс с авторитетных площадок, тем лучше. Это повысит значимость сайта в глазах поисковиков. Проблема в том, что на «добычу» естественных ссылок нужны годы.

Ускорить процесс можно, сотрудничая напрямую с вебмастерами с целью интеграции ссылок на трастовых ресурсах. Найти релевантные площадки можно с помощью модуля PromoPult «Естественные ссылки» — достаточно добавить сайт, и система самостоятельно подберет ключи, посадочные страницы и внешние ресурсы.

Если у вас возникнут вопросы, то всегда можно воспользоваться услугой «Персональный менеджер» — специалист проведет аудит сайта, будет регулярно высылать рекомендации по его улучшению и отвечать на возникающие вопросы.

Источник