Индексация статьи

Содержание

Индексация сайта в Яндекс и Google: проверка стараниц в поисковых системах + методы ускорения

Индексация статьи

Сегодня рассмотрим подробно самый важный процесс, без которого остальные процессы SEO-продвижения не работают. Мы поговорим об индексации, принципах её работы, важности, отличиях в Google и Яндекс. Также расскажем, как проиндексировать сайт любого размера и улучшить его качество.

Как работает поисковая система?

Чтобы понять, что такое индексация, нужно сначала разобраться, как работают поисковые системы и почему их можно считать библиотеками Интернета. 

Поисковая система — это множество серверов, на которых хранятся структурированные данные о миллионах, а возможно и миллиардах документов в Интернете. То есть когда мы запрашиваем какую-либо информацию в Google или Яндексе, мы ищем не по самому интернету, а по их поисковой базе.

Чтобы документ попал в эту базу, он должен быть известен поисковому роботу (краулер — от англ. crawler, бот, паук). Робот узнаёт о новых сайтах и страницах следующими способами:

  • внешние и внутренние ссылки,
  • собственные браузеры (Google Chrome, Яндекс Браузер),
  • тулбары, или панели инструментов,
  • собственные инструменты (поговорим о них ниже),
  • карта сайта (sitemap).

Когда поисковой робот узнал о новом документе, он заносит его в расписание проверок и затем, если документ доступен для обхода, робот выкачивает преимущественно текстовую информацию (этот процесс ещё называют краулингом) и передаёт индексирующему роботу. После этого документ, сайт или страница могут участвовать в поиске. 

Почему мы говорим о документе? Потому что робот умеет индексировать не только HTML-страницы, но и другие форматы (справка Яндекса и Google).

Скриншот взят с Как работает поиск Яндекса

Что такое индексация?

Попробуем дать собственное определение этому понятию. Индексация сайта — это процесс получения, обработки, структуризации и хранения преимущественно текстовой информации о страницах сайта в поисковой базе.

О получении этой информации мы уже рассказали. Под обработкой подразумеваем, что информация каждой страницы собрана и очищена от лишнего (картинки и графика, HTML-теги и т.д.).

Но важнее всего остановиться на структуризации данных.

Вся полученная текстовая информация делится на отдельные слова, которые группируются в алфавитном порядке. Эти слова приводятся к их начальной форме. Алгоритмы каждой поисковой системы разнятся, поэтому мы не можем точно знать обо всех тонкостях процесса, но сам процесс называется машинной морфологией. К начальным формам слов робот добавляет адрес страницы и количество упоминаний на ней.

Почему так важна индексация?

Ответ прост: чем больше ваших страниц в поисковой базе (проиндексированы), тем больше возможностей для показа в поисковой выдаче. Выражаясь ещё проще, если вы в базе, вас могут найти.

Конечно, всё, что мы здесь описали, значительно упрощено для понимания, а некоторые тонкости и нюансы опущены. Например, логичен вопрос: вы говорите о возможностях, но не говорите о гарантиях показа. Дело в том, что индексация не гарантирует показ страниц вашего сайта, ведь после неё каждый раз включается процесс ранжирования документов по каждому отдельному запросу.

Ранжирование — это распределение страниц, имеющихся в поисковой базе, в порядке приоритета и релевантности для запросов пользователей.

Если проще, то документы ваших конкурентов могут быть качественнее и релевантнее (более подходящими) по мнению поисковой системы, чем ваши.

Поэтому даже если страницы вашего сайта будут находиться в индексе, не факт, что они будут показываться в поиске. А если и будут, то нет гарантий, что на 1–2 странице. 

Тезис: чем больше страниц сайта проиндексированы, тем больше шансов получить трафик.

Что может мешать индексации?

Самая главная причина — робот не знает о наличии страницы либо сайта. Как мы обозначили выше, у краулера ограничены способы нахождения новых страниц. Учитывайте это и используйте все доступные меры:

  1. Добавьте свой сайт во все инструменты Яндекса и Google.
  2. Создайте и обновляйте карту сайта (sitemap.xml).
  3. Используйте родные браузеры поисковиков.
  4. Делайте ссылки со старых страниц на новые.
  5. Разумно используйте возможности внешних ссылок.

Помешать индексации могут следующие причины:

  • некачественный контент;
  • страница дублирует содержание другой;
  • на сайте или странице обнаружены нарушения (санкции ПС);
  • страница недоступна (код 4xx или 5xx);
  • настроен 3xx-редирект (редирект — это перенаправление с одной страницы на другую);
  • запрет индексации в robots.txt;
  • метатег robots со значением noindex или HTTP-заголовок X-Robots-Tag;
  • медленная загрузка страницы и/или сайта;
  • атрибут rel=canonical на другую страницу (проиндексирует каноническую);
  • длина URL страницы превышает 1024 символов (Яндекс);
  • документ больше 10 мб (Яндекс);
  • количество ссылок на одной странице превышает 2000–3000 (Google).

Нюанс №1: для Яндекс robots.txt — важный документ, а для Google рекомендательный. То есть, если робот сочтёт страницу полезной для пользователей, он будет игнорировать запреты в файле. Для запрета индексации страницы в Гугле лучше использовать метатег robots или HTTP-заголовок X-Robots-Tag.

Нюанс №2: 3xx-редирект и атрибут rel=canonical не запрещают индексацию страницы напрямую, но указывают, что она вторична, в отличие от страницы редиректа или канонической.

Нюанс №3: указание канонической страницы не всегда спасает владельца сайта, так как Google может по своему усмотрению выбирать канонические страницы и игнорировать атрибут rel=canonical.

Краулинговый бюджет

Количество новых документов в Интернете постоянно растёт, а технологические мощности поисковых гигантов всё же ограничены. Поэтому робот решает, сколько страниц одного сайта будет индексировать за раз. Это и называют краулинговым бюджетом.

Он зависит от количества и качества страниц, частоты их обновления, типа самого сайта (маркетплейс, новостник, небольшой сайт), популярности и авторитетности ресурса. Важно отметить, что краулинговый бюджет — это не постоянная величина, и он может изменяться. 

Напрямую управлять как индексированием, так и бюджетом сканирования вы не можете, но способствовать этим процессам точно можно. Об этом подробнее поговорим в разделе «Как управлять индексацией».

Индексация сайта в Google и Яндекс

Принципы индексации у этих поисковых систем преимущественно одинаковые: краулинг → очистка → индексация → ранжирование. Но различия можно найти, поэтому расскажем о тех, которые известны.

Индексация в Google

Самое главное отличие — Google лучше ориентируется в англоязычном сегменте, то есть лучше воспринимает текст и запрос пользователя на английском. Разница на момент 2020, думается, незначительная, но учитывать стоит.

У Гугла 2 основных типа роботов: для мобильных сайтов и для десктопных. Новые сайты индексируются мобильными роботами и приоритет отдан мобильным версиям сайта, согласно алгоритму mobile-first индекс. 

Скорость индексации обычно выше, чем у Яндекса: на 1 страницу уходит неделя или меньше. Индекс обновляется постоянно, а некачественные страницы не удаляются из него, но при этом и не показываются пользователям.

Индексация в Яндексе

У Яндекса тоже 2 типа роботов: основной и быстрый (Orange). Основной робот занимается индексацией всего интернета, а быстрый отвечает за поиск самых свежих документов, чтобы информация была доступна как можно быстрее (от нескольких минут до пары секунд).

Обновление индекса происходит раз в несколько дней ночью, когда нагрузки на серверы меньше. Процесс индексирования сайта обычно занимает от недели до месяца, а некачественные страницы удаляются из индекса.

Как проверить индексацию?

Уточним сразу пару моментов. Индексацию нужно проверять как в Google, так и в Яндексе. Более того, вы должны знать изначальное количество страниц на сайте. Это можно сделать с помощью краулеров типа Xenu, Screaming Frog, Netpeak Spider и других.

Как проверить индексацию:

  1. Инструменты Яндекс Вебмастер и Google Search Console. В Вебмастере это Индексирование → Страницы поиска (отдельные страницы смотрите в инструменте «Проверить статус URL»). В Search Console откройте отчёт Покрытие → Страницы без ошибок (индексацию отдельных страниц ищите в Проверке URL).

      

  2. Используйте оператор site. В поисковой строке Яндекса и Google введите site:name.com, где name — домен сайта. Под строкой поиска справа будет указано количество проиндексированных страниц. Если разница в количестве больше 10%, у вас проблемы с индексацией.
  3. RDS Bar и другие сервисы.

    RDS Bar — это бесплатный плагин для браузера. В нём вы узнаете не только количество проиндексированных страниц, но и получите другую полезную информацию. Также автор статьи советует воспользоваться сервисом a.pr-cy. Он позволяет провести хороший первичный аудит сайта и уже в самом начале выявить основные проблемы.

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

  • Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
  • Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
  • Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
  • Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
  • Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
  • Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
  • Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
  • Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
  • Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
  • Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
  • Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
  • Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
  • Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

  1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.

  2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
  3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow.

    Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Индексация многостраничных сайтов

Отдельным столпом стоит работа с краулинговым бюджетом для многостраничных сайтов: маркетплейсы, агрегаторы, интернет-магазины, новостники, форумы и другие. Скажем по секрету, что владельцам небольших сайтов (до 1000 страниц) о бюджете краулинга можно волноваться меньше. А вот владельцам многостраничников придётся нелегко.

Как улучшить индексацию многостраничного сайта:

  1. Используйте все наши советы по улучшению индексации на полную мощь.
  2. Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.

  3. Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика. Для этого используйте дополнительные блоки на главной странице и в разделах.

  4. Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
  5. Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml. Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц.

     

  6. Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
  7. Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Эта статья уже проиндексирована

Надеемся, что материал получился максимально полезным и интересным, а мы ответили на все вопросы, касающиеся индексации. Тема сложная, и сразу во всём не разобраться, но уверяем, что, если последуете нашим советам, вы только улучшите свой сайт и его качество.

Если всё-таки вопросы остались, задавайте их нам!

Источник: https://seoforge.ru/seo/indeksatsiya-sayta

Нарушений нет.Индексации тоже нет. Как это?

Индексация статьи
“Я вам посылку принес, но я вам ее не отдам” – радовался Почтальон Печкин. А чему радоваться то?

Вот самая-пресамая главная причина? А чтобы публикации читали, ведь правда? Далее мотивы начинают ветвиться.

Кому-то нужны прочтения чтобы денежки капали, кто-то промотирует самого себя, как умника-красавца-комсомольца или уникального в чем то мастера. У кого-то, простите за выражение, просто “писучая жилка”. как говорили в старину.

Такому человеку важно просто выговориться.

Помните,кстати, древнюю притчу про говорящий тростник? Ну там человеку была доверена тайна. а его распирало и он выкопал в земле ямку и прокричал туда. пока никого рядом не было. свою тайну.

А потом из ямки вырос тростник, его срубили, сделали дудочку и дудочка эта пела песенку про тайну….

За точность не поручусь, но смысл был именно в этом – распирает человека поделиться информацией с другими, это нормально.

Возвращаемся к Яндекс.Дзен. Это сервис, на котором любой совершенно бесплатно может выкопать ямку для секретов завести блог – хоть персональный, про свою драгоценную особу, хоть тематический. И вот блог создан и начинаются показы. Новые статьи появляются в “Ленте Яндекс.Дзен”

моя лента Дзен, Часть мои подписки, часть – другие блоки и конечно реклама

Лента бесконечна, она течет сверху вниз как вода.

В ней вроде как появляются все новые публикации. А вот какому количеству читателей будет показана ваша новая публикация – лотерея. Публикации новых каналов мало кому показываются. Считается это потому, что “гений” Дзен – Искусственный Интеллект (ИИ) или Алгоритм (Алго) еще не знает, каким гражданам будет интересно читать ваши опусы.

И тут идет какое то нарушение логики. Казалось бы – не знаешь,кому будет интересно: показывай всем подряд, из миллиона показов будет 10 000 кликов и 500 дочиток – вот и база для дальнейшего определения читательского сегмента.

На самом деле все ровно наоборот – пока неизвестно кому понравится – не будем показывать никому.

И вдруг какая то статья “выстреливает”, то есть набирает несколько (иногда даже десятков и сотен) тысяч показов. Все! По этой “выстрелившей”статье моделируется аудитория канала. У меня по логике в университете была “четверка”, может отличник по логике мне объяснит, как такое возможно.

Мы плавно подошли к предмету сегодняшней статьи – “бессимтомному” ограничению в показах.

У меня кроме этого канала еще два. Один из них – авторский, на нем я просто делюсь своим почти шестидесятилетним опытом. тоже “кричу в ямку”.

Недавно пессимизировали две мои статьи. совершенно невинного свойства:

  • одна про новые виды услуг, родившиеся в период пандемии и самоизоляции ,
  • другая еще проще – про то, как моей дочери для внуков выдали набор продуктов вместо горячего питания, поскольку сейчас они учатся дома а не в школе.

И у той и у другой статьи ну очень мало показов, меньше ста – хотя на канале почти 1000 подписчиков (на апрель 2020) и посещают его несколько тысяч человек в сутки.

Для меня это было тем более удивительно, что вторую публикацию я решила сделать после того, как прочла статью на тематическом канале женщины, живущей за пределами МКАД – она тоже перечисляла, что дают “сухим пайком” ее детям на время самоизоляции.

И статья той женщины набрала несколько десятков тысяч дочиток.

Ага! -подумала я. Значит, людей такие вещи интересуют, значит – надо написать “а что у нас” – будет возможность сравнивать, что дают в разных регионах страны родителям вместо школьных завтраков.

А мне на это – “не индексируется” и 163 дочитывания за 10 дней, слезы одни.

скрин той самой статьи про пайки. Подчеркнуто – количество дочиток и значок ограничения в индексации

Для канала это вредно – наберется несколько таких “мордочек” и ИИ вдруг возьмет и посчитает канал “токсичным”, отключит рекламу или вообще заблокирует. Бывали такие случаи.

Пишу в поддержку – мол, дорогие товарищи, поправьте в чем я была не права. Помятуя предыдущий опыт, сами статьи не поправляю. оставляю как есть. Мне уже один раз писали – увидите что статья пессимизирована – не трогайте, а просто обратитесь к нам мы проверим на крамолу и сообщим.

И получаю удивительный ответ:

поиск, получается, живой – сам выбирает что ему индексировать а что нет

Дорогой автор, пишет мне девушка Кристина. С вашей статьей все норм, но мы ее в поиск Яндекса не пускаем. Те, кто ищет сведения о “сухих пайках” (например) через поисковую строку Яндекса мою статью не увидит. Это как?

Единственное обьяснение, которое у меня как у гуманитария родилось – это чтобы поиск не распылялся по нескольким статьям из Дзена с похожим содержанием.

И чтобы та самая статья той тетеньки (вроде она из Воронежа, хотя я могу и ошибаться) не имела конкуренции.

Еще один абсурд, но мы уже привыкли к мысли, что у Искусственного блин Интеллекта какие то свои правила логики, не такие как у Аристотеля, например.

А что вы об этом думаете?

Источник: https://zen.yandex.com/media/chronos/narushenii-netindeksacii-toje-net-kak-eto-5e97dcfbca463d28e140e454

Что такое индексация сайта и как её проверить — SEO на vc.ru

Индексация статьи

Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.

Как работает индексация

Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС).

В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию.

Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.

Как попасть в индекс поисковых систем

Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.

1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.

Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер.

Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google.

Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.

2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.

Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.

Как проверить индексацию сайта

Есть несколько способов узнать были ли проиндексированы нужные вам страницы.

1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.

Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.

2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.

3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google.

Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.

Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.

Как ускорить индексацию

Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:

  • Обязательно добавьте сайт в ПС через сервисы для веб-мастеров.
  • В Search Console и Яндекс.Вебмастере укажите ссылки на файлы Sitemap и robots.txt.
  • Регулярно добавляйте на сайт новый уникальный контент.
  • Не забывайте перелинковывать страницы между собой.
  • Добавляйте ссылки на новые страницы в социальные сети и на другие сайты.

Как закрыть сайт от индексации

Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:

1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.

2. Добавить тег noindex в HTML-код страницы. Наверное, самый простой способ, когда нужно запретить роботу индексацию конкретной страницы или страниц определённого типа. Чтобы воспользоваться им, достаточно добавить в раздел HTML-кода страницы директиву .

3. Использовать авторизацию. Некоторые страницы — например, личный кабинет и «черновики», находящиеся в разработке, — можно закрыть от роботов формой авторизации. Это самый надёжный способ, так как даже те страницы, индексация которых запрещена в robots.txt или директивой noindex, могут попасть в поисковую выдачу, если на них ведут ссылки с других страниц.

Источник: https://vc.ru/seo/176785-chto-takoe-indeksaciya-sayta-i-kak-ee-proverit

Индексация сайта в поисковых системах: как происходит, и как ее ускорить

Индексация статьи

Поисковые системы для ответа на запрос пользователя используют индекс: базу данных ключевых слов, которым соответствуют адреса страниц, где встречаются эти слова. После введения запроса поисковик сопоставляет слова из него со словами в базе, составляет список релевантных страниц, ранжирует эти страницы и показывает пользователю.

Индексация сайта – это добавление его страниц в индекс поисковой системы. В результатах поиска отображаются только проиндексированные страницы. Этот принцип применяется в Яндекс, Google и других поисковиках. Подробнее о работе поисковых систем мы рассказывали здесь.

Как составляется индекс

Поисковый робот получает маршрут с адресами страниц, которые нужно проиндексировать. В этот список попадают

  • адреса, добавленные через панели веб-разработчика;
  • документы, на которые ссылаются внешние ресурсы;
  • URL, на которые есть ссылки с уже проиндексированных страниц сайта;
  • страницы, у которых наступил срок переобхода;
  • страницы, которые находит робот при обходе всего Интернета и другие страницы, выбранные поисковым алгоритмом.

Робот выкачивает содержимое документов, после чего начинается индексация.

Проверяется соответствие контента требованиям поисковика (отсеивается спам, запрещенный контент).

Если страница соответствует, начинается деление текста на слова, анализ слов и фраз, распределение по уже имеющейся базе, добавление информации о новых страницах, релевантных выделенным из текста поисковым запросам.

Процесс занимает от нескольких минут до нескольких дней. Чем быстрее страница проиндексирована, тем быстрее она примет участие в ранжировании.

От чего зависит скорость индексации

  • Частота добавления контента. Чем чаще добавляются новые страницы, тем чаще поисковый робот заходит на сайт.
  • Ссылки. И внешние, и внутренние ссылки сообщают поисковику о новом материале.
  • Дополнительные инструменты. Подключение RSS, репосты в социальных сетях, заказ рекламы у поисковиков с посадкой на новую страницу.
  • Техническая реализация. Подробнее технические моменты разберем ниже.

Настройка корректной индексации

В алгоритмах поисковых систем есть роботы для парсинга всей Сети. Они обходят все найденные в Интернете адреса и рано или поздно с высокой вероятностью попадут на ваш сайт. Но ждать, когда система сама узнает о новом ресурсе, долго. Кроме того, нужно задать правила индексирования.

1. Файл robots.txt. В него записывается набор правил для поискового робота. Правила задаются сразу для всех поисковиков или для каждой системы отдельно. В robots.txt можно исключить из индекса технические страницы, указать URL c UTM-метками, которые не нужно учитывать.

Запреты нужны не только для исключения из поиска неинформативных внутренних страниц. Они напрямую влияют на индексацию. У робота ограниченное время на посещение одного сайта (краулинговый бюджет). Важно, чтобы весь бюджет расходовался на обработку нужных страниц.

На сайтах интернет-магазинов генерируется огромное количество адресов товарных корзин пользователей, результатов внутреннего поиска. Инструкции Disallow: /bin/ # (для корзин) и Disallow: /search/ # (для поиска) закрывают от индексации эти документы.

Также в robots.txt задается адрес файла sitemap.xml.

2. Файл sitemap.xml. В нем находятся адреса всех страниц сайта, которые требуется проиндексировать.

В записи для каждой страницы указан ее URL, дата последнего изменения , приоритетность . По тегу поисковый робот узнает, что страница была обновлена и ее нужно переиндексировать. Тег задает приоритетность в очереди на индексацию. Назначается от 0 до 1. Главной странице присваивается значение 1, остальным от 0,9 до 0. Если коэффициент не указан, поисковик будет считать его равным 0,5.

Нельзя, чтобы sitemap.xml и robots.txt противоречили друг другу. Адреса закрытых от индексации страниц не должны попадать в файл sitemap.xml.

Добавление сайта в панель Яндекс.Вебмастер и Google Search Console. После подготовки указаний для поисковиков сайт добавляется в панели вебмастера. Для нового сайта можно добавить адрес главной страницы.

Дальше роботы сами обойдут все страницы, ориентируясь на sitemap.xml, robots.txt, внутреннюю перелинковку.

Если требуется добавить в индекс выборочные страницы, переиндексировать документ после внесения изменений, в Яндексе используется инструмент «Переобход страниц»:

В Google запросить индексацию страницы можно в панели проверки адресов:

Важно: добавление в панели Яндекса или в Google не означает автоматическое добавление в индекс. Это способ уведомить поисковик о том, что сайт нужно проиндексировать.

3. Структура сайта. В идеале структура сайта продумывается на этапе разработки. Желательно избегать многоуровневой вложенности. Оптимально – не более трех уровней от корня сайта. Более глубокие уровни индексируются дольше. Если на сайте есть дубли документов, отмечаются канонические URL для поисковиков.

4. Внутренняя перелинковка. При скачивании страницы роботы формируют список найденных на ней гиперссылок и добавляют их в план обхода. Чем больше ссылочных связей между страницами внутри сайта, тем быстрее пройдет индексация всех страниц.

5. Ответы сервера. Страницы для индексации должны отдавать код 200. Если документ перемещен, настраивается 301 редирект. Неправильно настраивать несколько редиректов – сначала с одной страницы на другую, потом на третью. Это также замедляет индексацию. Перенаправление делается сразу на конечный URL.

6. Валидность кода. Код можно проверить сервисом validator.w3.org. Важно, чтобы текстовые блоки и внутренние ссылки не были закрыты тегом . Страница должна корректно отображаться во всех браузерах.

7. Доступность сервера. Во время обхода сервер должен работать. Если проблемы с работой сервера возникают регулярно, стоит сменить хостера.

Как ускорить индексацию

1) Добавить ссылки с главной страницы на новые или важные страницы сайта.

Например, для новостного портала это может быть блок «Последние публикации», для интернет-магазина – «Новинки»:

Ссылки с главной укажут путь роботу. После того, как страницы попадут в индекс, в блок выводятся другие документы.

2) Разместить внешние ссылки на авторитетных, быстро индексируемых ресурсах.

Для быстрой индексации активно обновляющихся сайтов с высокой трастовостью используются быстроботы. Они следят за обновлениями в тех разделах, где высокая активность, и добавляют их в индекс в течение нескольких минут после релиза. Ссылка от такого донора ускорит индексацию. Но только в том случае, если будет идти с раздела, который попадает в зону действия быстробота.

3) Регулярно размещать контент.

Чем чаще публикуется контент, тем быстрее индексируется сайт.

4) Указать скорость обхода в настройках Яндекс.Вебмастера.

Скорость обхода – количество запросов к серверу в секунду от поискового робота. Это альтернатива инструкции Crawl-delay в robots.txt.

Бывает, что разработчики при указании скорости ориентируются не на фактические возможности сервера, а на значения, подсмотренные у других разработчиков.

В результате скорость обхода сильно снижается, краулинговый бюджет тратится на простой, скорость индексации падает. Инструмент автоматически рассчитывает оптимальную скорость, но значения можно изменить вручную:

5) Подключить обход по счетчикам Яндекс.Метрики.

При интеграции Метрики и Вебмастера можно передавать код страницы с установленным счетчиком на индексацию автоматически.

Почему сайт не индексируется или выпал из индекса

  • Допущены ошибки в технической части.
  • Обнаружен неоригинальный контент.
  • Наложены санкции поисковых систем.
  • Есть проблемы с доступностью сервера.

В панели вебмастера вы можете узнать о возможных причинах. Рекомендуем последовательно проверить все настройки сайта. Чек-лист для проверки настроек смотрите в этой статье. Удачного продвижения!

Источник: https://zen.yandex.ru/media/id/5adf4e9a482677a0d28d90cf/indeksaciia-saita-v-poiskovyh-sistemah-kak-proishodit-i-kak-ee-uskorit-5f3e28f3e0b5a65f9009dd5f

Быстрая индексация статей. Как это сделать?

Индексация статьи

   Доброго времени суток, друзья! Рад приветствовать Вас на страницах Tipsite.ru! Сегодня мы рассмотрим такую важную тему, как быстрая индексация статей.

   Любому вебмастеру хочется, чтобы каждая новая статья побыстрее появлялась в поисковой выдаче. Но как этого добиться? Ведь очень часто происходит все наоборот: статья написана, опубликована, но упорно не индексируется! И вот тут, естественно, возникает закономерный вопрос: как ускорить индексацию статей? Ответ на этот вопрос Вы найдете в сегодняшнем посте.

   Прежде всего, разберемся, что такое индексация.

Если говорить просто, то индексация (в нашем случае индексация статьи)  – это процесс добавления статьи в поисковую выдачу. Ну а выглядит этот самый процесс примерно так: поисковый робот заходит на наш сайт, находит новый пост и добавляет его в базу данных.

   Через некоторое время после этого статья появится в поисковой выдаче. В общем, быстрая индексация статей зависит от того, как быстро поисковый робот соизволит заглянуть на наш сайт.

   До недавнего времени мои статьи индексировались ну очень уж медленно. И если с Google дела обстояли более-менее терпимо (статьи попадали в индекс за 2-4 дня), то Яндекс вообще не торопился добавлять новый материал с моего сайта в поисковую выдачу

Источник: https://tipsite.ru/sozdaem-sajt-na-wordpress/bystraya-indeksaciya-statej-kak-eto-sdelat/

Поделиться:
Нет комментариев

    Добавить комментарий

    Ваш e-mail не будет опубликован. Все поля обязательны для заполнения.