Чтобы увеличить скорость загрузки, мы использовали ускоренные страницы.
- А еще рекомендуем удалить малоценные страницы с сайта.
- Изучение серверных логов даст вам максимум информации по маршрутам ботов и расписанию их обходов.
- Если у вас нет навыков администрирования серверов, содержимое лога вас, безусловно, напугает.
- Также есть специальные сервисы, проверяющие индексацию и логи сервера — в этом случае можно получить много полезной информации.
Некоторые специалисты рекомендуют удалять даже нужные URL из карты сайта после того, как странички попали в индекс. Не надо так делать, потому что это также может плохо повлиять и на краулинговый бюджет. Ещё одна проблема с лишними редиректами – это ссылочный вес. Каждое перенаправление уменьшает его, поэтому ваш линкбилдинг работает менее эффективно. В Google такой процесс деиндексации – долгий, он занимает месяцы с периодическими проверками, не стала ли страница доступной. Яндекс выбросит «битую» страницу быстрее, но если причины проблемы не устранены, будет возвращать её в индекс и снова выбрасывать.
Грамотная структура усиливает значимость страниц, направляя ссылочный вес в нужный раздел при помощи перелинковки. Краулерам это помогает находить нужные страницы без лишнего расходования бюджета, а пользователю — быстро достигнуть нужную страницу. Это улучшает юзабилити сайта и поведенческие метрики, что будет сигналом для ПС к увеличению бюджета. Это один из самых важных факторов для SEO-продвижения. Наличие у страницы обратных ссылок покажет поисковой системе, что сайту доверяют. Поисковый робот будет чаще посещать эти страницы, и бюджет сканирования увеличится.
Поясняем — бот увидит первую ссылку, а вторую — после перехода на нее. И только после этого перейдет на страницу с правильным URL. Кто-то считает, что чёткая структура и продуманная архитектура позволяет ресурсам до пятидесяти тысяч страниц без проблем справляться с краулингом. Надеюсь, из этой статьи вы узнали что такое краулинговый бюджет и как его можно увеличить и оптимизировать. Обязательно используйте советы из этой статьи, особенно, если у вас большой и сложный проект. Помните, чем чаще ваш сайт индексируют, тем больше у вас шансов вывести ваш новый контент в топ поисковой выдачи.
Шаг 2 Определите Количество Обращений Робота К Сайту
Частенько краулинговый бюджет не затрагивается вообще. Это нормально, когда ваш ресурс небольшой или вы регулярно проводите оптимизацию другими методами. Для анализа логов мы рекомендуем программы Screaming Frog Log Analyzer, LogViewer, Loggly.
Склейка дублей позволила сохранить число страниц в индексе, при этом не навредить репутации сайта большим количеством неуникального контента. Цепочка редиректов запутает робота и не позволит ему сразу попасть на нужную страницу. Повторимся, речь здесь именно о нескольких страницах с кодом 301, а не об одном редиректе.
Краулинговый бюджет, который мы узнаем благодаря информации из Google Search Console и Яндекс.Вебмастер, будет примерный. Это связано с тем, что указанные сервисы засчитывают обращение роботов за день к любым страницам один раз. На сканирование всем сайтам, в зависимости от их размера, выделяется разный бюджет.
Мы рекомендуем использовать Power BI из-за возможности кастомизации отчётов. Мы используем файлы cookie, чтобы вам было ещё удобнее пользоваться нашим сайтом. Сохранить моё имя, email и адрес сайта в этом браузере для последующих моих комментариев. На проекте по продвижению светового оборудования мы определили пул дублей страниц. К одним и тем же товарам пользователь мог дойти разными путями. Например, к определенному светильнику — через категорию светильников либо через категорию брендов.
С ситуацией нехватки бюджета может столкнуться как крупный, так и маленький сайт. При обходе бот тратит свои ресурсы на обход бесполезных страниц без товара. В статье мы подробно разберём, что такое краулинговый бюджет, от чего он зависит, можно ли им управлять и как это делать.
Как Узнать, Какое Количество Страниц Могут Проиндексировать Поисковые Системы?
Вообще краулинговый бюджет – параметр строго индивидуальный. Не стоит полагаться на какие-то оценочные анализы его содержимого. Тот факт, что для одного сайта он сработал определённым образом, вовсе не значит, что на вашем ресурсе всё будет происходит точно так же.
Однако получить доступ к логам можно не всегда, это определяется типом хостинга. Если это проблема – лучше сменить хостера (привет, платформы сайтов-конструкторов!). Выберите соцсеть, которую роботы хорошо сканируют и постоянно мониторят, и закиньте туда ссылочку.
Но если у вас крупный проект, то оптимизация краулингового бюджета жизненно необходима, поскольку окажет влияние на ранжирование сайта в поисковых системах. В противном случае может оказаться, что часть вашего сайта не проиндексирована и не участвует в поиске». Казалось бы, все хорошо, но пока идет сканирование и индексация сайта, на дубли расходуется краулинговый бюджет. Но для крупных сайтов наличие дублей может заметно сказаться на скорости индексации.
Частая ошибка — важные продвигаемые страницы попадают в эти 50%. Краулинг — это индексация, поэтому весь лимит быстро тратится краулинговый бюджет именно из-за ошибок индексации. Потерянные страницы — это страницы, на которые невозможно попасть через внутренние ссылки.
Именно они включают в себя информацию о том, что будет оценено поисковыми алгоритмами при очередном сканировании сайта. Краулинговый бюджет — это количество страниц, которые могут проиндексировать поисковые роботы за сутки. Поисковые системы далеко не сразу вносят в свои базы данных новые страницы сайтов. Рассмотрим, что такое «краулинговый бюджет» и почему его нужно оптимизировать. Если вы владеете небольшим сайтом или оптимизируете его, то причин для беспокойства нет.
Чтобы его создать, необходимо настраивать перелинковку между страницами. Если контент присутствует на странице, код ответа будет 200 («ОК»). Если необходима переадресация на другую страницу, код будет 301 («Перейти сюда вместо»). Эти коды считаются идеальными, так как ведут бота к полезному контенту. Это оптимизирует краулинговый бюджет и положительно повлияет на ваши позиции в выдаче.
Заголовок Last-Modified сообщает браузеру пользователя или роботу ПС информацию о дате и времени последнего изменения текущей страницы. Мы используем уникальные и разнообразные анкоры с ключевыми словами и добавляем ссылки на страницы, соответствующие тематике. По нашему опыту оптимальное число внутренних ссылок на страницу — от 7 штук. Если речь о крауд-маркетинге, ссылки необходимо размещать только на трастовых сайтах, которым доверяют поисковики. Делать это нужно как можно более естественно — без анкора.
Рекомендуемые Статьи
Если сайт в техническом отношении хорошо настроен, структурирован семантически, а объёмы его невелики, то особые ухищрения не нужны. Но небольшие улучшения краулинга пойдут на пользу в любом случае, так что потратьте немного времени на анализ и корректировки. Эти два типа ошибок напрямую относятся к проработке внутренней перелинковки и становятся причиной проблем с краулингом и индексацией. Для проверки можно использовать last-modified.com или его аналоги. Для глобальных же изменений начните с семантики и группировки запросов. Смотрите, что можно связать, объединить, переместить на уровень выше.
Чаще всего такие страницы не представляют серьезной проблемы, но нужно проанализировать характер такой страницы и по возможности внести корректировки. Представьте, что до нужной страницы краулер продирается через массу редирект-ссылок. «Запал» бота может закончится буквально за одну ссылку до требуемой, поэтому наводите порядок – каждая редирект-ссылка это явная трата бюджета. Оставляем только те редиректы, без которых действительно не обойтись.
Чем быстрее загружается сайт, тем быстрее его просканирует бот. Это повлияет на количество обработанных URL — оно увеличится. Краулинговый бюджет, как правило, изменяется прямо пропорционально времени, потраченному на одну страницу.
Если краулер будет готов уделить вашему сайта большое количество времени, то было бы досадно, чтобы это время уходило на обработку ошибок и индексацию одних и тех же страниц. То же самое касается ссылочного веса, передаваемого по внутренним ссылкам. Больше ссылок на страницу – выше её важность в глазах робота. Для оценки распределения ссылочного веса постранично рекомендую использовать браузерное расширение для Chrome LinksTamed.
В своей практике мы использовали разные методы, чтобы увеличить краулинговый бюджет и направить бота туда, куда нужно. Не ожидайте, что бюджет вырастет через неделю после внесения изменений. Такое возможно только в случае улучшения скорости загрузки сайта. Если говорить о том, чтобы закрыть ненужные страницы от сканирования — борьба с ботом может затянуться надолго. После внедрения robots и sitemap количество обращений роботов к сайту со one hundred выросло до 300.