16
Orphan pages (изолированные страницы) — это страницы сайта, на которые не ведёт ни одна внутренняя ссылка. Из-за этого поисковые роботы не могут их найти, а пользователи — перейти на них, что приводит к потере трафика. В этой статье мы разберём, как найти orphan pages на сайте, что с ними делать и как предотвратить их появление.
Давайте представим, что ваш сайт — это большой город, а ссылки — это дороги. Если к какому-то дому не проложена дорога, туда никто не доберётся. То же самое происходит и с изолированными страницами в интернете. Не страшно, если вы пока не знаете, как их искать — мы пройдём этот путь вместе, шаг за шагом.
Что такое orphan pages и почему они появляются?
Orphan pages (или изолированные страницы) — это полноценные страницы вашего сайта, которые существуют, но не имеют входящих ссылок с других разделов вашего же ресурса. Поисковики и пользователи просто не видят к ним пути, поэтому такие страницы остаются ‘сиротами’.
Почему так происходит? Чаще всего проблема кроется в нарушенных процессах публикации. Например, контент-менеджер создал новую статью, но забыл добавить ссылку на неё с главной страницы или из соответствующей рубрики. В результате страница опубликована, но внутренняя перелинковка не настроена. Без ссылок краулинг сайта поисковыми роботами обходит этот URL стороной, и качественный контент остаётся незамеченным. Регулярный анализ структуры помогает вовремя заметить такие ‘потеряшки’.
Какие страницы чаще всего становятся orphan pages?
На практике мы видим несколько типичных сценариев, когда страницы сайта превращаются в изолированные:
- Старые акции: промо-страница была убрана из меню после завершения кампании, но сам URL не удалён.
- Тестовые страницы: разработчики создали черновик дизайна и забыли закрыть его от индексации.
- Дубликаты страниц: система управления сайтом (CMS) случайно сгенерировала копию без привязки к каталогу.
- Страницы без меню: лендинги, созданные под контекстную рекламу, на которые принципиально не ставят ссылки с основного сайта.
Как orphan pages вредят SEO вашего сайта?
Главный вред orphan pages заключается в том, что они расходуют бюджет краулинга впустую и не получают ссылочный вес, из-за чего не могут высоко ранжироваться. Потерянный вес означает, что страница не приносит трафик, хотя могла бы.
Поисковые системы, такие как Яндекс и Google, выделяют определённый лимит времени на сканирование каждого ресурса. Если на изолированные страницы ведут внешние ссылки (например, кто-то поделился старой статьей в соцсетях), робот всё равно придёт на неё. Но, не найдя внутренних ссылок, он просто уйдёт, потратив лимит. Влияют orphan pages и на общий авторитет ресурса: потерянный вес не распределяется по структуре, снижая эффективность продвижения. Индексация страниц также страдает: если робот не может найти путь к новому материалу, он не добавит его в поиск.
Чем orphan pages отличаются от непроиндексированных страниц?
Это частая путаница среди новичков. Orphan pages существуют на сервере, они отдают код ответа 200 (ОК) и могут быть проиндексированы, если на них есть хотя бы одна внешняя ссылка. А вот непроиндексированные страницы — это любые URL, которых нет в базе поисковика. Они могут иметь сотни внутренних ссылок, но быть закрытыми в файле robots.txt. То есть, не каждая изолированная страница не проиндексирована, и не каждая непроиндексированная страница является ‘сиротой’.
Самый надёжный способ найти orphan pages на сайте — использовать специальные программы-краулеры, такие как Screaming Frog или Netpeak Spider. Они сканируют сайт как поисковые роботы и выявляют URL, на которые нет внутренних ссылок.
Для глубокого анализа структуры без автоматизации не обойтись. Инструменты краулинга имитируют поведение поискового бота, переходя по всем доступным ссылкам. Если соединить эти данные с картой сайта и аналитикой, можно легко найти скрытые разделы.
Как найти orphan pages с помощью Screaming Frog: пошаговая инструкция
Многие спрашивают, как использовать эту программу на практике. Вот подробный алгоритм действий:
Метод 1: Поиск orphan pages с помощью краулера (Screaming Frog, Netpeak Spider)
Шаг 1. Откройте Screaming Frog и перейдите в меню 'Configuration' -> 'API Access'. Подключите ваши аккаунты Google Analytics и Google Search Console. Это критически важно для поиска страниц, на которые есть трафик, но нет ссылок.
Шаг 2. В разделе 'Configuration' -> 'Spider' убедитесь, что включено сканирование XML Sitemaps (вставьте ссылку на вашу карту сайта).
Шаг 3. Запустите краулинг сайта, введя адрес вашего ресурса в верхнюю строку и нажав 'Start'. Дождитесь, пока парсинг url завершится на 100%.
Шаг 4. Перейдите в верхнем меню в раздел 'Crawl Analysis' и нажмите 'Start'. Программа сопоставит найденные ссылки с данными из API и карты сайта.
Шаг 5. Откройте вкладку 'Sitemaps' или 'Analytics' и отфильтруйте результаты по столбцу 'Crawl Depth' (глубина сканирования). Страницы, у которых этот показатель равен 'Orphan URL', и есть ваши изолированные страницы.
Шаг 6. Сделайте экспорт списка URL, нажав кнопку 'Export', чтобы передать данные в работу.
Использование Netpeak Spider для поиска orphan pages
Если вы предпочитаете Netpeak Spider, процесс будет похожим. В настройках программы также нужно подключить интеграцию с аналитикой и указать путь к sitemap.xml. После сканирования в боковой панели появится специальный отчёт ‘Изолированные страницы’ (Orphan Pages), где все проблемные URL будут собраны в один клик. Это очень удобно, если вы проводите регулярный аудит.
Метод 2: Поиск orphan pages через Google Analytics и Search Console
Если у вас нет платных программ, поиск orphan pages можно провести через бесплатные сервисы аналитики, сравнив список всех посещаемых страниц со структурой сайта. Это отличный старт для тех, кто делает первые шаги в SEO.
Когда мы настраиваем продвижение сайта в Google, мы часто начинаем именно с этого шага. В одном из проектов мы нашли 50 orphan pages через Google Analytics, просто сравнив выгрузку с картой сайта. Суть метода проста: если страница получает трафик (пользователи заходят на неё из закладок или по старым внешним ссылкам), она отобразится в отчётах Google Analytics. Вам нужно выгрузить список всех URL, на которые были переходы за последний год, и сравнить его с полным списком адресов из вашей CMS или карты сайта. Те адреса, которые есть в аналитике, но отсутствуют в структуре, скорее всего, изолированы.
Для этого используйте Google Search Console. Перейдите в раздел 'Индексирование' -> 'Страницы'. Обратите внимание на статус 'Обнаружена, не проиндексирована' или 'Просканирована, не проиндексирована'. Часто именно здесь прячутся страницы, до которых поисковик добрался через sitemap, но не стал индексировать из-за отсутствия внутренних ссылок.
Метод 3: Поиск orphan pages с помощью логов сервера
Анализ логов сервера — это продвинутый метод, который показывает реальные запросы поисковых роботов к вашему сайту, помогая выявить скрытые изолированные страницы, которые не видит ни один краулер.
Проводя глубокий seo анализ сайта, специалисты всегда запрашивают логи у хостинга. Логи сервера — это текстовые файлы, в которых записывается каждое обращение к вашему ресурсу. Если поисковый бот когда-то нашел страницу и периодически возвращается на неё, это будет зафиксировано в логах. Сравнив уникальные URL из логов с результатами стандартного краулинга сайта, вы найдёте ‘призраков’, которые живут своей жизнью вне структуры.
Что делать с найденными orphan pages: пошаговый алгоритм
Когда список изолированных страниц готов, каждую из них нужно оценить: удалить, настроить редирект 301 или внедрить в структуру через внутреннюю перелинковку. Не спешите удалять всё подряд!
К каждой найденной странице нужно подходить индивидуально. Задайте себе вопрос: полезен ли этот контент для пользователя сегодня? Если это качественная статья, которая просто 'потерялась', её нужно спасать. Если это технический мусор — смело избавляйтесь.
Мнение эксперта. Многие владельцы сайтов спешат удалить или редиректить orphan pages, но иногда страница приносит трафик из внешних ссылок или соцсетей — её стоит интегрировать в структуру, а не уничтожать. Прежде чем ставить редирект 301, обязательно проверьте источники переходов.
- Добавлять ссылки: если контент актуален, полезен и отвечает на запросы аудитории. Найдите релевантные статьи на вашем сайте и поставьте с них ссылки на эту страницу.
- Настроить редирект 301: если страница устарела (например, товар снят с производства), но имеет внешние ссылки. Перенаправьте пользователя на похожий товар или категорию.
- Удалить (отдать код 404/410): если это технический дубль, пустая тестовая страница без трафика и внешних ссылок.
- Особый случай: если страница приносит трафик, но не соответствует текущим целям сайта (например, старая промо-акция). В таком случае рассмотрите возможность редиректа на релевантный раздел или создания новой страницы-моста, чтобы не терять посетителей.
Профилактика orphan pages: чек-лист для вашей команды
Чтобы изолированные страницы не появлялись снова, важно настроить процессы публикации контента и регулярно проводить аудит структуры сайта. Профилактика всегда проще и дешевле лечения.
Для контент-менеджеров и редакторов должен стать правилом простой чек-лист аудита перед публикацией. Как только новая статья выходит в свет, на неё должна вести минимум одна ссылка из релевантного раздела. Это базовая внутренняя перелинковка. Также важно проверять старые материалы: когда вы пишете новую статью, найдите 2-3 старые публикации по теме и поставьте ссылки с них на новинку.
Автоматизация поиска и мониторинга orphan pages
Внедрите регулярный аудит. Настройте автоматические скрипты мониторинга или запланируйте ежемесячный запуск краулера. Если ваш сайт работает на популярной CMS, существуют плагины, которые предупреждают администратора, если страница публикуется без привязки к меню или категории. Такая профилактика orphan pages сэкономит вам массу времени в будущем.
Часто задаваемые вопросы
Orphan pages — это страницы без внутренних ссылок, они могут быть проиндексированы, если на них ведут внешние ссылки. Непроиндексированные страницы — это любые страницы, которые поисковик не добавил в базу, независимо от наличия ссылок.
Рекомендуется проводить аудит раз в месяц для крупных сайтов и раз в квартал для небольших. После каждого массового добавления контента или редизайна проверка обязательна.
Да, если на orphan page ведёт внешняя ссылка, поисковый робот потратит время на её сканирование, но не найдёт с неё новых страниц. Это пустая трата бюджета краулинга, которая замедляет индексацию важных разделов.
Да, можно вручную выгрузить список всех URL из Google Analytics или Search Console и сравнить его с картой сайта. Но это трудоёмкий процесс, поэтому лучше использовать бесплатные версии краулеров.
Обычно это старые акции и распродажи, тестовые страницы разработчиков, дубликаты, а также контент, созданный редакторами без согласования структуры и перелинковки.
Итоги
- Orphan pages — это страницы без внутренних ссылок, которые не могут найти ни пользователи, ни поисковые роботы.
- Они вредят SEO, так как расходуют бюджет краулинга и теряют ссылочный вес.
- Для их поиска лучше всего использовать инструменты краулинга (Screaming Frog, Netpeak Spider), логи сервера и Google Analytics.
- Найденные страницы нужно либо интегрировать в структуру (добавить ссылки), либо удалить, либо настроить редирект 301.
- Регулярный аудит и чек-листы для редакторов — лучшая профилактика проблемы.
Заключение
Orphan pages — это скрытая угроза, которая незаметно съедает потенциал вашего ресурса. Но теперь вы знаете, как с ней бороться и как настроить процессы, чтобы она не возвращалась.
Не откладывайте проверку в долгий ящик. Регулярный seo аудит сайта поможет держать структуру в порядке, сохранять ссылочный вес и обеспечивать стабильный рост трафика. Помните, что каждая страница вашего сайта должна приносить пользу, а для этого к ней должна вести хотя бы одна ‘дорога’.