проверить код ответа сервера массово

Содержание

Как работает инструмент проверки кода ответа сервера и как им пользоваться?

Массовая проверка кода ответа сервера

Как пользоваться инструментом?

Вебмастерам и SEO-специалистам часто требуется определить код ответа той или иной страницы сайта, а зачастую и целого списка страниц, чтобы решить задачи:

Отслеживания работоспособности продвигаемых SEO-специалистами страниц.
В том случае если продвигаемая страница отдаёт неверный код ответа сервера (отличный от 200 ОК), это может приводить к исключению страницы из индекса поисковой системы.

Отслеживания работоспособности страниц, на которые ведут объявления рекламной кампании.
Возможны ситуации, когда с сайта удаляются товары, на которые ведут объявления рекламной компании. С помощью сервиса можно своевременно обнаружить ошибки, получив коды ответа сервера для целого списка страниц (максимум за одну итерацию — 100 ссылок).

1474362039image 1

В данном случае страница № 4 отдаёт код 404, что говорит о её недоступности к индексации.

Выявления редиректов в структуре сайта для исключения излишних перенаправлений.

1474362043image 2

Если в исходном коде имеются ссылки на указанные URL-адреса, то рекомендуется заменить их на конечные URL-адреса (столбец «URL-переадресации»).

Зачем столбец с размерами документов?

Избыточный вес может негативно влиять на ранжирование документа.
Максимальное рекомендованное значение: 120 Кб. В случае превышения данного лимита стоит оптимизировать контент, (выносить в отдельный файлы JS и CSS-фрагменты).

По весу страницы можно сделать определённые выводы о типе документа, расположенному по введенному URL-адресу, а также находить потенциальные дубли.
Рассмотрим ряд документов интернет-магазина измерительной техники:

1474362046image 3

Среди страниц одна явно больше прочих по размеру. Если вручную проверить, можно убедиться, что одна большего размера является каталогом в то время, как прочие документы — карточки товаров.

Кроме того, если подобные «взвешивания» производить с определённой регулярностью, в случае удаления карточек товаров со страницы категории, последняя потеряет в весе, что проинформирует об опустошении посадочной страницы, а следовательно о необходимости её дополнительного анализа.

Возможность скачать результат в CSV

Чтобы скачать результат массовой проверки в формате CSV, необходимо перед запуском проверки поставить галочку «Скачать результаты в виде CSV-файла».

1474363637image 5

Какие коды ответа сервера существуют?

Существует свыше 50 различных кодов ответа, но повседневно SEO-специалистам, вебмастерам и директологам приходится сталкиваться со следующими:

Источник

Проверка ответа сервера (HTTP коды, сервисы)

serv0Сегодня поговорим о том как узнать код ответа сервера для сайта. В посте немного расскажу о самом термине, а также рассмотрю сервисы/софт, которые можно использовать для его проверки. Информация полезна для более эффективной работы с поисковыми системами, а также пригодится в одной из последующих публикаций.

Код ответа сервера (код статуса HTTP) отдается при запросе любого URL’а вашего сайта. Он представляет собой трехзначное число, обозначающее статус страницы. Каждый вебмастер, наверное, слышал о 404 ошибке или 301 редиректе — в этих понятиях как раз и используется данный термин.

Популярные коды статусов HTTP

Найти все возможные коды состояния HTTP для сервера вы можете в Википедии на этой странице. Я же рассмотрю лишь основные из них, с которыми наиболее часто сталкиваются вебмастера:

Данные коды состояния HTTP попадаются вебмастерам наиболее часто, остальные, как я уже сказал выше, смотрите в Wikipedia.

Методы проверки ответа сервера

Чтобы проверить код ответа сервера есть разные варианты, все зависит от ситуации — нужно ли вам определить статус страницы своего/чужого сайта, предпочитаете использовать онлайн сервисы или десктопные приложения, это будет массовая проверка кодов ответа сервера или одна страница и т.п. Рассмотрим поочередно все возможности.

Код ответа сервера в Яндекс.Вебмастере

Когда требуется проверить HTTP статус конкретной страницы своего сайта, можно воспользоваться Яндекс.Вебмастером. Переходите в соответствующий раздел панели либо по этой ссылке.

serv1

В строке ввода указываете URL, а справа выбираете тип поискового робота для захода на страницу. Через некоторое время отобразится разная служебная информация по запросу. К сожалению, проверить код ответа сервера в Яндекс можно только на своих подтвержденных проектах и только внутри панели вебмастеров. Регистрация и добавления сайта, понятно дело, занимает определенное время, поэтому, метод не самый быстрый и простой.

Сервисы проверки ответа сервера

Разных веб-проектов, позволяющих проверить ответ сервера достаточно много. Из наших больше всего внушает доверие следующие три варианта:

serv2

Среди множества SEO инструментов портала PR-CY нашлась нужная нам функция проверки заголовков сервера. Кроме самого статуса выводится некоторая дополнительная информация.

serv4

Онлайн сервис специально создан для определения кода ответа сервера. Поддерживается gzip сжатие, кириллические домены, имеется выбор User Agent’а, а также мобильная версия. Выглядит симпатично.

serv3

Если по каким-то причинам предыдущие варианты не сработали, попробуйте данный проект с инструментами вебмастера. Недостатком сайта можно назвать очень большое количество рекламы, хотя на работу это не влияет.

serv5

Англоязычных сервисов, где можно проверить ответ сервера еще больше. Один из первых в выдаче — httpstatus.io. Тут все предельно просто: вводите адрес страницы, выбираете (если нужно) дополнительные параметры запроса и кликаете Submit.

Читайте также:  педагогический институт в чите

serv6

Очень часто функцию проверки HTTP кода состояния страниц можно встретить на тематических SEOшных порталах или даже блогах. Инструменты от Seobook — отличный тому пример. Особенностью сервиса есть возможность исследования сразу нескольких страниц.

Netpeak Spider — программа проверки ответа сервера

Когда-то я уже рассказывал о полезном софте от Netpeak. Для решения текущей задачи нам пригодится их программа Netpeak Spider, которая позволяет анализировать внутренние страницы проекта. Помимо поиска битых линков, дубрей, выгрузки МЕТА тегов и работы со ссылками, с ее помощью можно узнать разные параметры страниц сайта (в том числе и код ответа сервера).

serv7

В отличии от большинства предыдущих онлайн сервисов программа позволяет оценить сразу множество страниц. Удобно для анализа своего сайта, однако не уверен, что она сможет «обработать» набор разных URL’ов из заданного списка. Скачавайте ее тут. Распространяется бесплатно.

HEADMasterSEO

Недавно на почту написал автор еще одной подходящей программы — HEADMasterSEO. Она хоть является платным продуктом, но имеет возможност проверки до 500 ссылок просто так. Этого, как правило, должно хватить для задач рядового вебмастера.

httpcod

Софт позволяет получить статусы ответов сервера для большого списка линков, а также считывает ряд других параметров: редиректы, время отклика, ссылки в head, X-Robots-Tag и т.п. Результаты можно сортировать, фильтровать и экспортировать в CSV. Работает программа под Windows и Mac OS X. Честно, не совсем понимаю, что значит ограничее 500 урлов «за одну операцию» — если допускается повторный запуск программы с новыми ссылками, то это безусловно удобнее чем юзать Tor для онлайн чекеров или запускать по 50 линков.

Массовая проверка ответа сервера

Напоследок предлагаю рассмотреть парочку сервисов, которые позволят осуществлять проверку кода ответа сервера для нескольких линков. Я, например, использовал их для поиска неработающих сайтов по купленным в биржах ссылкам (об этом расскажу в следующей статье).

Из наших нашел всего парочку более-менее нормальных сервисов, лучший из них — чекер от Dimax.biz.

serv8

Он предоставляет наиболее точные результаты по кодам ответа сервера. К сожалению, есть ограничение на число проверок — в сутки с одного IP-адреса можно сделать 2 запроса по 50 линков каждый. Для бОльших объемов придется купить PRO-аккаунт.

cheknew

Удобно, что данный проект кроме английского имеет локализацию интерфейса на русском и нескольких других языках. Над формой проверки найдете небольшое пояснение по кодам состояния HTTP и работе самого сайта. Ограничений не заметил, для удобства статус подсвечивается цветом: зеленый — все ок, черный или красный — проблемный URL.

serv9

В отличии от рунета забугорные сервисы в основной массе отлично справляются со своей задачей. Хотя в результатах могут быть неточности. В данном случае разработчики также просят не использовать более 50-ти ссылок за раз, но по числу проверок лимитов нет. Плюсом можно назвать экспорт в Excel.

serv10

По функциональности все англоязычные сервисы также простые и, в принципе, одинаковые. Есть поле для ввода проверяемых ссылок и (в некоторых случаях) выбор User-Agent. В буржуйских проектах мне нравится, что все результаты представлены в виде таблиц для более легкого восприятия. Хотя у Dimax.biz ссылки сразу сортируются в зависимости от кода ответа сервера, что также удобно. Плюсом Urlitor можно назвать наличие активных ссылок в результатах — вы сможете быстро перейти по тем или иным линкам.

serv11

Если я правильно понял, то основная задача данного сервиса — определение редиректов в зависимости от используемого User-Agent (браузера). Хотя при этом он показывает и коды HTTP статусов. Минимум дизайна, результаты отображаются достаточно быстро.

Итого. Использование тех или иных инструментов проверки ответа сервера зависит от вашей задачи. Проанализировать конкретные линки со своего сайта поможет Яндекс.Вебмастер, узнать информацию по всем страницам позволяет Netpeak Spider. Онлайн сервисы решают задачу, если нужно проверить HTTP состояние одной или множества страниц не ваших проектов.

Рассмотренные в статье решения были актуальны на момент написания публикации. Если вдруг какое-то из них перестало работать или вы знаете более эффективные инструменты, напишите об этом в комментариях.

Источник

Проверка ответа сервера

Статус ответа от сервера

«Успешно». Запрос успешно обработан.

«Создано». Запрос успешно выполнен и в результате был создан ресурс. Этот код обычно присылается в ответ на запрос PUT «ПОМЕСТИТЬ».

«Принято». Запрос принят, но ещё не обработан. Не поддерживаемо, т.е., нет способа с помощью HTTP отправить асинхронный ответ позже, который будет показывать итог обработки запроса. Это предназначено для случаев, когда запрос обрабатывается другим процессом или сервером, либо для пакетной обработки.

«Информация не авторитетна». Этот код ответа означает, что информация, которая возвращена, была предоставлена не от исходного сервера, а из какого-нибудь другого источника. Во всех остальных ситуациях более предпочтителен код ответа 200 OK.

«Нет содержимого». Нет содержимого для ответа на запрос, но заголовки ответа, которые могут быть полезны, присылаются. Клиент может использовать их для обновления кешированных заголовков полученных ранее для этого ресурса.

«Сбросить содержимое». Этот код присылается, когда запрос обработан, чтобы сообщить клиенту, что необходимо сбросить отображение документа, который прислал этот запрос.

«Частичное содержимое». Этот код ответа используется, когда клиент присылает заголовок диапазона, чтобы выполнить загрузку отдельно, в несколько потоков.

«Множественный выбор». Этот код ответа присылается, когда запрос имеет более чем один из возможных ответов. И User-agent или пользователь должен выбрать один из ответов. Не существует стандартизированного способа выбора одного из полученных ответов.

«Перемещён на постоянной основе». Этот код ответа значит, что URI запрашиваемого ресурса был изменен. Возможно, новый URI будет предоставлен в ответе.

«Найдено». Этот код ответа значит, что запрошенный ресурс временно изменен. Новые изменения в URI могут быть доступны в будущем. Таким образом, этот URI, должен быть использован клиентом в будущих запросах.

«Просмотр других ресурсов». Этот код ответа присылается, чтобы направлять клиента для получения запрашиваемого ресурса в другой URI с запросом GET.

«Не модифицировано». Используется для кэширования. Это код ответа значит, что запрошенный ресурс не был изменен. Таким образом, клиент может продолжать использовать кэшированную версию ответа.

Читайте также:  нива сине зеленая код краски

«Использовать прокси». Это означает, что запрошенный ресурс должен быть доступен через прокси. Этот код ответа в основном не поддерживается из соображений безопасности.

«Перенаправление на постоянной основе». Это означает, что ресурс теперь постоянно находится в другом URI, указанном в заголовке Location: HTTP Response. Данный код ответа имеет ту же семантику, что и код ответа 301 Moved Permanently, за исключением того, что агент пользователя не должен изменять используемый метод HTTP: если POST использовался в первом запросе, POST должен использоваться и во втором запросе.

«Плохой запрос». Этот ответ означает, что сервер не понимает запрос из-за неверного синтаксиса.

«Неавторизовано». Для получения запрашиваемого ответа нужна аутентификация. Статус похож на статус 403, но,в этом случае, аутентификация возможна.

«Необходима оплата». Этот код ответа зарезервирован для будущего использования. Первоначальная цель для создания этого когда была в использовании его для цифровых платежных систем(на данный момент не используется).

«Запрещено». У клиента нет прав доступа к содержимому, поэтому сервер отказывается дать надлежащий ответ.

«Не найден». Сервер не может найти запрашиваемый ресурс. Код этого ответа, наверно, самый известный из-за частоты его появления в вебе.

Method Not Allowed

«Метод не разрешен». Сервер знает о запрашиваемом методе, но он был деактивирован и не может быть использован. Два обязательных метода, GET и HEAD, никогда не должны быть деактивированы и не должны возвращать этот код ошибки.

Этот ответ отсылается, когда веб сервер после выполнения server-driven content negotiation, не нашел контента, отвечающего критериям, полученным из user agent.

Proxy Authentication Required

Этот код ответа аналогичен коду 401, только аутентификация требуется для прокси сервера.

Ответ с таким кодом может прийти, даже без предшествующего запроса. Он означает, что сервер хотел бы отключить это неиспользуемое соеднинение. Этот метод используется все чаще с тех пор, как некоторые браузеры, вроде Chrome и IE9, стали использовать HTTP механизмы предварительного соединения для ускорения серфинга (смотрите баг 634278, будущей реализации этого механизма в Firefox). Также учитывайте, что некоторые серверы прерывают соединения не отправляя подобных сообщений.

Этот ответ отсылается, когда запрос конфликтует с текущим состоянием сервера.

Этот ответ отсылается, когда запрашиваемый контент удален с сервера.

Запрос отклонен, потому что сервер требует указание заголовка Content-Length, но он не указан.

Клиент указал в своих заголовках условия, которые сервер не может выполнить

Request Entity Too Large

Размер запроса превышает лимит, объявленный сервером. Сервер может закрыть соединение, вернув заголовок Retry-After

Request-URI Too Long

URI запрашиваемый клиентом слишком длинный для того, чтобы сервер смог его обработать

Unsupported Media Type

Медиа формат запрашиваемых данных не поддерживается сервером, поэтому запрос отклонен

Requested Range Not Satisfiable

Диапозон указанный заголовком запроса Range не может быть выполнен; возможно, он выходит за пределы переданного URI

Этот код ответа означает, что ожидание, полученное из заголовка запроса Expect, не может быть выполнено сервером.

Internal Server Error

«Внутренняя ошибка сервера». Сервер столкнулся с ситуацией, которую он не знает как обработать.

«Плохой шлюз». Эта ошибка означает что сервер, во время работы в качестве шлюза для получения ответа, нужного для обработки запроса, получил недействительный (недопустимый) ответ.

«Сервис недоступен». Сервер не готов обрабатывать запрос. Зачастую причинами являются отключение сервера или то, что он перегружен. Обратите внимание, что вместе с этим ответом удобная для пользователей(user-friendly) страница должна отправлять объяснение проблемы. Этот ответ должен использоваться для временных условий и Retry-After: HTTP-заголовок должен, если возможно, содержать предполагаемое время до восстановления сервиса. Веб-мастер также должен позаботиться о заголовках, связанных с кэшем, которые отправляются вместе с этим ответом, так как эти ответы, связанные с временными условиями, обычно не должны кэшироваться.

Этот ответ об ошибке предоставляется, когда сервер действует как шлюз и не может получить ответ вовремя.

HTTP Version Not Supported

«HTTP-версия не поддерживается». HTTP-версия, используемая в запроcе, не поддерживается сервером.

Источник

Как легко проверить код ответа сервера? Понятно о HTTP status code

f6e1c640 5f12cf30

Читайте этот пост на английском языке

Поделиться этим постом

Все мы боимся слышать, что у нас на сайте есть битые ссылки, но как их быстро найти и убрать? Какой именно редирект поставить, если теперь у тебя все URL начинаются с www? Как собрать все четырёхсотые и пятисотые? Предлагаю обо всём поговорить по порядку.

Самая простая задача — проверка кода ответа сервера. Следующий шаг — запомнить классы ответов сервера, а после этого — каждый код ответа. Всего есть 5 классов и несколько десятков кодов, из которых только несколько действительно стоит знать и помнить без помощи Google.

1. Кратко о том, что такое код ответа сервера

Каждый раз, когда ты кликаешь по ссылке или вводишь URL в адресную строку, ты отправляешь запрос к серверу. Он обрабатывает его и формирует ответ, в котором начальная часть показывает код состояния сервера.

Код ответа сервера (или код состояния HTTP) — это первые три цифры и фраза на английском языке, которые дают понять пользователю (браузеру), краулеру и поисковому роботу, как сайт отреагировал на запрос к определённой странице или документу. Например, код ответа страницы 200 OK говорит сам за себя: «Всё ОК, ты обратился по нужному адресу».

Все коды ответов разделены на 5 классов, и отличает их первая цифра:

2. Как проверить код ответа страницы?

Проверки кода ответа сервера есть множество способов: панель инструментов разработчика в браузере ( F12 + вкладка «Network»), плагины в браузере, специальные онлайн-службы, различные SEO-сервисы. Но я всё таки работаю в Netpeak Software, так что покажу, как это сделать с помощью нашего инструмента Netpeak Spider.

Зарегистрировались, скачали Netpeak Launcher, установили Netpeak Spider, запустили его. Дальше есть выбор в зависимости от твоих задач:

2.1. Проверка кода ответа сервера на всех страницах сайта

В основном интерфейсе программы введи URL твоего сайта и нажми кнопку «Старт». После завершения сканирования ты увидишь все коды ответа в соответствующей колонке таблицы.

Читайте также:  проверить российское авто по вин коду

Страницы, которые ответили 4хх и 5хх кодами ответа, будут собраны в отдельный отчёт по этим ошибкам. Когда ты нажмёшь на ошибку на боковой панели, программа соберёт отчёт исключительно по таким страницам.

Дальше ты можешь посмотреть все страницы на твоём сайте, которые ведут на такие 4хх и 5хх страницы. Замени эти ссылки на рабочие страницы, и ты избавишься от страшного сна — битых ссылок на твоём сайте. Вызови для этого контекстное меню правой кнопкой мыши и кликни по разделу «Входящие ссылки». Дополнительно там можно:

netpeak spider

Быстро проверять коды ответа сервера страниц сайта вы можете даже в бесплатной версии Netpeak Spider без ограничений по времени. Также во Freemium-версии доступны и другие базовые функции программы.

Чтобы начать пользоваться бесплатным Netpeak Spider, просто зарегистрируйтесь, скачайте и установите программу — и вперёд! 😉

P.S. Сразу после регистрации у вас также будет возможность потестировать весь платный функционал, а затем сравнить все наши тарифы и выбрать для себя подходящий.

2.2. Массовая проверка кодов ответа сервера по списку страниц

Если перед тобой стоит задача массово проверить список страниц различных сайтов, рекламных кампаний или просто отдельных страниц, можешь добавить эти страницы в программу:

Нажми после этого «Старт», и программа начнёт сканирование этого списка URL.

Кстати, вот ещё одно удобство! Если нужно получить только коды ответов HTTP, выключи все остальные параметры на боковой панели. А если нужен более информативный отчёт с определённым набором параметров — выбери нужные и запускай сканирование.

3. От сервера пришёл ответ с кодом ххх — что это значит?

Давай разберём отдельно самые популярные HTTP коды ответа, чтобы понять их назначение.

200 ОК

Ответ, который говорит об успешно обработанном запросе: сервер дал ответ → страница найдена → информация передана клиенту.

301 Moved Permanently

Запрашиваемый документ перемещён на другой URL-адрес навсегда.

Это код ответа сервера, который вызывает больше всего вопросов у начинающих. На самом деле ответ прост: все страницы, с которых пользователей нужно навсегда переправить на другую страницу (дубли, удалённые страницы, зеркала и всякие штучки, о которых ты не расскажешь на исповеди Google), должны отвечать этим кодом.

После краулинга таких страниц поисковые системы рано или поздно «склеят» их с целевой страницей редиректа и передадут ссылочный вес. Ну и, конечно, старайся убирать внутри сайта все ссылки на страницы, которые отдают 301 код ответа, и проставь сразу целевую страницу редиректа.

302 Found

Уведомляет клиента, что страница найдена и временно расположена по другому адресу. Поисковые системы обычно не удаляют её из индекса. Ранее этот код ответа использовался во время доработок на сайте или случаев, когда товара временно нет в наличии, но страница приносит трафик, поэтому есть смысл перенаправить пользователей на страницу каталога или похожего товара. Но с появлением HTTP 1.1 на замену ему пришли 303 и 307 коды ответа.

303 See Other

Лучше всего использовать этот код ответа, когда хочешь временно направить пользователя на немного другую страницу, которая сможет ему помочь, но не удовлетворит на 100% его поисковый запрос. Доступен запрос только методом GET, что даёт вам доступ только запрашивать информацию, но не обновлять или добавлять данные ресурса.

304 Not Modified

Интересный код ответа, так как на первый взгляд является перенаправлением, но в реальности настраивается специально для ботов и даёт эффект даже лучше, чем 200 OK.

Все мы слышали про краулинговый бюджет. Так вот 304 код ответа является отличным способом помочь ботам поисковых систем не тратить время на страницы, которые не изменились с их последнего визита, а сосредоточиться на сканировании новых. Реализовывается это в связке с HTTP-заголовком If-Modified-Since.

Хочу заметить, что актуальность такого кода ответа для маленьких сайтов маленькая, но если ты будешь работать с большими сайтами, то это очень полезная фича 😉

307 Temporary Redirect

Советую использовать этот код в случае, если нужно временно перенаправить пользователя и одновременно оставить возможность отправлять запрос методом POST, так как это особенность 307 кода, которая позволяет передевать информацию на сервер. Это основное отличие между 303 и 307 редиректами.

Перейдём к кодам, которые отвечают за ошибки на стороне клиента.

401 Unauthorized

Код, который говорит о том, что пользователь ещё не прошёл аутентификацию, или данные неверны.

403 Forbidden

Доступ запрещён. Сервер получил запрос, но отказывается его выполнить из-за ограничений доступа (например, когда пользователь хочет посмотреть системные файлы или другие документы, к которым у него нет доступа).

404 Not Found

410 Gone

При запросе к намеренно удалённой странице лучше возвращать 410 код, когда ты уверен, что точно не сделаешь похожую. В этом случае поисковый робот не вернётся к странице и отметит её как удаленную, после чего со временем она пропадёт из индекса.

429 Too Many Requests

Код ответа, который мы часто видим в нашем краулере. Сервер возвращает такой код, когда определяет слишком большую активность от одного пользователя за определённый промежуток времени. Если тебе нужно продолжить сканирование такого сайта, уменьши количество потоков в настройках краулера.

Уважай сервер, он почти как Google — у него очень много спрашивают, а он один.

Ну и завершим всё ошибками на стороне сервера, которые чаще всего встречаются.

500 Internal Server Error

Ошибка говорит о том, что сервер не может обработать запрос. Это любая непредвиденная для сервера ситуация, причину которой он не способен определить (она не соответствует ни одной другой пятисотой ошибке).

503 Service Unavailable

Сервер недоступен, и обработка запросов временно не осуществляется по техническим причинам. Чаще всего ты видишь такой ответ, когда сервер обслуживается или перегружен.

Ещё одно корокое и полезное видео о том, как проверить код ответа страниц на сайте:

Подводим итоги

Напоследок давай пробежимся по всему, что уже сказано:

Источник

Поделиться с друзьями
admin
Здоровый образ жизни: советы и рекомендации
Adblock
detector