Инспектор HTTP-заголовков

Что можно узнать из заголовков ответа

Заголовки HTTP-ответа рассказывают о сайте больше, чем его HTML: веб-сервер и CDN (Server, CF-Ray, X-Powered-By), политика кэширования (Cache-Control, ETag), редиректы (Location), выдаваемые cookie (Set-Cookie) и защита от атак — Strict-Transport-Security, Content-Security-Policy, X-Frame-Options, X-Content-Type-Options, Referrer-Policy, Permissions-Policy.

Для чего это парсерам

По заголовкам видно, стоит ли перед сайтом Cloudflare, Akamai или DataDome, выдаёт ли он Retry-After и X-RateLimit-*, как реагирует на запросы без cookie. Это подсказывает, какой тип прокси нужен: для сайтов за антибот-защитой почти всегда требуются резидентные или мобильные прокси, а не серверные.

FAQ

Запрос идёт с моего IP? Нет, с нашего сервера — сайт не увидит ваш адрес.

Почему заголовки отличаются от браузера? Многие сайты отдают разный ответ в зависимости от User-Agent, cookie и страны запроса.