Refer
Http请求头中的常见字段,其含义为来源网站的信息,主要发生在点击连接,发送表单,加载静态信息的时候,告诉服务器用户访问该资源之前的位置。可以做用户追踪。
一般用做图片外链,爬虫检测,资源外链,分析用户行为等场景中。
如果不想添加默认的Ref属性,则可以通过rel="noreferrer"
,来禁止浏览器发送。也可以通过跳转到后台在重定向实现。
在爬虫的使用过程中,有时候也是需要注意该字段的信息,因为有的网站的详情页是必须通过列表页才能跳转过去的,上一个列表页只有通过其他的列表页才能跳转过去,所以此时爬虫的请求头中需要模拟出该信息。
设置Referrer Policy
1 | (1)no-referrer |
使用方法
(1)HTTP 头信息
服务器发送网页的时候,通过 HTTP 头信息的Referrer-Policy告诉浏览器。
1 | Referrer-Policy: origin |
(2)<meta>
标签
也可以使用<meta>
标签,在网页头部设置。
1 | <meta name="referrer" content="origin"> |
(3)referrerpolicy属性
<a>
、<area>
、<img>
、<iframe>
和<link>
标签,可以设置referrerpolicy
属性。
1 | <a href="..." referrerpolicy="origin" target="_blank">xxx</a> |