Python:查看robots协议

Robots协议:

Robots Exclusion Standard(网络爬虫排除标准)

作用:

网站告知可以爬取的页面,不能爬取的页面

位置:

网站根目录下的robots.txt文件中

查看:

在地址栏中输入/robots.txt查看

以csdn为例:

https://www.csdn.net/robots.txt

《Python:查看robots协议》

《Python:查看robots协议》

*代表所有,/代表根目录

User-agent: * 表示:无论什么爬虫,都应该遵守这个协议。

Disallow: 表示不允许。即任何爬虫都不允许爬取/scripts等一系列路径。

//Hhh 百度的robots协议不允许Googlebot访问

《Python:查看robots协议》

 

 

 

    原文作者:张夷陵
    原文地址: https://blog.csdn.net/Liuyaoyun/article/details/115494562
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞