robots协议
robots.txt是用于通知爬虫的,内容包含了不希望被爬的信息
如:
1.不要访问某个文件、文件夹
2.禁止某些爬虫的访问
3.限制爬虫访问网站的频率
如何查看robots.txt
网址/robots.txt
2023-05-30