导读 大家好,小物来为大家解答以上的问题。什么是robots.txt文件(robots.txt有什么用)这个很多人还不知道,现在让我们一起来看看吧！robots协议（...
大家好,小物来为大家解答以上的问题。什么是robots.txt文件(robots.txt有什么用)这个很多人还不知道,现在让我们一起来看看吧！
robots协议（也称为爬虫协议、爬虫规则、机器人协议 等）也就是robots.txt，网站通过robots协议告诉搜索 引擎哪些页面可以抓取，哪些页面不希望被抓取。
1. 有什么作用
2. 一个网站为什么要写robots.txt
3. 淘宝的robots.txt
4. 淘宝的robots.txt
5. 京东的robots.txt
6. Robots.txt放置位置
7. Robots.txt文件的写法
本文到此分享完毕，希望对大家有所帮助。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！