导读 关于爬虫是什么技术，爬虫是什么这个问题很多朋友还不知道，今天小六来为大家解答以上的问题，现在让我们一起来看看吧！1、百度是搜索引擎
关于爬虫是什么技术，爬虫是什么这个问题很多朋友还不知道，今天小六来为大家解答以上的问题，现在让我们一起来看看吧！
1、百度是搜索引擎，爬虫就是沿着网站的链接不断搜索，并下载到本地的机器人程序。
2、 搜索引擎在一定程度上会给网站造成负担。
3、 所以现在有很多网站都有反爬虫设置，把自己想要被搜索出的东西直接提供给爬虫，而不让爬虫去抢占带宽。
本文分享完毕，希望对大家有所帮助。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！