什么是网络爬虫？

网络爬虫实际上是指从包含有价值信息的来源或网站中提取信息的过程，并将所有这些信息以你希望查看的格式（例如CSV文件等）保存在你的系统中。网络爬虫大致流程：选择要抓取的网站、来源——选择需要抓取的数据——运行网页抓取代码——将其全部保存在您的系统中。

简单地说，网络爬虫是一个索引网页的互联网机器人。搜索引擎通常使用网络爬虫进行网络索引，也称为网络爬取。网络爬虫是用于定义网络爬取的另一个术语，但两者本质上是相同的。

将网络爬虫想象成一个机器，相当于一个人对图书馆书籍进行分类并根据它们的内容和类别对其进行分类。作为一台机器，网络爬虫可以比人类更快地执行此编目任务，因此更适合在庞大的万维网中爬行。

网络爬虫也可用于验证超链接。通过验证超链接，爬虫可以确定哪些链接是导致破坏网页的死链接，从有效链接中对损坏的链接进行排序。类似地，他们还可以验证HTML并对错误的标签进行排序。

通过访问网页对它们进行编目，网络爬虫从本质上使未来的信息检索过程更快，他们通过称为网络索引的过程来做到这一点。