网络爬虫如何工作？

爬虫机器人从种子或已知URL列表开始。首先在这些URL上抓取网页。当抓取这些网页时，会找到指向其他URL的超链接，并将这些超链接添加到接下来要抓取的页面列表中。本文将重点介绍网络爬虫工作的主要步骤。

网络爬虫执行的主要步骤：

1、从一组候选人中选择一个URL；

2、下载其他相关和关联的网页；

3、提取关联网页中的URL；

4、将这些新URL添加到相关候选。

简而言之，网络爬虫通过访问它之前访问过的网站列表来开始其工作。在访问过程中，它还会寻找其他值得访问的相关网站。通过不断访问，网络爬虫可以发现新页面或URL，更新对现有页面的更改，以及标记那些死链接。当网络爬虫访问某个页面时，它会遍历页面的所有内容，然后将其传送到其数据库。