Googlebot 是 Google 的网络爬虫机器人（有时也称为“蜘蛛”）。Googlebot 使用算法过程：计算机程序确定要抓取哪些网站、多久抓取一次以及从每个网站抓取多少页面。Googlebot 的抓取过程从网页 URL 列表开始，该列表由之前的抓取过程生成，并由网站管理员提供的站点地图数据进行扩充。当 Googlebot 访问这些网站中的每一个时，它会检测每个页面上的链接（SRC 和 HREF），并将它们添加到要抓取的页面列表中。新站点、对现有站点的更改和死链接会被记录下来并用于更新 Google 索引。