两种类型的机器人：用户代理和机器人
您专门用于搜索和发出指令的用户代理。为了使用这个机器人，必须添加以下命令： User-agent: *
其余的机器人是 Googlebots： Googlebot-Mobile（特定于移动设备）和 Googlebot-Image（用于图像和摄影）。
禁止命令
如果我们想限制此类机器人的文件索引，我们必须使用“Disallow”命令。例如，如果我们想从我们的网站中删除某些内容，我们将输入以下内容：
在阻止整个站点的情况下，我们将添加一 首席财务官电子邮件列表 个正斜杠，如下所示：Disallow：/
如果我们想阻止一个目录及其中的所有内容，我们将输入以下内容：禁止：
要阻止整个页面，请将其放在“Disallow”后面，如下所示：Disallow：
关于图像，删除如下：
如果您只想删除图像： 用户代理：Googlebot-Image
禁止：/images/marketing 和 ecommerce.jpg
如果您想从 Google Images 中删除所有图像，请包含以下命令：
用户代理：Googlebot-Image
禁止：/
要阻止某种类型的文件（例如 .gif），您可以包含以下命令：