采风文学屋：robots.txt协议有什么用？

 机器人协议，也称为爬虫协议、机器人协议等。，都叫做“机器人排除协议”。机器人是我们网站和主要搜索引擎之间的协议。例如，我们不允许百度抓取我们的网站，我们不允许百度抓取我们的一个目录，我们不允许360抓取我们的网站。像这些操作一样，我们都可以写在机器人协议里。当然，这种写作方法很简单。我们将在下面详细解释写作方法。机器人写好后，制作一个txt文档。命名为:robots.txt可以直接放在我们网站的根目录下。当主要引擎爬上我们的网站时，它们必须首先访问机器人协议。如果我们允许爬行，他们会爬行我们的网站。

 Txt协议与搜索引擎优化

 机器人协议对搜索引擎优化具有重要意义。例如，我们都知道搜索引擎会抓取我们的网站。如果所有静态的高质量页面都被抓取，百度会非常信任我们的网站，从而给我们一个好的排名。但是，如果蜘蛛抓取一些系统界面，如网站背景、图片存储目录和系统核心文件目录，这不仅浪费了蜘蛛资源，而且使蜘蛛无法识别它们，从而将大量未知页面返回给搜索引擎，这将影响我们对百度的信任度，并对我们的排名有一定的障碍。

 同时，机器人协议也是我们节省服务器资源的一种方法。例如，淘宝封锁了所有搜索引擎。网站的页面越多，搜索引擎发送的蜘蛛就越多。引擎蜘蛛和用户一样，在访问我们的网站时也会消耗我们的服务器资源。如果我们的服务器配置不是很高，页面数千万，每天蜘蛛的数量都很大，这将导致我们的服务器瘫痪，从而阻碍用户的正常访问。因此，合理操作机器人协议对我们网站的正常运行具有十分重要的意义。

 机器人. txt协议有什么用？如何正确书写？

 Txt协议？

 下一代搜索引擎优化将为每个人解释一些常用的机器人编写规则，希望能帮助每个人:

 机器人的基本写作风格:

 用户代理:*由*表示的所有搜索引擎都应遵循以下规则，*这些规则是通配符

 不允许:/admin/此定义禁止搜索管理目录下的所有文件和目录

 不允许:/require/此定义禁止在require目录下搜索所有文件和目录

 不允许:/中航/此定义禁止搜索中航目录下的目录

 不允许:/cgi/*。htm禁止访问/cgi/目录下的所有URl(包括子目录)。"后缀。

 不允许:/*？*禁止访问所有包含问号(？(对于动态地址)

 不允许:/。jpg$禁止捕获中的所有图像。网页上的jpg格式

 不允许:/ab/adc.html禁止在ab文件夹下搜索adc.html文件。

 允许:/cgi-bin/此处定义允许在CGI-bin目录下搜索目录

 允许:/tmp在这里定义为允许爬网tmp的整个目录。

 允许:。htm$仅允许访问URL，网址为"。"后缀。

 允许:。允许捕获网页和gif格式的图片

 网站地图:网站地图告诉爬虫这个页面是一个网站地图。

 四种常见搜索引擎的蜘蛛识别:

 百度蜘蛛

 360匹德:360只蜘蛛

 搜狗蜘蛛:搜狗蜘蛛

 谷歌蜘蛛:谷歌机器人