首页 免费技术seo教程正文

采风文学屋:robots.txt协议有什么用?

零零资源网 seo教程 2020-01-06 03:04:46 262 0

 机器人协议,也称为爬虫协议、机器人协议等。,都叫做“机器人排除协议”。机器人是我们网站和主要搜索引擎之间的协议。例如,我们不允许百度抓取我们的网站,我们不允许百度抓取我们的一个目录,我们不允许360抓取我们的网站。像这些操作一样,我们都可以写在机器人协议里。当然,这种写作方法很简单。我们将在下面详细解释写作方法。机器人写好后,制作一个txt文档。命名为:robots.txt可以直接放在我们网站的根目录下。当主要引擎爬上我们的网站时,它们必须首先访问机器人协议。如果我们允许爬行,他们会爬行我们的网站。

 

 Txt协议与搜索引擎优化

 

 机器人协议对搜索引擎优化具有重要意义。例如,我们都知道搜索引擎会抓取我们的网站。如果所有静态的高质量页面都被抓取,百度会非常信任我们的网站,从而给我们一个好的排名。但是,如果蜘蛛抓取一些系统界面,如网站背景、图片存储目录和系统核心文件目录,这不仅浪费了蜘蛛资源,而且使蜘蛛无法识别它们,从而将大量未知页面返回给搜索引擎,这将影响我们对百度的信任度,并对我们的排名有一定的障碍。

 

 同时,机器人协议也是我们节省服务器资源的一种方法。例如,淘宝封锁了所有搜索引擎。网站的页面越多,搜索引擎发送的蜘蛛就越多。引擎蜘蛛和用户一样,在访问我们的网站时也会消耗我们的服务器资源。如果我们的服务器配置不是很高,页面数千万,每天蜘蛛的数量都很大,这将导致我们的服务器瘫痪,从而阻碍用户的正常访问。因此,合理操作机器人协议对我们网站的正常运行具有十分重要的意义。

 

 机器人. txt协议有什么用?如何正确书写?

 Txt协议?

 

 下一代搜索引擎优化将为每个人解释一些常用的机器人编写规则,希望能帮助每个人:

 

 机器人的基本写作风格:

 

 用户代理:*由*表示的所有搜索引擎都应遵循以下规则,*这些规则是通配符

 不允许:/admin/此定义禁止搜索管理目录下的所有文件和目录

 不允许:/require/此定义禁止在require目录下搜索所有文件和目录

 不允许:/中航/此定义禁止搜索中航目录下的目录

 不允许:/cgi/*。htm禁止访问/cgi/目录下的所有URl(包括子目录)。"后缀。

 不允许:/*?*禁止访问所有包含问号(?(对于动态地址)

 不允许:/。jpg$禁止捕获中的所有图像。网页上的jpg格式

 不允许:/ab/adc.html禁止在ab文件夹下搜索adc.html文件。

 允许:/cgi-bin/此处定义允许在CGI-bin目录下搜索目录

 允许:/tmp在这里定义为允许爬网tmp的整个目录。

 允许:。htm$仅允许访问URL,网址为"。"后缀。

 允许:。允许捕获网页和gif格式的图片

 网站地图:网站地图告诉爬虫这个页面是一个网站地图。

 

 四种常见搜索引擎的蜘蛛识别:

 

 百度蜘蛛

 360匹德:360只蜘蛛

 搜狗蜘蛛:搜狗蜘蛛

 谷歌蜘蛛:谷歌机器人



免责声明:

本站提供的资源,都来自网络,版权争议与本站无关,所有内容及软件的文章仅限用于学习和研究目的。不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负,我们不保证内容的长久可用性,通过使用本站内容随之而来的风险与本站无关,您必须在下载后的24个小时之内,从您的电脑/手机中彻底删除上述内容。如果您喜欢该程序,请支持正版软件,购买注册,得到更好的正版服务。
侵删请致信E-mail:[email protected]

发表评论

评论列表(0人评论 , 262人围观)
☹还没有评论,来说两句吧...