一般来说，尽量让搜索引擎抓取和索引更多内容是SEO们经常头疼的一个问题，没有收录、索引就无从谈排名。尤其对达到一定规模的网站来说，使网站充分收录是个颇令人费神的SEO技术，当页面达到比如说几十万，无论网站架构怎么设计、多么优化，100%收录都是不可能的S只能尽量提高收录率。
但有时候怎么阻止搜索引擎收录也可能成为一个问题，最近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google网管博客一篇文章，这些方法都不保险。
使用Flash
Google几年前就开始尝试抓取Flash内容了，简单文字性内容已经能抓取。Flash里/的链接也能被跟踪。
表格
Google蜘蛛也能填表，也能抓取POST请求页面。这个早就能从日志中看到。
JS/Ajax
使用JS链接一直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我就看到JS链接不能阻止Google蜘蛛抓取，不仅JS中出现的URL会被爬，简单的JS还能被执行找到更多URL。
前几天有人发现很多网站使用的Facebook评论插件里的评论被爬、被收录，插件本身是个AJAX。这是个好消息。我的一个实验电子商务网站产品评论功能就因为这个费了不少心思，用Facebook comments插件好处大大的，具体什么好处以后有时间再说，唯一的问题就是评/是AJAX实现的，不能被抓取，而产品评论被收录是目的之一（产生原创内容）。我当时想了半天也没有解决方法，只好先傻傻地既放上Facebook comments插件又打开购物车本身的评论功能。现在好了，Facebook comments里的评论能被收录，就不用两套评论功能了。
但有时候怎么阻止搜索引擎收录也可能成为一个问题，最近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google网管博客一篇文章，这些方法都不保险。
使用Flash
Google几年前就开始尝试抓取Flash内容了，简单文字性内容已经能抓取。Flash里/的链接也能被跟踪。
表格
Google蜘蛛也能填表，也能抓取POST请求页面。这个早就能从日志中看到。
JS/Ajax
使用JS链接一直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我就看到JS链接不能阻止Google蜘蛛抓取，不仅JS中出现的URL会被爬，简单的JS还能被执行找到更多URL。
前几天有人发现很多网站使用的Facebook评论插件里的评论被爬、被收录，插件本身是个AJAX。这是个好消息。我的一个实验电子商务网站产品评论功能就因为这个费了不少心思，用Facebook comments插件好处大大的，具体什么好处以后有时间再说，唯一的问题就是评/是AJAX实现的，不能被抓取，而产品评论被收录是目的之一（产生原创内容）。我当时想了半天也没有解决方法，只好先傻傻地既放上Facebook comments插件又打开购物车本身的评论功能。现在好了，Facebook comments里的评论能被收录，就不用两套评论功能了。
免责声明：
本站提供的资源，都来自网络，版权争议与本站无关，所有内容及软件的文章仅限用于学习和研究目的。不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负，我们不保证内容的长久可用性，通过使用本站内容随之而来的风险与本站无关，您必须在下载后的24个小时之内，从您的电脑/手机中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，购买注册，得到更好的正版服务。
侵删请致信E-mail：[email protected]
- 上一篇： seo优化做起来不是哪么简单，其实需要的是思维
- 下一篇： 网站降权解决办法
发表评论