今天是主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面，但是你会发现，有些页面还是会显示在搜索结果中，这时，你就会有疑问，是不是自己在robot. ...
|
今天是主讲巧用Noindex。在上节课我们就了解到robots.txt文件的使用可以有效的防止Googlebot抓取一些不想被抓取索引的页面，但是你会发现，有些页面还是会显示在搜索结果中，这时，你就会有疑问，是不是自己在robot.txt文件中设置错了，还是robot.txt文件没有效果？
其实都是不是，主要是这些页面有被其他页面所链接，并且投票给到你网站的这个页面（也就是说，这个页面有外链，并有传递权重给到这个页面），所以造成了被Googlebot顺着链接过来抓取你这个页面，索引，并最终被用户检索出来。 那么如何有效的解决这个问题，就是今天主讲Noindex这个主题的原因！ 一、什么是Noindex 官方描述：noindex 是一个包含 <meta> 标记或 HTTP 响应标头的规则集，用于防止支持 noindex 规则的Google将内容编入索引。当 Googlebot抓取该网页并发现该标记或标头时，Google 就会完全阻止该网页出现在 Google 搜索结果中，不论是否有其他网站链接到该网页。 总结：当Googlebot正在抓取页面时，或者已经被Googlebot抓取了，通过Noindex的两种使用方法可以阻止该网页出现在Google搜索结果中。 二、Noindex使用方法 1、使用meta标签添加Noindex 这个方法我用的比较多，但是一定要记住该标签要在<head></head>里使用，和title、keywords，description一样，具体用法如下： <head> <meta name="robots" content="noindex"> </head> 其中“robots”可以指明其不同搜索引擎抓取工具，没有指明则是指全部搜索引擎抓取工具。 例如： <meta name="Googlebot" content="noindex"> 这里robots指的就是Googlebot不要索引这个页面。 2、使用 X-Robots-Tag添加Noindex 这种方法我用的比较少，大家可以通过案例简单了解下： 举例： HTTP/1.1 200 OK Date: Sat, 11 May 2024 11:42:43 GMT X-Robots-Tag: noindex 这里X-Robots-Tag指的是抓取工具，没有指明则是指全部搜索引擎抓取工具。 例如： X-Robots-Tag: googlebot: noindex 这里X-Robots-Tag指的就是Googlebot不要索引这个页面。 |
注册
SEO优化
2024-5-11 18:07
80浏览
微信公众号
作者 
皖ICP备2021010202号
赣公网安备36112102000145号