robots.txt文件设置-《Google Seo，每天五分钟轻松学会》

发布时间 2024-5-10 19:01

浏览人数 63浏览

转载自微信公众号原文作者作者网络运营J先生 ← 查找 / 关注作者公众号

今天是《Google Seo，每天五分钟轻松学会》第十二课，主讲robots.txt日志文件设置。在上节课我们就了解到，robots文件规定了Googlebot要抓取一个网站页面，首先就要先访问robots文件，而且必须按robots.txt文件里的 ...

注明：本文摘自微信公众号:网络运营J先生，版权归微信公众号:网络运营J先生所有，请通过微信搜索公众号网络运营J先生，查看作者更多精彩内容。

robots.txt文件设置-《Google Seo，每天五分钟轻松学会》

今天是《Google Seo，每天五分钟轻松学会》第十二课，主讲robots.txt日志文件设置。在上节课我们就了解到，robots文件规定了Googlebot要抓取一个网站页面，首先就要先访问robots文件，而且必须按robots.txt文件里的规矩办事，那么今天我们就来详细了解下如何设置robots日志文件。

一、robots.txt文件基础理论

1、robots.txt工作原理

robots.txt是一个文件，主要是给各个搜索引擎抓取工具看的，里面用来设置一些规则，目的是告诉它们，哪些搜索引擎抓取工具能来抓取，哪些搜索引擎抓取工具不能来抓取，哪些页面可以访问，哪些页面不能访问。

2、robots.txt的好处

①、控制抓取工具预算

如果不了解抓取工具预算的朋友，可以详细查看上一篇文章：

第十一课：精讲Google抓取工具-《Google Seo，每天五分钟轻松学会》

这里大概解释下，抓取工具预算就是抓取你网站所花费的时间和资源，也就是在有限的时间内，Googlebot抓取网站的页面数量，并且这个预算值是可以变动的，所以有些seo，为了让Googlebot抓取更多的重要页面，他们会从而利用robots.txt来控制。

②、控制部分页面和文件不被抓取

每个网站都有一些页面不想被Googlebot抓取并索引。例如网站的管理后台登录及管理页面、一些暂时性的内容页面、PDF文件、视频、图片等等。

二、制作robots.txt文件

1、制作方法

①、如果你用的是一些CMS客户管理系统，类似WordPress，shopify等建站工具，那么你就不需要制作这个文件，因为系统会默认生成这个文件，并且把相应的规则填写好，如果你需要添加规则，直接点击修改即可。

②、如果你网站的根目录下面没有这个文件，那请新建一个文件，文件名为：robots.txt的文本文档，然后根据你网站的实际情况，添加相应的规则命令后，用ftp上传到服务器网站根目录就完成了。

备注：如果你想研究学习参考别人网站的robots.txt文件，也可以直接输入他们的域名，加上文件名，例如：

www.example.com/robots.txt

需要注意的是，robots.txt文件和网站地图不一样，robots.txt只能以这个名字命名，同时一个站点有且只有一个robots.txt文件。

2、使用方法

个人觉得常用的就三大板块和两个通用符，下面我们通过一个例子来了解吧。

User-agent: Googlebotallow: /User-agent: BaiduspiderDisallow: /example1/Disallow: /example2.htmlDisallow: /*.jpg$Sitemap: https://www.example.com/sitemap.xml

I、“user-agent” ：指的用户代理，也就是各大搜索引擎抓取工具。

例如上面的案例中Googlebot和Baiduspider，分别为Google和百度的抓取工具。

不同的搜索引擎，不同的名称，如果有特定要求可以查询相关名称。另外，如果需要区分开不同类型的抓取工具，可以参考上节课的内容。

II、“allow” ，“disallow” ：指令是“允许抓取”和“不允许抓取”某些页面路径的意思。

通配符“*”表示匹配0或多个任意字符。

通配符“$”表示字符串的结束，用于结尾。

如上面案例中的，

·允许Googlebot抓取所有页面

·不允许百度蜘蛛抓取example1栏目

·不允许百度蜘蛛抓取example2.html页面

·不允许百度蜘蛛抓取网站所有jpg类型的图片，包括图片为example.jpg？p=12345的类型

III、Sitemap：这个是站点地图的指令，类似提交网站地图的效果，之前的第十课网站地图全面解析课程里面有讲，这里我们只需把所有的站点地图加上就好。