robots是什么？robots文件在网站优化seo中起到什么作用？

　　robots文件在seo网站优化中的位置举足轻重，它的作用在于让搜索引擎便于抓取优质内容，过滤掉一些无用页面、链接或者文件等。一个网站想要排名且不被攻击，少了它可不行。接下来就为大家细致讲解一下robots文件。

1.什么是robots机器人文件？

robots文件是网站和搜索引擎之间的通信协议文件。我们可以使用此文件告诉搜索引擎蜘蛛可以抓取哪些链接以及不允许包含哪些链接。
此文件的全名称为robots.txt。文件名必须名为robots.txt。其次，此文件必须是小写的。
此robots.txt文件必须放在网站的根目录中。当蜘蛛抓取您的站点时，它将首先读取该文件并根据文件中写入的记录获取页面。
并非所有网站都有此文件。如果您没有此文件，蜘蛛可以随意抓取您的网站链接。
所以从事seo必须为网站做一个合理的机器人文件。现在我们在织造系统中都是一样的。它基本上是相同的，所以它是不合理的，所以我们需要单独重写这个文件。
2.文件编写规则
User-agent（用户代理）:蜘蛛名称
User-agent（用户代理）: *
*是一个表示所有蜘蛛名称的通配符
用户代理: baiduspider
但我们工作的网站基本上都被替换为*
Disallow:/post crawled links
用户代理: *
Disallow: /1.php
禁止所有搜索引擎蜘蛛抓取此1.php文件
Allow：/后跟一个允许抓取的链接
20个页面链接20不允许抓取，80个允许抓取
除了您编写的禁用文件外，其余文件不会写入，表示默认情况下允许对其进行爬网。
编写机器人文件的具体方法
Disallow:/admin
禁止抓取管理目录。
Disallow: /a/*.htm
Www.xxxx.com/a/1.html
Www.xxxx.com/a/2.htm
无法正常抓取第二个URL链接
这种写作方便了网民今后禁止大量相同格式的网页文件。我们直接使用*通配符。
Disallow:/*？ *
是否禁止抓取所有标签？ URL链接（动态URL链接）
如果您的站点是动态站点而您尚未进行伪静态处理，则不应使用此类写入。
将导致网站的动态链接不被包括在内。
Disallow：/Show.asp ID=870
您可以编写要阻止的单个链接。
3，Disallow: /.jpg$
Disallow: /.png$
$是一个通配符，与*相同，这意味着所有含义该代表禁止捕获所包含网站的根目录中以.jpg结尾的所有图像文件。
Www.xxxx.com/images/404.png
如果您不希望搜索引擎引用您网站的图像，那么我们可以直接屏蔽图像文件夹。

Disallow: /图像

4，Disallow: /ab/abc.html
禁止在ab目录中抓取abc网页文件。
总结一下：它会写一个禁止的措辞，然后允许的措辞是相同的原则，也就是说，以前的记录是不同的。
Allow: /a/1.html
如果没有必要编写单独的页面路径，则写入权限记录通常是添加到网站的站点地图文件。
Allow：/sitemap.htm
这起着重要作用
由于我们需要将此站点地图添加到漫游器文件中，因此我们首先需要为该站点设置站点地图页面。
5000篇文章内容链接
阻止一条链接
外贸推广www.hudoo-tech.cn
Disallow: /a/1.html
5，robots文件生成工具有哪些？
站长工具就有这个功能，旺旺第三方工具都有这个功能。
最后关于robots文件详细介绍就到这里，seo网站优化专员提示小伙伴们robots文件需要放在网站根目录下才行。