关于网站robots.txt怎么写,需要注意那些？
来源: | 作者:szhuhang | 发布时间: 2611天前 | 967 次浏览 | 分享到:
关于网站robots.txt怎么写,需要注意那些事项呢？在搞清楚怎么写之前，我们需要了解网站建设中robots到底是个什么东西？下面就给大家详细的说说。
    简单的说，ROBOTS就是禁止搜索引擎搜录的协议，由于深圳网站建设有些内容属于私密性质，不方面对外，所以在08年Google，雅虎，微软就合作，共同遵守统一的Sitemaps标准。robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
    那么网站设计好之后怎么写ROBOTS呢？用robots屏蔽网站重复页很多网站一个内容提供多种浏览版本，虽然很方便用户却对蜘蛛造成了困难，因为它分不清那个是主，那个是次，一旦让它认为你在恶意重复，兄弟你就惨了
User-agent： *
Disallow： /sitemap/ 《禁止蜘蛛抓取 文本网页》
    禁止spider访问特定目录

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /data/

　　注意事项：1)三个目录要分别写。2)请注意最后要带斜杠。3)带斜杠与不带斜杠的区别。
    做完网站建设后如何提交网站设计地图现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的Sitemap： 
   

禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
    网站建设好之在空间里面填写下ROBOTS是非常必要的，写好一个ROBOTE有利于网站排名效果的提升，增加搜索引擎对网页的友好度。