什么叫robots.txt?robot文档如何写?

摘要: 什么叫robots.txt?robot文档如何写?创作者:唯速建网站学习培训来源于: 不明 公布時间: 什么叫robots.txt?robot文档如何写?什么叫robots文档?robots文档简易的来讲便是让你的网站做一个管理...

什么叫robots.txt?robot文档如何写? 创作者:唯速建网站学习培训来源于: 不明 公布時间: 什么叫robots.txt?robot文档如何写? 什么叫robots文档? robots文档简易的来讲便是让你的网站做一个管理权限明细,通常为对于做SEO提升的。在这里个文档里边写上什么文档、什么方式的连接容许检索模块爬取,什么不容许。 为何要放这一文档?放哪儿? 在你的网站还没有有调节好的情况下,不愿让检索模块百度收录,能够根据这一文档屏蔽掉检索模块。如同QQ你隐藏了他人全看不上你。 这一文档的姓名便是robots.txt,是固定不动的,无论哪一个网站要放这一全是这一姓名。一般大家会把robots.txt放进FTP网站根目录下。
怎样容许全部检索模块爬取? robots.txt便是一个记事簿本,因此要是在里边写上以下內容便可以屏蔽掉。 User-agent: * Disallow:
Disallow: /cgi-bin/*.htm 严禁浏览/cgi-bin/文件目录下的全部以 .htm 为后缀名的URL(包括根目录)。 Disallow: /*?* 严禁浏览网站内全部的动态性网页页面 Disallow: /jpg$ 严禁爬取网页页面全部的.jpg文件格式的照片 文档。 User-agent: * 这儿的*意味着的全部的检索模块类型,*是一个使用通配符 Allow: /cgi-bin/ 这儿界定是容许爬寻cgi-bin文件目录下边的文件目录 Allow: /tmp 这儿界定是容许爬寻tmp的全部文件目录 Allow: .htm$ 仅容许浏览以 .htm 为后缀名的URL。 Allow: .gif$ 容许爬取网页页面和gif文件格式照片robots.txt文档使用方法举例说明


联系我们

全国服务热线:4000-399-000 公司邮箱:343111187@qq.com

  工作日 9:00-18:00

关注我们

官网公众号

官网公众号

Copyright?2020 广州凡科互联网科技股份有限公司 版权所有 粤ICP备10235580号 客服热线 18720358503

技术支持:免费建网站哪个好