保时捷娱乐城优惠 > 网站建设>

保时捷娱乐彩票是什么:【seo robots.txt写法】建站初期robots.txt该怎么写!网站完成之后又该怎么写?

北京网站SEO

保时捷娱乐城优惠 www.js2x3.com.cn 90a76b7b8a00bc13.jpg

robots.txt的写法是做seo的人员必须知道的(什么是robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。

  百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

  当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。

  我们的网站起初的robots.txt写法如下:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-includes/

  User-agent: * 的意思是,允许所以引擎抓取。

  而Disallow: /wp-admin/和Disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既?;ち宋颐堑囊?,也让百度蜘蛛的抓取最大化。

  如果,你想禁止百度蜘蛛抓取某一个页面,比如123.html,那就加一句代码“Disallow: /123.html/”即可。

  robots.txt写好后,只需要上传到网站的根目录下即可。

  • 世界互联网大会3日开幕 用友云服务企业数字化转型引关注 2019-03-19
  • 大腿离队?高拉特比赛现业余一幕 许家印第一时间回应 2019-03-19
  • 湖州安吉拨付耕保补偿金创新高 2019-03-19
  • 安徽推进监察体制改革试点 明年2月底前完成转隶 2019-03-18
  • 紫禁城角楼,如此精巧复杂的建筑在600年前是如何设计出来的? 2019-03-18
  • “互联网+”深度应用:力推江苏绿色生态体系建设 2019-03-18
  • 北京市第四批高层次党外代表人士挂职锻炼 2019-03-17
  • 视频陶然居变形记:从路边小饭馆到全国餐饮十强 2019-03-17
  • 魏晨:与女友感情稳定 有结婚计划会第一时间公开 2019-03-17
  • 世界杯来了!这是一份很严肃的伪球迷指南 2019-03-16
  • 【十九大·理论新视野】动漫:如何改善民生提升百姓“获得感” 2019-03-16
  • 【周展安】重新认识《在延安文艺座谈会上的讲话》的现实意义 2019-03-16
  • 美朝领导人会晤的世界影响 2019-03-16
  • 有事没事扎针灸?别这样养生 2019-03-15
  • 航拍:巍巍兴安岭 情醉阿尔山 2019-03-15
  • 45| 175| 381| 857| 376| 144| 633| 351| 141| 783|