保时捷娱乐城优惠 > 北京SEO>

【seo robots.txt写法】建站初期robots.txt该怎么写!网站完成之后又该怎么写?

北京网站SEO

保时捷娱乐城优惠 www.js2x3.com.cn 90a76b7b8a00bc13.jpg

robots.txt的写法是做SEO的人员必须知道的(什么是robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。

  百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中robots.txt就是最重要也是最开始和百度“对话”的内容。

  当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。

  我们的网站起初的robots.txt写法如下:

  User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-includes/

  User-agent: * 的意思是,允许所以引擎抓取。

  而Disallow: /wp-admin/和Disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既?;ち宋颐堑囊?,也让百度蜘蛛的抓取最大化。

  如果,你想禁止百度蜘蛛抓取某一个页面,比如123.html,那就加一句代码“Disallow: /123.html/”即可。

  robots.txt写好后,只需要上传到网站的根目录下即可。

北京网站优化工具

帝国网络-小善

北京专业的网站优化公司提供北京SEO网站,北京网站优化服务。

QQ 电话:0755-86200006

  • [囧][猜想]这有啥好战的? 2019-01-20
  • 大数据杀熟,别急着甩锅 2019-01-20
  • 美媒:美军将大幅削减非洲反恐部队 重点对付全球性大国 2019-01-20
  • 姑娘舍不得崖山生活“赖”在山上不肯走 ——凤凰网房产 2019-01-19
  • 西安位居最受欢迎十大旅游城市第四 2019-01-19
  • 经济数字包括成本,经济数字好看,但其效益如何会是经济收入增加没有经济效益,那是成本增加比经济收入增加还多。 2019-01-18
  • 【幸福是奋斗出来的】于立洪:小鹌鹑“啄”开致富门 2019-01-18
  • 《国家人文历史》往期杂志汇总 2019-01-18
  • 佛山成功孵化高校科技成果项目 2019-01-17
  • 基因检测能“解码生命”吗(关注) 2019-01-17
  • 北京外研书店重装开业 打造特色海淀文化地标 2019-01-16
  • 当故宫博物院走出北京,扎根香港...... 2019-01-16
  • 人的本质的演变规律:从原始母系氏族社会的公有者经过父系氏族社会私有和公有双重所有者而演变为私有制阶级社会的私有者,然后经过现代社会公有和私有双重所有者... 2019-01-15
  • 体验4款入门合资SUV多媒体系统 谁能满足实用且有趣? 2019-01-15
  • 原来这小菜竟能让癌细胞自杀 以后可要多注意了-美食资讯 2019-01-14
  • 989| 579| 535| 685| 544| 977| 968| 628| 86| 820|