如何禁止搜索引擎抓取网站动态网址

时间:2020-10-05 14:49:55 来源:SEO 作者:曾庆平SEO 点击量:

  现在网络中存在的大多数网站都是由ASP、PHP等语言编辑的动态网站,而且为了用户浏览方便、为了利于网站优化工作等等对网站进行了伪静态处理。但是,精灵SEO小编想要提醒你的是,有的网站的动态链接仍然会被搜索引擎抓取,下面让我们来一块了解下如何禁止搜索引擎抓取网站动态网址。


  网站在动态网址和伪静态网址同时可以被搜索引擎抓取的情况下,是会让搜索引擎认为我们的网站存在大量重复页面的,这对优化是不利的。这个时候,我们可以使用robots协议,在协议中禁止搜索引擎抓取网站动态网址。

  User-agent: *


  Disallow: /*?*


  通常很多动态网址里面都有问号,在robots协议中写上面的命令,就能够让搜索引擎了解到网站包含问号的网址是不想让它们抓取的。


  User-agent: * 这里的*代表的所有的搜索引擎种类(*是一个通配符)


  Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址

当前位置:SEO > SEO优化技术 >

声明:本文由江西SEO和SEO教程网整理不代表个人观点,转载请注明原文,点击还能查看更多SEO培训的文章;本文网址: http://www.yongfengseo.com/taobaoseo/12267.html

围观: 1000次 | 责任编辑:曾庆平SEO

点击关闭
  • SEO在线客服代码 SEO在线客服代码 SEO在线客服代码