怎么禁止搜索引擎访问或收录网站

怎么禁止搜索引擎访问或收录网站
一般在网站还处于测试阶段时,我们并不想搜索引擎收录我们的网站,那么我们可以做哪些设置以达到目的呢。

方法一:设置 robots.txt 方法

搜索引擎默认的遵守 robots.txt 协议,创建 robots.txt 文本文件放至网站根目录下,编辑代码如下:

1
2
User-agent: *
Disallow: /

通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。

下面举几个 robots.txt 用法的例子:

  • 禁止所有搜索引擎访问网站的所有部分
    1
    2
    User-agent: *
    Disallow: /
  • 禁止百度收录全站
    1
    2
    User-agent: Baiduspider
    Disallow: /
  • 禁止 Google 收录全站
    1
    2
    User-agent: Googlebot
    Disallow: /
  • 禁止除 Google 外的一切搜索引擎收录全站
    1
    2
    3
    4
    User-agent: Googlebot
    Disallow:
    User-agent: *
    allow: /
  • 禁止除百度外的一切搜索引擎收录全站
    1
    2
    3
    4
    User-agent: Baiduspider
    Disallow:
    User-agent: *
    allow: /
  • 禁止所有搜索引擎访问某个目录(例如禁止根目录下的 admin 和 css)
    1
    2
    3
    User-agent: *
    Disallow: /css/
    Disallow: /admin/

方法二:设置网页代码方法

在网站首页代码<head>与</head>之间,加入<meta name=”robots” content=”noindex”>代码,此标记禁止搜索引擎的收录和索引。

在网站首页代码<head>与</head>之间,加入<meta name=”Baiduspider” content=”noindex”>即可禁止百度搜索引擎的收录和索引。

在网站首页代码<head>与</head>之间,加入<meta name=”googlebot” content=”noindex”>即可禁止谷歌搜索引擎的收录和索引。

本站不保证所提供下载的资源的准确性、安全性和完整性,资源仅供下载学习之用!网站资源来自用户分享,如有侵权行为请联系网站客服处理。
二月繁华 » 怎么禁止搜索引擎访问或收录网站

发表评论

分享最优质的资源集合

了解详情