当前位置：二月繁华 > 网站优化 > 怎么禁止搜索引擎访问或收录网站
二月繁华二月繁华 网站优化

怎么禁止搜索引擎访问或收录网站

怎么禁止搜索引擎访问或收录网站
一般在网站还处于测试阶段时，我们并不想搜索引擎收录我们的网站，那么我们可以做哪些设置以达到目的呢。

方法一：设置 robots.txt 方法

搜索引擎默认的遵守 robots.txt 协议，创建 robots.txt 文本文件放至网站根目录下，编辑代码如下:

1
2
User-agent: *
Disallow: /

通过以上代码，即可告诉搜索引擎不要抓取采取收录本网站，注意慎用如上代码：这将禁止所有搜索引擎访问网站的任何部分。

下面举几个 robots.txt 用法的例子：

  • 禁止所有搜索引擎访问网站的所有部分
    1
    2
    User-agent: *
    Disallow: /
  • 禁止百度收录全站
    1
    2
    User-agent: Baiduspider
    Disallow: /
  • 禁止 Google 收录全站
    1
    2
    User-agent: Googlebot
    Disallow: /
  • 禁止除 Google 外的一切搜索引擎收录全站
    1
    2
    3
    4
    User-agent: Googlebot
    Disallow:
    User-agent: *
    allow: /
  • 禁止除百度外的一切搜索引擎收录全站
    1
    2
    3
    4
    User-agent: Baiduspider
    Disallow:
    User-agent: *
    allow: /
  • 禁止所有搜索引擎访问某个目录（例如禁止根目录下的 admin 和 css）
    1
    2
    3
    User-agent: *
    Disallow: /css/
    Disallow: /admin/

方法二：设置网页代码方法

在网站首页代码<head>与</head>之间，加入<meta name=”robots” content=”noindex”>代码，此标记禁止搜索引擎的收录和索引。

在网站首页代码<head>与</head>之间，加入<meta name=”Baiduspider” content=”noindex”>即可禁止百度搜索引擎的收录和索引。

在网站首页代码<head>与</head>之间，加入<meta name=”googlebot” content=”noindex”>即可禁止谷歌搜索引擎的收录和索引。

分享到：

相关推荐