史上最全面的百度蜘蛛详解 你不得不看！

一、什么是Baiduspider?

Baiduspider是百度查找引擎的一个自动程序，它的作用是拜访互联网上的网页，树立索引数据库，运用户能在百度查找引擎中查找到您网站上的网页。

二、Baiduspider的user-agent是什么?

百度各个产品运用不同的user-agent：

产品名称 对应user-agent

无线查找 Baiduspider

图片查找 Baiduspider-image

视频查找 Baiduspider-video

新闻查找 Baiduspider-news

百度搜藏 Baiduspider-favo

百度联盟 Baiduspider-cpro

商务查找 Baiduspider-ads

网页以及其他查找 Baiduspider

三、Baiduspider对一个网站效劳器形成的拜访压力怎么?

为了达到对方针资源较好的检索作用，Baiduspider需求对您的网站坚持一定量的抓取。咱们尽量不给网站带来不合理的担负，并会依据效劳器承受能力，网站质量，网站更新等归纳因素来进行调整。假如您觉得baiduspider的拜访行为有任何不合理的状况，您可以反应至百度投诉渠道。

四、为什么Baiduspider不断的抓取我的网站?

对于您网站上新产生的或许继续更新的页面，Baiduspider会继续抓取。此外，您也可以查看网站拜访日志中Baiduspider的拜访是否正常，以避免有人歹意假充Baiduspider来频频抓取您的网站。 假如您发现Baiduspider非正常抓取您的网站，请经过投诉渠道反应给咱们，并请尽量给出Baiduspider对贵站的拜访日志，以便于咱们盯梢处理。

五、怎么判别是否假充Baiduspider的抓取?

建议您运用DNS反查办法来断定抓取来历的ip是否归于百度，依据渠道不同验证办法不同，如linux/windows/os三种渠道下的验证办法别离如下：

1，在linux渠道下，您可以运用host ip指令反解ip来判别是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即为假充。

$ host 123.125.66.120

120.66.125.123.in-addr.arpa domain name pointer

baiduspider-123-125-66-120.crawl.baidu.com.

host 119.63.195.254

254.195.63.119.in-addr.arpa domain name pointer

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

2，在windows渠道或许IBM OS/2渠道下，您可以运用nslookup ip指令反解ip来 判别是否来自Baiduspider的抓取。翻开指令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 来判别是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即为假充。

3，在mac os渠道下，您可以运用dig 指令反解ip来 判别是否来自Baiduspider的抓取。翻开指令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip，来判别是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格局命名，非 *.baidu.com 或 *.baidu.jp 即为假充。

六、我不想我的网站被Baiduspider拜访，我该怎么做?

Baiduspider恪守互联网robots协议。您可以使用robots.txt文件彻底制止Baiduspider拜访您的网站，或许制止Baiduspider拜访您网站上的部分文件。 留意：制止Baiduspider拜访您的网站，将使您的网站上的网页，在百度查找引擎以及一切百度供给查找引擎效劳的查找引擎中无法被查找到。关于robots.txt的写作办法，请参看咱们的介绍：robots.txt写作办法

您可以依据各产品不同的user-agent设置不同的抓取规矩，假如您想彻底制止百度一切的产品录入，可以直接对Baiduspider设置制止抓取。

以下robots完成制止一切来自百度的抓取：

User-agent: Baiduspider

Disallow: /

以下robots完成制止一切来自百度的抓取但答应图片查找抓取/image/目录：

User-agent: Baiduspider

Disallow: /

User-agent: Baiduspider-image

Allow: /image/

请留意：Baiduspider-cpro抓取的网页并不会建入索引，仅仅履行与客户约好的操作，所以不恪守robots协议，假如Baiduspider-cpro给您形成了困扰，请联络。

Baiduspider-ads抓取的网页并不会建入索引，仅仅履行与客户约好的操作，所以不恪守robots协议，假如Baiduspider-ads给您形成了困扰，请联络您的客户效劳专员。

七、为什么我的网站现已加了robots.txt，还能在百度查找出来?

因为查找引擎索引数据库的更新需求时刻。尽管Baiduspider现已中止拜访您网站上的网页，但百度查找引擎数据库中现已树立的网页索引信息，可能需求数月时刻才会铲除。别的也请查看您的robots配置是否正确。

假如您的回绝被录入需求十分急切，也可以经过投诉渠道反应恳求处理。

八、我期望我的网站内容被百度索引但不被保存快照，我该怎么做?

Baiduspider恪守互联网meta robots协议。您可以使用网页meta的设置，使百度显现只对该网页建索引，但并不在查找成果中显现该网页的快照。

和robots的更新一样，因为查找引擎索引数据库的更新需求时刻，所以尽管您现已在网页中经过meta制止了百度在查找成果中显现该网页的快照，但百度查找引擎数据库中假如现已树立了网页索引信息，可能需求二至四周才会在线上收效。

九、Baiduspider抓取形成的带宽阻塞?

Baiduspider的正常抓取并不会形成您网站的带宽阻塞，形成此现象可能是因为有人假充Baiduspider歹意抓取。假如您发现有名为Baiduspider的agent抓取而且形成带宽阻塞，请赶快和咱们联络。您可以将信息反应至投诉渠道，假如可以供给您网站该时段的拜访日志将更加有利于咱们的剖析。