查找引擎面临的应战

查找引擎体系是最杂乱的核算体系之一，当今干流查找引擎服务商都是有财力、人力的大公司。即便有技能、人力、财力的确保，查找引擎仍是面临许多技能应战。查找引擎诞生后的十多年中，技能现已得到了长足的进步。咱们今天看到的查找成果质量与10年前相比现已好得太多了。不过这还只是一个开始，查找引擎必定还会有更多创新，供给更多、更精确的内容。

整体来说，查找引擎主要会面临以下几方面的应战。

1．页面抓取需求快而全面

互联网是一个动态的内容网络，每天有许多页面被更新、创立，许多用户在网站上发布内容、交流联系。要回来最有用的内容，查找引擎就要抓取最新的页面。可是因为页面数量巨大，查找引擎蜘蛛更新一次数据库中的页面要花很长时间。查找引擎刚诞生时，这个抓取周期往往以几个月核算。

现在干流查找引擎都现已能在几天之内更新重要页面，权重高的网站上的新文件几小时乃至几分钟之内就会被录入。不过，这种快速录入和更新也只能局限于高权重网站。许多页面几个月不被从头抓取和更新，也是十分常见的。

要回来最好的成果，查找引擎也有必要抓取尽量全面的页面，这就需求处理许多技能问题。一些网站并不利于查找引擎蜘蛛匍匐和抓取，比方网站链接结构的缺点、很多运用Flash、JavaScript脚本，或许把内容放在用户有必要登录今后才干拜访的部分，都增大了查找引擎抓取内容的难度。

2．海量数据存储

一些大型网站单是一个网站就有百万千万个页面，可以幻想网上一切网站的页面加起来是一个什么数据量。查找引擎蜘蛛抓取页面后，还有必要有用存储这些数据，数据结构有必要合理，具有极高的扩展性，写入及拜访速度要求也很高。

除了页面数据，查找引擎还需求存储页面之间的链接联系及很多历史数据，这样的数据量是用户无法幻想的。听说Google有几十个数据中心，上百万台服务器。这样大规模的数据存储和拜访必定存在许多技能应战。

咱们经常在查找成果中看到，排名会没有明显原因地上下动摇，乃至可能改写一下页面，就看到不同的排名，有的时分网站数据也可能丢失。这些都可能与大规模数据存储的技能难题有关。

3．索引处理快速有用，具可扩展性

查找引擎将页面数据抓取和存储后，还要进行索引处理，包括链接联系的核算、正向索引、倒排索引等。因为数据库中页面数量大，进行PR之类的迭代核算也是耗时吃力的。要想及时供给相关又及时的查找成果，只是抓取没有用，还有必要进行很多索引核算。因为随时都有新数据、新页面参加，因而索引处理也要具有很好的扩展性。

4．查询处理快速精确

查询是普通用户唯一能看到的查找引擎作业进程。用户在查找框输入关键词，单击”查找“按钮后，一般不到一秒钟就会看到查找成果。外表最简略的进程，实际上触及十分杂乱的后台处理。在最终的查询阶段，最重要的难题是怎样在不到一秒钟的时间内，快速从几十万、几百万，乃至几千万包括查找词的页面中，找到最合理、最相关的1000个页面，而且按照相关性、权威性摆放。

5．判别用户意图及人工智能

应该说前4个应战现在的查找引擎都现已可以比较好地处理，但判别用户意图还处在初级阶段。不同用户查找相同的关键词，很可能是在寻找不同的东西。比方查找”苹果“，用户到底是想了解苹果这个生果，仍是苹果电脑？仍是电影《苹果》的信息？没有上下文，没有对用户个人查找习气的了解，就完全无从判别。

查找引擎目前正在致力于根据用户查找习气及历史数据的了解上，判别查找意图，回来更相关的成果。今后查找引擎是否能达到人工智能水平，真实了解用户查找词的含义和意图，让咱们拭目而待。

查找成果显示格局

让咱们先略微深化地了解一下查找成果的展示方式。