《搜索引擎原理系列教程》这个虽然称不上书本，但由于里面信息量以及内容比较实用，也弥补了百度白皮书的一些短板——言语浮于表面，别的值得鼓励的是，这个教程完全是由一个民间的SEO爱好者总结，这份精神值得称赞。我这儿仍然想讲三个方面，也是咱们SEOER比较关心的三个方面：录入、索引、排名。

一、录入

搜索引擎搜集网页进程，录入其实是个杂乱的进程，他简略的分为这四个进程:

1、 调度器是整个搜集进程的核心，它内部保存有一个已拜访URL库和未拜访URL库，统称URL库。一开始调度器会从未拜访URL库中取出一条URL，分配给蜘蛛，让蜘蛛去抓取未抓取过的URL。

2、 当一个蜘蛛得到URL的时分，它会向返个URL发出恳求抓取，流程是：对该URL对应的域名进行DNS解析->得到IP进行Socket连接->连接成功发出http恳求->接收网页信息。

3、 蜘蛛得到网页信息后，会回来源代码给调度器，调度器会将源代码保存到网页数据库中。

4、 调度器会对抓取到网页迕行链接提取，将未抓取过的URL存放到未拜访URL库中，并将刚刚抓取完的URL更新到已抓取URL库中。

这其间会涉及到去重

调度器的作业流程

1、从未拜访URL表中顺次取出URL，分配给各个蜘蛛。

2、蜘蛛得到URL，进行抓取，得到网页的源代码，对该源代码进行URL的提取，获得该网页包含的所有URL。

3、调度器顺次查看得到的URL是否在已拜访URL库中存在。假如存在，则阐明现已被抓取过，那么将该URL丢掉;假如不存在，阐明这个URL没有被抓取过，则次序添加到未拜访URL表中，等候之后抓取。

4、重复进程1，直到未拜访表为空。

二、索引

网页预处理

1、给原始网页树立索引。

2、针对查找有网页库进行网页切分，将每一个页面转化为一组词的调集。(正向索引)

3、将网页到索引词的映射转换为索引词到网页的映射，形成倒排文件（包括倒排表和索引词表)
总的来说，搜索引擎从网页数据库获取网页然后进行代码过滤，然后提取正文信息后进行切词，之后的进程便是对关键词调集进行筛选，得到网页关键词正向索引，终究才将搜索引擎将正向索引转换未关键词到网页的倒排索引，正是这个技能，搜索引擎才有可能在1S内给用户呈现查找成果。

别的，这其间搜索引擎做的动作便是网页净化和消重，除了去除网页内噪音内容（如广告、版权等），提取网页主题和相关内容外，去除网页调集中内容重复内容。

有同学可能会问，搜索引擎怎么辨认主体内容的呢?事实上，算法是靠树立HTML标签树和投票方法辨认正文文本。

比方，咱们定一下规则，

1、假如文本块文本长度少于10个字，0分。介于10~50个字得5分。介于50~250个字，得8分。超过250个字，得10分。

2、文本块文本方位在右侧，得0分。在顶部，得3分。在左侧，得5分。在中部，得10分。

那咱们就得出，页面TITLE得分9，正文加粗H1标签得分8等等，DIV部分的AD部分得分0，丢掉。
（以上举例只为了参考，跟实际算法没有相关）

搜索引擎进行网页消重都要经过3个进程，首先是特征抽取（这其间涉及到I-Match算法、Shingle算法），然后类似度核算、评价是否类似，终究才是消重。

事实上，搜索引擎算法和用户交互的进程便是一个查询的流程，比方用户查找“搜索引擎原理”，算法分词后得到“搜索引擎”，“原理”，在倒排索引表中找到包含这两个文档列表，求交，然后将用户查询以及上一步找到文档列表中被一条记录进行向量化后，求查询向量和文档向量的类似度，然后从高究竟排序，终究便是咱们看到的终究查找成果。

三、排名

终究就举个例子作为结束：

搜索引擎网页权重=网页中词项基本权重+链接权重+用户评价权重

网页中词项基本权重

1、例如某个关键词”搜索引擎”在

搜索引擎

的环境下,权重应该为:WBT=W+W， (h1)+W,(b)=10+12＋4=26

2、关键词“搜索引擎”可能还在文档中其他地方出现n次，每次出现都能够核算一个WBT1、WBT2、WBT3…WBTn，那么能够核算出整个文档“搜索引擎”这个关键词的权重为︰

wBT(关键词,网页)=WBT,+ WBT,+…+WBTT=>wBT

相关排序–链接权值的核算 

相关排序–用户评价权值的核算 

….

终究权值的核算 

搜索引擎能够经过装备KWB、KWL、KWU来设置偏重哪些因素影响权重，比方假如搜索引擎设置了KWL为0.8，KWB、KWU均为0.1，那么阐明该搜索引擎更偏重链接对权重的影响，经过这样的算法，能够很轻松的算法上的调整。