之前几段工作经历都与搜索有关，现在也有业务在用搜索，对搜索引擎做一个原理性的分享，包括搜索的一系列核心数据结构和算法，尽量覆盖搜索引擎的核心原理，但不涉及数据挖掘、NLP等。文章有点长，多多指点~~看一个实际的例子：如何从一个亿级数据的商品表里，寻找名字含

当用户在搜索框输入关键字后，我们要为用户提供相关的搜索结果。可以选择使用模糊查询 like 关键字实现，但是 like 关键字的效率极低。查询需要在多个字段中进行，使用 like 关键字也不方便,另外分词的效果也不理想。搜索引擎 进行全文检索时，会对数据库

但是我们具体结合这一因素操作的时候就要综合考虑，相关性，内容丰富度，受众人群，和是否利于搜索引擎抓取等。C、页面超链是搜索引擎分析页面重要性的一个非常重要因素。非常认同百度搜索研发部提出的一个观点：最合适放在首位的网页不一定是在每个特征上都最好，而应该是能

对于新网站而言最开始的机遇反而是最好最公平的，一旦在搜索引擎这里获得了良好的权重对于后续的发展便能进入到相对的稳定期。而对于有一定时间的网站来说，如何保持并提高网站已有的权重或排名，则需要另一番针对性的对策。

垂直搜索引擎是针对某一个特定行业的专业搜索引擎,是通用搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后,再以某种形式返回给用户。垂直搜索引擎则显得更加专注、具体和深入。搜索引擎的主要由搜索器、索引器、检索

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。所以

简单的说，搜索引擎实际上依靠的庞大的网页数据库。所谓全文搜索，是搜索引擎通过从网页自动提取信息来建立数据库的过程。另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信 息存入数据库，

项目中配置了搜索引擎，用的是solr框架集成到 tomcat的，现在回顾下搜索引擎的原理.solr使用的是，先建立关键词到文档的索引顺序，所以可以称为反向索引。

基本上所有的SEO人员都认为alexa流量只是好看，对网站的排名没有任何影响，对这一点我基本上认同，但又保留自己的意见。说alexa排名不影响网站排名基本上是因为第一：alexa流量排名非常不准确，alexah统计的是安装了工具条的用户访问网站的时的数据。

大家知道，搜索引擎技术不仅仅是类似百度首页的应用，还可以衍生出数据分析工具，商务智能工具等许多有卖点的应用，甚至是社会化关系通道的发现。甚至这些非搜索引擎的搜索引擎产品才是最重要的，因为你不需要去做百度做的事情。所以，搜索引擎技术要了解原理，才可以扩展，离

　　为了说明这个问题，我们来研究一个比搜索引擎更加古老的话题：求医。　　A医生肯定不在考虑之列。　　至少，我们得到了一个结论，择医需要考虑两个条件：医生的专长与病情的适配程度；医生的医术。　　这个公式同样回答了上文提出的问题，网页与查询的匹配程度，和网页本

搜索引擎营销可分为四个层次，可分别简单描述为：存在层、表现层、关注层和转化层。录的机会，这是搜索引擎营销的基础，离开这个层次，搜索引擎营销的其他目标也就不可能实现。搜索引擎登录包括免费登录、付费登录、搜索引擎关键词广告等形。存在层的含义就是让网站中尽可能多

网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚

布尔模型，在信息检索领域，不同的场合有不同的含义。当我们讨论用户提交查询的时候，指的是为形成最终查询结果集合，由一个查询的各个成分对查询结果子集之间所要求的一种运算关系；而在讨论文档比较的向量空间模型中，布尔模型指的是构成一个文档向量的各个分量只取1和0两

本文转载自xum2008的博客，主要介绍13款现有的开源搜索引擎，你可以将它们用在你的项目中以实现检索功能。Xapian是一个用C++编写的全文检索程序，它的api和检索原理和lucene在很多方面都很相似，算是填补了lucene在C++中的一个空缺.Nu

如果网站管理员发现某个蜘蛛有问题，就通过其标识来和其所有者联系。网络蜘蛛在下载网页的时候，会去识别网页的HTML代码，在其代码的部分，会有META标识。通过这些标识，可以告诉网络蜘蛛本网页是否需要被抓取，还可以告诉网络蜘蛛本网页中的链接是否需要被继续跟踪。

获取网站百度搜索和搜狗搜索的收录量代码，可以用于获取网站域名在搜索引擎的收录数量，一直想找这个API但没找到，就在网上找了个例子，学习修改了下，可以正常获取百度搜索和搜狗搜索的收录量了；原理是获取搜索引擎site:domain的结果数量，然后再抓取这个数量

google的搜索引擎PageRank算法与HillTop算法结合的搜索排名系统，在Google新算法中，页面关键词相关性得分占20％，pagerank页面等级值占40％，localscore行业得分占40％。所以，只靠搜索引擎优化来提高网页排名是远远不够

Hexo 个人博客 SEO 优化三篇系列文章终于完成了Hexo 个人博客 SEO 优化：搜索引擎原理介绍Hexo 个人博客 SEO 优化：站内优化Hexo 个人博客 SEO 优化：改造你的博客，提升搜索引擎排名在第一篇文章中介绍了搜索引擎原理基本原理和工作