|
肖木
搜索引擎已经是Internet上最重要的应用之一了，可是对于它，不论是使用者还是软件工程师们都没有满足。随着Internet信息量的膨胀式增长，网络使用者从“信息匮乏”变成了“信息过剩”，人们要求搜索引擎不仅“搜出”更多的信息还要搜出“更准”的信息。搜索引擎将向什么方向发展？它的发展遇到了什么问题？本期《软件频道》介绍搜索引擎技
术的发展。
搜索引擎的雏形
1990年，蒙特利尔大学的一名学生开发了Archie，它可以说是最早的带有网络搜索引擎意义的软件。当时网络中大量的文件散布在不同的服务器里，研究人员无法像在自己的机器里查找文件一样找到网络上的信息。Archie的工作原理就是“通过文件名来查找文件”，它依靠脚本程序自动搜索网上共享的文件，然后对相关信息进行索引，以供使用者查询。后来World Wide Web成为Internet上的主要信息来源，随后出现的一些类似于Archie的搜索工具中就加入了检索网页的功能。
世界上第一个用于监测互联网发展规模的“机器人”程序是World Wide Web Wanderer。刚开始它只用来统计互联网的服务器数量，后来则发展为能够检索网站域名。第一个真正意义上的并得到广泛商业应用的现代搜索引擎是Yahoo。1994年7月，美国斯坦福大学的大卫·菲勒和杨致远共同创办了超级目录索引Yahoo，从此搜索引擎进入了高速发展的时期。
目前，互联网上大大小小的搜索引擎已达数百家，其检索的信息量也与从前不可同日而语。随着互联网规模和信息量的急剧膨胀，一家搜索引擎光靠自己单打独斗已无法适应目前的市场状况，因此现在搜索引擎之间开始出现了分工协作，并有了专业的搜索引擎技术和搜索数据库服务提供商。短短十几年，搜索引擎已经成为重要的软件应用之一。
智能化与多样化
发展到今天，现有的网络信息搜索引擎从工作原理上分，主要有两大类：关键字检索、目录检索(还有一种“Meta”方式是两者的结合)。
关键字检索是搜索引擎根据用户提交的简单“关键字”及其简单的逻辑组合，在其数据库中检索出所有出现该关键字的文章列表。关键字检索的优点是简单、快捷，系统构造较容易。但其智能化程度极低，一个重要缺陷就是“命中率”低、“二次选择量”大，检索通用词汇的结果可能检出成千上万篇的索引，造成人工二次选择有用文章困难很大；检索专业强的词汇，往往检索不到任何所需的信息；同时，简单的关键字检索还存在不能作切分词处理或同义语处理，检索“诗人李白”，却不能搜索到“诗仙”、“李太白”、“青莲居士”、“伟大的浪漫主义诗人”等内容，而这些也许有搜索者真正想要的信息；更不能检索像“中美关系”、“北京秋天有什么好玩(旅游)的地方”这类具有语义描述的查询条件；也不能检索带属性的查询条件，比如“有关纺织品”和“中美之间”的“贸易”信息。搜索的智能化，是近几年来业界一直在试图解决的问题。
目录检索是事先按某种分类体系对有关信息进行目录分类，比如“杜威十进分类法”、“美国国会图书馆分类法”、我国的“中图法”/“科图法”等。这类检索方式的优点是检索准确，但其前提是搜索引擎提供商数据库的规模、分类的科学性等，它的建立必须依靠分类专家手工完成。而实际上，网络信息量几乎以指数级别增长的今天，要及时准确地将大量的信息进行人工分类，其工作量、时效性和费用可想而知。
从软件技术上看，第一代网络搜索引擎相对简单，只能支持关键字检索和人工目录检索，在支持中文方面，甚至对汉语的切分词支持都比较弱；第二代搜索引擎在搜索速度、针对中文信息的切分词有所改进，在以自然语言为查询语言方面也做了一些探索。
随着Internet技术及其应用的迅速发展，网上庞大的数字化信息和人们获取所需信息能力间的矛盾日益突出，网络使用者需求高水平的自动文本分类和智能主题检索工具。响应这一需求，目前网络搜索正向第三代发展，它的主要特征是：基于文章主题的分类与检索；基于自然语言的用户查询方式；支持中文切分词、同义词/语、多语种对应词等搜索功能；支持关键字同篇、同段、同句，以及领域、时间、来源、形式等属性的形式化运算。文本的自动分类因其技术难度极大，直到90年代中后期，国际上才出现具有一定实用价值的实验系统，如：AT&T实验室的对于非确定性自动分类技术的研究(1994年)、针对电子邮件的自动分类系统(1996年)。
现在的情况是，文本自动分类受到各界的重视，该项技术的研究达到相当的程度，具有一定的实用价值，但还停留在实验室，需要做成果转化和实用系统的开发。
值得一提的是，1999年，许多经营图库的公司逐渐将其图库上网，并使得内容可以被搜索利用，相应也出现了多媒体搜索引擎，比如图片搜索引擎、音乐搜索引擎等。图像搜索技术可以分为基于文字的搜索与基于内容的搜索：基于文字的搜索是利用图像的文字描述寻找需要的图像；基于内容的检索是分析图像中颜色、纹理分布等特征，寻找相关的图像。
由个人走向企业
现在Internet发生了很大变化，企业门户、基于Internet的供应链管理等企业应用已经大量出现。Internet上的信息也从个人、学术性质为主，转为充满了大量的企业、商业信息。搜索引擎软件也要跟随这一改变。以前只应用于门户网站的专业搜索引擎技术也逐渐深入到企业的应用中来。搜索引擎技术不再是用来建一个Yahoo这样的门户网站，确切地说不只是一种单一的产品而是一种技术，这种技术可应用到互联网的每一方面。
目前，搜索引擎在企业级方面比较典型的应用如下：
政府和企业内部信息检索：很多企业发现，原来的数据库检索系统已经不能适应信息爆增的情况了——不但文件格式越来越多，而且随着事务越来越复杂，各部门都会有自己的信息存储方式，要搜索的范围除了内部局域网还有异地分支机构网络，这种情况可以由专业搜索技术来解决。
内容比较搜索服务：比较竞争对手的价格，并定期或实时追踪这些数据的变化情况。
收集商业情报：收集竞争对手的公开会员信息和其它公开的商业情报，比如竞争对手的广告投放情况等，监视竞争对手的所有公开动态情报。
采集商业数据：收集具有合法版权的商业数据。
复杂目录管理：帮助企业的数据库工程师编制复杂的产品目录。比如化工产品光种类就170多万种，这些目录之间还有错综复杂的关系，光录入这些数据就是一个很头痛的问题。当企业本身也没有足够的原始资料而需要到互联网上获取资料的时候，搜索引擎就帮助企业快速地完成任务。
专业搜索网站：大而全的网站比如Yahoo总是出现一大堆的查询结果。现在人们更关心专业性、准确率、地域性等，人们需要专业的医学搜索引擎、化工搜索引擎、体育搜索引擎、汽车搜索引擎等。
搜索引擎技术涉及到系统技术、网络技术、多媒体技术、语言处理技术、人工智能技术等。而搜索引擎技术与更多新技术的应用与融合，如无线网络、P2P(Peer to Peer，对等网络)等，更会给搜索引擎技术带来新的动力。
人们对有效信息的渴求，注定了搜索引擎将有一个美好的未来。
免费试用新浪15M收费邮箱 赶紧行动！
订阅短信头条新闻，第一时间、突发事件、重大新闻尽在掌握！
| 
版权所有 新浪网
