
最近两个月研究了相关度搜索引擎的一些知识,对Xapian和Omega(一个基于Xapian的应用)的代码进行了一定量的修改,开发出了一款轻量级的基于中文字典词库的相关度搜索引擎。
这个搜索引擎的功能是:从数据库的一个表中取出内容字段的数据,利用基于中文字典词库的分词算法,建立这些数据的索引。根据索引,我们可以检索到与某条记录相关的其它记录,以及扩展分词列表。
扩展分词列表的概念是负责eYou邮件网关算法的同事介绍的,她认为仅凭一个分词找到相关记录的算法过于刻板,应该是先找到与这个分词语义最相关的一组分词,然后针对这组分词进行更精确的搜索。
上图是我将占座网随笔数据导入后的查询结果,这是一个demo页面的截图,第一篇ID为105121的文章的相关文章从第二行开始列出,看起来效果还算可以。
历史上的今天
- Seether: Karma and Effect - 2005
5 responses so far ↓
1 dulao5 // May 30, 2006 at 13:00
恭喜恭喜
ps: “餐巾纸, 卫生纸, 纸, 铜板纸” 这个验证码和别的不是一个层次————就是嘛,别光整那些一岁二岁的……
2 bluetent // May 30, 2006 at 14:28
果然被你撞上了……13组词,你可以算算概率是多么的小……
3 六子 // Jul 20, 2006 at 21:10
老兄可以把你的代码共一下研究吗?
haidong@126.com
4 lsj // Apr 30, 2007 at 15:57
帅哥,能否将您的源码发我一份,谢谢!Email:lsjtinya@163.com
5 help // Nov 5, 2007 at 15:55
在windows下xapian怎么装呢,能不能告诉我
Leave a Comment