福林雨 博客

Continue reading »

The most complete list of -XX options for Java 6 JVM

• product flags are always settable / visible
• develop flags are settable / visible only during development and are constant in the PRODUCT version
• notproduct flags are settable / visible only during development and are not declared in the PRODUCT version
• diagnostic options not meant for VM tuning or for product modes. They are to be used for VM quality assurance or field diagnosis of VM bugs. They are hidden so that users will not be encouraged to try them as if they were VM ordinary execution options. However, they are available in the product version of the VM. Under instruction from ... (全文...)

1. 基本介绍：

paoding ：Lucene中文分词“庖丁解牛” Paoding Analysis
imdict ：imdict智能词典所采用的智能中文分词程序
mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器
ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式

2. 开发者及开发活跃度：

(全文...)

http://club.blogbeta.com/82.html

beta技术沙龙·大型网站的lucene搜索实战

时间：7月26日14点30分开始
地点：奇遇花园咖啡馆 http://storygarden.me/cafe/map

主题：大型网站的lucene搜索实战
演讲简介：本次活动介绍基于Lucene的站内搜索的实践，后台技术层面的一些想法与实践，包括缩短更新周期，简化重建索引流程，支持大数据量频繁更新的索引，以及在性能和可用性方面作的努力。
主讲人：唐福林 (http://blog.fulin.org https://twitter.com/tangfl)
主讲人简介：从 ... (全文...)

LinkedIn 发布了一个 key-value 存储（发布？）系统 Voldemort，详细介绍在
http://project-voldemort.com/blog/2009/06/building-a-1-tb-data-cycle-at-linkedin-with-hadoop-and-project-voldemort/

抽空看了一下，写了个 ppt 简单介绍：

本文 只是简单的翻译，原文 在 http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

* Be sure you really need to speed things up.

Many of the ideas here are simple to try, but others will necessarily add some complexity to your application. So be sure your indexing speed is indeed too slow and the slowness is indeed within Lucene.

* 请确认你真的需要更快的索引速度

这里的很多想法都非常容易尝试，但也有一些会给你的程序带来额外的复杂度。所以请确认你的搜索速度 ... (全文...)

本文 为简单翻译，原文在：
http://wiki.apache.org/lucene-java/ImproveSearchingSpeed

* Be sure you really need to speed things up.

Many of the ideas here are simple to try, but others will necessarily add some complexity to your application. So be sure your searching speed is indeed too slow and the slowness is indeed within Lucene.

* 请确认你真的需要更快的搜索速度

这里的很多想法都非常容易尝试，但也有一些会给你的程序带来额外的复杂度。所以请确认你的搜索速度 ... (全文...)

imobile 站内搜索 —— 基于 lucene 的站内搜索，阶段性成果介绍

关键词：准实时搜索，及时更新，快速重建，可配置，可监控，高性能

实现：分离读写，分离索引和存储，拆分大小库，新索引 reopen，新索引预热

在 linux shell 下经常使用的一个命令组合： grep [-v] "filter" filePath | tail -n needLines，用来查看文件中符合条件的最后 n 行记录，尤其在监控 server 的 log 的时候。
现在有一个需求：从 web 管理后台向 search server 发送一个 stat 命令，查看搜索索引的各项统计信息，其中就包括索引更新，查询的 log 的最后 n 条记录。于是需要在 search server 里实现这样一个功能。

PS：如果是 php，我肯定会选用 exec 一条外部 shell 命令，获取命令的输出 的方式来做，但 java，只好自己动手，重复发明轮子了。
PS2：stl 的 rotate 代码真是太精炼了。有空需要多看看(全文...)

测试代码：http://code.google.com/p/fulin/source/browse/JAVA/lucene/imobile/search2/src/search/test/IndexTest.java

结论：

1。lucene 索引删除条目的时候（不 调用 optimize），会修改索引目录的以下文件：segments.gen, segments_N, ***.del

2。lucene 索引目录发生改变后，如果不 reopen index reader，则改变对于 searcher 来说是不可见的。（甚至可以将 idx 目录删除，searcher 仍然能返回结果。测试：idx 目录大小为 1.2G，删除目录后， searcher 搜索热门词仍然正常返回结果，返回结果条数超过4万条）