Zend_Search_Lucene は、内部的には UTF-8 文字セットで動作します。 インデックスファイルには、unicode のデータが Java の "modified UTF-8 encoding" で保存されます。 Zend_Search_Lucene はこの文字セットを完全にサポートしていますが、 ひとつだけ例外があります。 ^[15]

実際の入力データのエンコーディングを指定するには Zend_Search_Lucene の API を使用します。 データは、自動的に UTF-8 エンコーディングに変換されます。

しかし、デフォルトのテキスト解析器 (クエリパーサの中でもこれが用いられます) は、 テキストやクエリのトークン化に ctype_alpha() を使用しています。

ctype_alpha() は UTF-8 と互換性がありません。 したがって、この解析器は テキストをインデックス化する前に 'ASCII//TRANSLIT' エンコーディングに変換します。 同じ処理がクエリのパース時にも透過的に行われます。 ^[16]

Zend_Search_Lucene には、 Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8、 Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num、 Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8_CaseInsensitive、 Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive といった UTF-8 解析器も含まれています。

これを有効にするには、以下のようなコードを使用します。

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

これらの解析器を使用するには、PCRE (Perl 互換正規表現) ライブラリを UTF-8 サポート込みでコンパイルしておく必要があります。 PHP のソースコードに同梱されている PCRE ライブラリのソースでは PCRE の UTF-8 サポートは有効になっているのですが、 バンドル版でなく共有ライブラリを使用している場合などは、 OS によって UTF-8 サポートの状態が異なるかもしれません。

PCRE が UTF-8 に対応しているかどうかを調べるには、次のコードを使用します。

if (@preg_match('/\pL/u', 'a') == 1) {
    echo "PCRE は unicode をサポートしています。\n";
} else {
    echo "PCRE は unicode をサポートしていません。\n";
}

大文字小文字を区別しないバージョンの UTF-8 互換解析器を使用する場合は、さらに mbstring 拡張モジュールが必要です。

「mbstring 拡張モジュールは使いたくないけれど、大文字小文字を区別しない検索はしたい」 という場合は、次のようにします。 まず、インデックス化の前に元データを正規化し、 検索の際にはクエリ文字列を小文字に変換します。

// インデックス化
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$doc = new Zend_Search_Lucene_Document();

$doc->addField(Zend_Search_Lucene_Field::UnStored('contents',
                                                  strtolower($contents)));

// 検索用の Title フィールド (インデックス化しますが保存しません)
$doc->addField(Zend_Search_Lucene_Field::UnStored('title',
                                                  strtolower($title)));

// 取得用の Title フィールド (インデックス化せず、保存します)
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('_title', $title));

// 検索
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$hits = $index->find(strtolower($query));