Zend_Search_Lucene trabalha internamente com o conjunto de caracteres UTF-8. Arquivos de índice armazenam dados unicode no formato de codificação "UTF-8 modificado" usado pelo Java. O núcleo do Zend_Search_Lucene suporta esta codificação plenamente, com uma exceção. ^[15]

A codificação dos dados de entrada pode ser especificada através da API de Zend_Search_Lucene. Os dados serão convertidos automaticamente na codificação UTF-8.

De qualquer modo, o analisador de texto padrão (que também é usado no analisador de consultas) utiliza ctype_alpha() para a separação de texto e consultas em tokens.

ctype_alpha() não é compatível com UTF-8, por isso o analisador converte o texto para a codificação 'ASCII//TRANSLIT' antes da indexação. O mesmo processo é realizado transparentemente durante a análise da consulta. ^[16]

Zend_Search_Lucene também contém um conjunto de analisadores compatíveis com UTF-8: Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8_CaseInsensitive, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive.

Qualquer um desses analisadores pode ser ativado como o código a seguir:

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

Todos estes analisadores necessitam da biblioteca PCRE (Perl-compatible regular expressions) compilada com suporte à UTF-8 ativado. O suporte à UTF-8 do PCRE está ativado nas fontes da biblioteca PCRE fornecidas com o código fonte do PHP, mas se uma biblioteca compartilhada é usada em vez do pacote com as fontes do PHP, então o estado do suporte à UTF-8 vai depender de seu sistema operacional.

Use o seguinte código para verificar, se o PCRE com suporte à UTF-8 está habilitado:

if (@preg_match('/\pL/u', 'a') == 1) {
    echo "PCRE com suporte a Unicode está ativado.\n";
} else {
    echo "PCRE com suporte a Unicode está desativado.\n";
}

Versões dos analisadores compatíveis com UTF-8 insensíveis a maiúsculas e minúsculas precisam também da extensão mbstring habilitada.

Se você não quer ativar a extensão mbstring, mas precisa de buscas sem diferenciação de maiúsculas e minúsculas, pode-se usar a seguinte abordagem: normalizar os dados antes da indexação e a string de consulta antes de pesquisar, convertendo-os em minúsculas:

// Indexando
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$doc = new Zend_Search_Lucene_Document();

$doc->addField(Zend_Search_Lucene_Field::UnStored('contents',
                                                  strtolower($contents)));

// Título de campo para pesquisa direta (indexado, não armazenado)
$doc->addField(Zend_Search_Lucene_Field::UnStored('title',
                                                  strtolower($title)));

// Título de campo para recuperação (não indexado, armazenado)
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('_title', $title));

// Buscando
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$hits = $index->find(strtolower($query));