Zend_Search_Lucene utilise l'UTF-8 en interne. Les fichiers d'index stockent des données Unicode dans le "format UTF-8 modifié" de Java. Zend_Search_Lucene supporte totalement ce format, à une exception près. ^[16]

L'encodage des caractères d'entrée peut être spécifié grâce à l'API de Zend_Search_Lucene. Les données seront converties automatiquement en UTF-8.

Cependant, l'analyseur de texte par défaut (aussi utilisé par l'analyseur de requête) utilise ctype_alpha().

ctype_alpha() n'est pas compatible UTF-8, donc l'analyseur convertit le texte vers "ASCII//TRANSLIT" avant l'indexation. Le même processus est utilisé de manière transparente lors du requêtage. ^[17]

Zend_Search_Lucene contient aussi des analyseurs compatibles UTF-8 : Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8_CaseInsensitive, Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8Num_CaseInsensitive.

N'importe quel analyseur peut être activé avec un code comme celui-ci:

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

Tous ces analyseurs nécessitent que la libraire PCRE (Perl-compatible regular expressions) soit compilée avec le support d'UTF-8. Ce support d'UTF-8 pour PCRE est activé par défaut dans les sources des libraires PCRE livrées avec PHP, mais si vous avez utilisé des librairies partagées pour la compilation de PHP, alors le support d'UTF-8 peut dépendre de l'OS.

Utilisez ce code pour vérifier si le support d'UTF-8 est assuré pour PCRE :

if (@preg_match('/\pL/u', 'a') == 1) {
    echo "support UTF-8 pour PCRE activé.\n";
} else {
    echo "support UTF-8 pour PCRE désactivé.\n";
}

Les analyseurs UTF-8 insensibles à la casse ont aussi besoin de l'extension mbstring pour être activés.

Si vous voulez les analyseurs UTF-8 insensibles à la casse, mais que vous n'avez pas mbstring, normalisez alors vos données avant de les indexer ainsi que vos requêtes avant vos recherches, ceci en les tranformant en casse minuscule :

// Indexation
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$doc = new Zend_Search_Lucene_Document();

$doc->addField(Zend_Search_Lucene_Field::UnStored(
                    'contents', strtolower($contents))
              );

// champ titre (indexed, unstored)
$doc->addField(Zend_Search_Lucene_Field::UnStored(
                    'title', strtolower($title))
              );

// champ titre (unindexed, stored)
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('_title', $title));

// Recherche
setlocale(LC_CTYPE, 'de_DE.iso-8859-1');

...

Zend_Search_Lucene_Analysis_Analyzer::setDefault(
    new Zend_Search_Lucene_Analysis_Analyzer_Common_Utf8());

...

$hits = $index->find(strtolower($query));