Überblick

Einführung

Zend_Search_Lucene ist eine komplett in PHP 5 geschriebene Textsuchmaschine für viele Zwecke. Da es seinen Index im Dateisystem ablegt und keinen Datenbankserver erfordert, kann es eine Suchfunktion für nahezu jede auf PHP basierende Website bereitstellen. Zend_Search_Lucene unterstützt die folgenden Funktionalitäten:

Klassifizierte Suche - die besten Ergebnisse werden zuerst zurückgegeben
Viele mächtige Abfragearten: Phrasensuche, Platzhaltersuche, Boolsche Suche, Näherungssuche, Bereichssuche und viele andere.
Suche anhand eines bestimmten Feldes (z.B. Titel, Autor, Inhalt)

Zend_Search_Lucene wurde abgeleitet vom Apache Lucene Projekt. Die aktuell unterstützten Versionen des Lucene Indexformats (beginnend mit Zend Framework 1.6) sind 1.4 - 2.3. Für weitere Informationen über Lucene, besuchen Sie http://lucene.apache.org/java/docs/.

Frühere Zend_Search_Lucene Implementationen unterstützen das Lucene Indexformat 1.4 (1.9) - 2.1.

Beginnend mit Zend Framework 1.5 werden, nach dem Zend_Search_Lucene Update, alle Indezes die mit einem pre-2.1 Indexformat erstellt wurden automatisch in das Lucene 2.1 Format upgegraded und ist daher mit vorherigen Zend_Search_Lucene Versionen nicht mehr kompatibel die in Zend Framework 1.0.x enthalten sind.

Dokumenten- und Feldobjekte

Für die Indizierung verarbeitet Zend_Search_Lucene Dokumente als atomare Objekte. Ein Dokument wird in benannte Felder unterteilt und diese Felder enthalten Inhalte, die durchsucht werden können.

Ein Dokument wird durch die Zend_Search_Lucene_Document Klasse abgebildet und die Objekte dieser Klasse enthalten Instanzen von Zend_Search_Lucene_Field, welche die Felder dieses Objektes repräsentieren.

Es ist wichtig zu beachten, dass dem Index jegliche Informationen hinzugefügt werden können. Anwendungsspezifische Informationen oder Metadaten können in den Dokumentfeldern gespeichert und später bei der Suche aus dem Dokument zurückgeholt werden.

Es liegt in der Verantwortung deiner Anwendung, den Indexer zu kontrollieren. Das bedeutet, dass die Daten aus jeder Quelle indiziert werden können, die von deiner Anwendung aus ansprechbar ist. Zum Beispiel könnten dies das Dateisystem, eine Datenbank, ein HTML Formular, usw. sein.

Die Zend_Search_Lucene_Field Klasse stellt verschiedene statische Methoden zum Erstellen mit unterschiedlichen Charakteristika bereit:

$doc = new Zend_Search_Lucene_Document();

// Feld wird nicht in Token aufgeteilt, aber indiziert und im Index
// gespeichert. Die gespeichertern Felder können aus dem Index abgerufen werden
$doc->addField(Zend_Search_Lucene_Field::Keyword('doctype',
                                                 'autogenerated'));

// Feld wird weder in Token aufgeteilt noch indiziert, aber im Index gespeichert
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('created',
                                                   time()));

// Feld mit einer binären Zeichenkette, die weder in Token aufgeteilt
// noch indiziert, aber im Index gespeichert wird
$doc->addField(Zend_Search_Lucene_Field::Binary('icon',
                                                $iconData));

// Feld wird in Token aufgeteilt und indiziert und im Index gespeichert
$doc->addField(Zend_Search_Lucene_Field::Text('annotation',
                                              'Document annotation text'));

// Feld wird in Token aufgeteilt und indiziert, aber nicht im Index gespeichert
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents',
                                                  'My document content'));

Jede dieser Methoden (ausser der Zend_Search_Lucene_Field::Binary() Methode) hat einen optionalen $encoding Parameter. Er definiert das Encoding für Eingabedaten.

Die Codierung kann für unterschiedliche Dokumente verschieden sein genauso wie für unterschiedliche Felder innerhalb eines Dokuments:

$doc = new Zend_Search_Lucene_Document();
$doc->addField(Zend_Search_Lucene_Field::Text('title',
                                              $title,
                                              'iso-8859-1'));
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents',
                                                  $contents,
                                                  'utf-8'));

Wenn der encoding Parameter nicht angegeben wurde, wird das aktuelle Gebietsschema während der Verarbeitungzeit verwendet. Zum Beispiel:

setlocale(LC_ALL, 'de_DE.iso-8859-1');
...
$doc->addField(Zend_Search_Lucene_Field::UnStored('contents', $contents));

Felder werden immer gespeichert und vom Index in UTF-8 Codierung zurückgegeben. Jede notwendige Konvertierung zu UTF-8 geschieht automatisch.

Text Analysatoren (siehe unten) können auch Text in andere Codierungen konvertieren. Aktuell konvertiert der Standard Analysator Text in die 'ASCII//TRANSLIT' Codierung. Man sollte aber vorsichtig sein; diese Übersetzung hängt vom aktuellen Gebietsschema ab.

Feld Namen werden durch die Auswahl in der addField() Methode definiert.

Java Lucene verwendet das "contents" Feld für die Suche als Standardfeld. Zend_Search_Lucene durchsucht standardmäßig alle Felder, aber dieses Verhalten ist konfigurierbar. Für Details siehe das Kapitel "Standardsuchfeld".

Verstehen der Feldtypen

Keyword (Stichwort) Felder werden gespeichert und indiziert, was bedeutet, dass sie sowohl durchsucht als auch in Suchergebnissen angezeigt werden können. Sie werden nicht in einzelne Worte (Tokens) zerteilt. Datenbankfelder für Aufzählungen lassen sich normalerweise leicht in Keyword Felder für Zend_Search_Lucene überführen.
UnIndexed (unindizierte) Felder sind nicht durchsuchbar, werden aber bei Suchtreffern zurückgegeben. Datenbank Zeitstempel, Primärschlüssel, Pfade des Dateisystems und andere externe Identifikatoren sind gute Kandidaten für UnIndexed Felder.
Binary (binäre) Felder werden nicht in Token aufgeteilt und indiziert, aber für die Rückgabe bei Suchtreffern gespeichert. Sie können für die Speicherung aller Daten, die als binäre Zeichenkette kodiert sind, verwendet werden, wie z.B. eine Grafiksymbol.
Text Felder werden gespeichert, indiziert und in Token aufgeteilt. Text Felder sind geeignet für die Speicherung von Informationen wie Themen und Überschriften, die sowohl durchsuchbar sein müssen, als auch in Suchergebnissen zurückgegeben werden müssen.
UnStored (nicht gespeicherte) Felder werden in Token aufgeteilt und indiziert, aber nicht im Index gespeichert. Umfangreiche Texte werden am besten durch diesen Feldtyp indiziert. Gespeicherte Daten benötigen einen größeren Index auf der Festplatte, wenn du also Daten nur durchsuchbar aber nicht wieder ausgegeben haben musst, verwende ein UnStored Feld. UnStored Felder sind geeignet, wenn ein Zend_Search_Lucene Index in Kombination mit einer relationalen Datenbank verwendet wird. Du kannst große Datenfelder mit UnStored Feldern für die Suche indizieren und sie aus der relationalen Datenbank durch die Verwendung eines separaten Feldes mithilfe eines Identifikators zurückholen.

Tabelle 127. Zend_Search_Lucene_Field Typen

Feldtyp Gespeichert Indiziert In Token aufgeteilt Binär

Keyword Ja Ja Nein Nein

UnIndexed Ja Nein Nein Nein

Binary Ja Nein Nein Ja

Text Ja Ja Ja Nein

UnStored Nein Ja Ja Nein

Feldtyp	Gespeichert	Indiziert	In Token aufgeteilt	Binär
Keyword	Ja	Ja	Nein	Nein
UnIndexed	Ja	Nein	Nein	Nein
Binary	Ja	Nein	Nein	Ja
Text	Ja	Ja	Ja	Nein
UnStored	Nein	Ja	Ja	Nein

HTML Dokumente

Zend_Search_Lucene bietet ein HTML Parsing Feature. Dokumente können direkt von einer HTML Datei oder String erzeugt werden:

$doc = Zend_Search_Lucene_Document_Html::loadHTMLFile($filename);
$index->addDocument($doc);
...
$doc = Zend_Search_Lucene_Document_Html::loadHTML($htmlString);
$index->addDocument($doc);

Die Zend_Search_Lucene_Document_Html Klasse verwendet die DOMDocument::loadHTML() und die DOMDocument::loadHTMLFile() Methode um die HTML Quelle zu analysieren, deswegen benötigt Sie kein gut geformtes HTML noch ein XHTML. Auf der anderen Seite ist es abhängig von der angegebenen Codierung im "meta http-equiv" Tag Header.

Die Zend_Search_Lucene_Document_Html Klasse erkennt Dokument Titel, Body Dokument Header Meta Tags.

Das 'title' Feld ist aktuell der /html/head/title Wert. Er wird inneralb des Index gespeichert, Tokenized und für die Suche zur Verfügung gestellt.

Das 'body' Feld ist aktuell der Inhalt vom Body der HTML Datei oder des Strings. Er enthält keine Skripte, Kommentare oder Attribute.

Die loadHTML() und loadHTMLFile() Methoden der Zend_Search_Lucene_Document_Html Klasse haben auch ein zweites optionales Argument. Wenn es auf TRUE gesetzt wird, wird der Inhalt vom Body auch innerhalb des Index gespeichert und kann vom Index empfangen werden. Standardmäßig wird der Body nur Tokenized und Indiziert, aber nicht gespeichert.

Der dritte Parameter der loadHTML() und loadHTMLFile() Methoden spezifiziert optional die Kodierung des Quell- HTML Dokuments. Er wird verwendet wenn die Kodierung nicht durch die Angabe des Content-type MetaTags HTTP-EQUIV spezifiziert ist.

Andere Dokument Header Meta Tags produzieren zusätzliche Dokument Felder. Der Feld 'name' wird vom 'name' Attribut genommen, und das 'content' Attribut veröffentlicht das Feld 'value'. Beide werden geteilt, indiziert und gespeichert damit damit Dokumente mit Hilfe Ihrer Meta Tags durchsucht werden können (zum Beispiel durch Schlüsselwörter).

Analysierte Dokumente können durch den Programmierer mit jedem anderen Feld ausgegeben werden:

$doc = Zend_Search_Lucene_Document_Html::loadHTML($htmlString);
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('created',
                                                   time()));
$doc->addField(Zend_Search_Lucene_Field::UnIndexed('updated',
                                                   time()));
$doc->addField(Zend_Search_Lucene_Field::Text('annotation',
                                              'Document annotation text'));
$index->addDocument($doc);

Dokument-Links sind im erstellten Dokument nicht enthalten, können aber mit den Zend_Search_Lucene_Document_Html::getLinks() und Zend_Search_Lucene_Document_Html::getHeaderLinks() Methoden empfangen werden:

$doc = Zend_Search_Lucene_Document_Html::loadHTML($htmlString);
$linksArray = $doc->getLinks();
$headerLinksArray = $doc->getHeaderLinks();

Beginnend mit Zend Framework 1.6 ist es auch möglich Links mit dem rel Attribut auszunehmen wenn es auf 'nofollow' gesetzt wird. Man kann Zend_Search_Lucene_Document_Html::setExcludeNoFollowLinks($true) verwenden um diese Option einzuschalten.

Die Zend_Search_Lucene_Document_Html::getExcludeNoFollowLinks() Methode gibt den aktuellen Status des "Exclude nofollow links" Flags zurück.

Word 2007 Dokumente

Zend_Search_Lucene bietet ein Word 2007 Parsing Feature. Dokumente können direkt aus einer Word 2007 Datei heraus erstellt werden:

$doc = Zend_Search_Lucene_Document_Docx::loadDocxFile($filename);
$index->addDocument($doc);

Die Zend_Search_Lucene_Document_Docx Klasse verwendet die ZipArchive Klasse und simplexml Methoden um das Quelldokument zu parsen. Wenn die ZipArchive Klasse (vom Modul php_zip) nicht vorhanden ist, wird Zend_Search_Lucene_Document_Docx auch nicht für die Verwendung mit dem Zend Framework zur Verfügung stehen.

Die Zend_Search_Lucene_Document_Docx Klasse erkennt die Metadaten und den Text des Dokuments. Metadaten bestehen, abhängig vom Inhalt des Dokuments, aus Dateinamen, Titel, Untertitel, Ersteller, Schlüsselwörter, Beschreibung, zuletzt geändert von, Version, Geändert und Erstellt.

Das Feld 'filename' ist der aktuelle Word 2007 Dateiname.

Das Feld 'title' ist der aktuelle Titel des Dokuments.

Das Feld 'subject' ist der aktuelle Untertitel des Dokuments.

Das Feld 'creator' ist der Ersteller des aktuellen Dokuments.

Das Feld 'keywords' enthält die Schlüsselwörter des aktuellen Dokuments.

Das Feld 'description' ist die Beschreibung des aktuellen Dokuments.

Das Feld 'lastModifiedBy' ist der Benutzername der Person die das aktuelle Dokument als letztes geändert hat.

Das Feld 'revision' ist die Versionsnummer des aktuellen Dokuments.

Das Feld 'modified' ist das Datum / die Uhrzeit der letzten Änderung des aktuellen Dokuments.

Das Feld 'created' ist das Datum / die Uhrzeit der Erstellung des aktuellen Dokuments.

Das Feld 'body' ist der aktuelle Inhalt des Word 2007 Dokuments. Es enthält nur normalen Text, Kommentare und Versionen sind nicht enthalten.

Die Methode loadDocxFile() der Zend_Search_Lucene_Document_Docx Klasse hat auch ein zweites optionales Argument. Wenn es auf TRUE gesetzt wird, wird der Inhalt auch mit einem Index gespeichert und kann vom Index empfangen werden. Standardmäßig wird der Inhalt gesplittet und indiziert, aber nicht gespeichert.

Eingelesene Dokumente können vom Programierer mit jedem anderen Feld argumentiert werden:

$doc = Zend_Search_Lucene_Document_Docx::loadDocxFile($filename);
$doc->addField(Zend_Search_Lucene_Field::UnIndexed(
    'indexTime',
    time())
);
$doc->addField(Zend_Search_Lucene_Field::Text(
    'annotation',
    'Anmerkungstext des Dokuments')
);
$index->addDocument($doc);

Powerpoint 2007 Dokumente

Zend_Search_Lucene bietet ein Parsing Feature für Powerpoint 2007. Dokumente können direkt auf einer Powerpoint 2007 Datei heraus erstellt werden:

$doc = Zend_Search_Lucene_Document_Pptx::loadPptxFile($filename);
$index->addDocument($doc);

Die Zend_Search_Lucene_Document_Pptx Klasse verwendet die ZipArchive Klasse und simplexml Methoden um das Quelldokument zu parsen. Wenn die ZipArchive Klasse (vom Modul php_zip) nicht vorhanden ist, wird Zend_Search_Lucene_Document_Docx auch nicht für die Verwendung mit dem Zend Framework zur Verfügung stehen.

Die Zend_Search_Lucene_Document_Docx Klasse erkennt die Metadaten und den Text des Dokuments. Metadaten bestehen, abhängig vom Inhalt des Dokuments, aus Dateinamen, Titel, Untertitel, Ersteller, Schlüsselwörter, Beschreibung, zuletzt geändert von, Version, Geändert und Erstellt.

Das Feld 'filename' ist der aktuelle Powerpoint 2007 Dateiname.