Behobene Fehler
| ID | Description |
|---|---|
HP-1364 | Datengeneratores setzen die Ausführung fort, auch wenn Daten- oder Seed-XML-Dateien nicht gefunden werden können. Kunden könnten aufgrund dieser verbesserten Fehlerresistenz eine erhöhte Indexierung von Daten bemerken. |
Behobene Fehler
| ID | Description |
|---|---|
HP-409 | Beim Filtern nach Benutzenden in der Benutzendenübersicht konnte eine Vervielfachung in der Anzeige Elemente auftreten. |
Neue Features
| ID | Description |
|---|---|
HP-1349 | Verbesserte Handhabung von ZooKeeper-Verbindungen für Cloud-Kunden um Stabilität und Effizienz zu optimieren.. |
HP-1348 | Optimierte Zookeeper-Verbindungen: keine Auswirkungen für Cloud-Nutzer, On-Prem-Nutzer werden feststellen, dass der Server nach der anfänglichen Startphase nur eine Verbindung verwendet. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1321 | AdaptableResults wurden nicht auf die Vorschau einer PreparedSearch im Cockpit angewendet. |
Neue Features
| ID | Description |
|---|---|
HP-1230 | Die verfügbare Menge der Daten, die die Cockpit-Statistik liefert, wurde erweitert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1322 | Kleinere Anpassungen der Dokumentation. |
HP-1320 | AdaptableResults mit Abfragetermen, die bestimmte Sonderzeichen wie '&' enthielten, wurden nicht korrekt maskiert, was zu uneditierbaren/unlöschbaren AdaptableResults führte. Möglicherweise muss der Browser-Cache gelöscht werden. |
HP-548 | Ein fehlender Parameter 'prefix' bei Autocomplete-Anfragen führte zu einen HTTP Status von 500 statt 400. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1307 | Das Makro {modulename} wird in der Dokumentation nun richtig interpretiert. |
Neue Features
| ID | Description |
|---|---|
HP-682 | Die Dokumentation wurde über weite Teile angepasst um genderneutral formuliert zu sein. |
Behobene Fehler
| ID | Description |
|---|---|
HP-432 | Die Schaltfläche "Neue Facette" war in bestimmten Fällen ohne ausgewählten DataGenerator fälschlicherweise aktiv. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1257 | Performanceverbesserung bei Abfragen gegen das API gateway. |
Neue Features
| ID | Description |
|---|---|
HP-1263 | Einige kleinere Änderungen an der Dokumentation unserer APIs und Entfernung interner, veralteter APIs. |
HP-1256 | Nur für Cloud-Kunden relevant: Implementierung der Zwischenspeicherung für Groovy-Skripte in der API-Gateway-Suche, wodurch die Leistung und die Antwortzeiten erheblich verbessert wurden. |
HP-939 | Kleinere Anpassungen in der Dokumentation. |
HP-470 | Beschreibung des grundlegenden Konzepts von SmartSearch. |
HP-454 | Dokumentation um das Kapitel Logging erweitert. |
Highlights
Um die indizierten Dokumentes eines Datengenerators über das Cockpit zu löschen, besteht nun auf der Datengenerator-Übersichtsseite für jeden Datengenerator ein Knopf mit dem Symbol eines Radiergummis. Dieser ermöglicht das Entfernen aller Dokumente die durch diesen Datengenerator indiziert sind.
Außerdem entfernt nun das Löschen eines oder mehrerer Datengeneratoren nun auch alle für diese im Index vorhanden Dokumente.
An der API und der entsprechenden Dokumentation (erreichbar im Cockpit unter dem Menu Punkt "API Dokumentation") sind nun außerdem folgende Methoden verfügbar, um per API-Aufruf Daten von Datengeneratoren zu löschen:
Im Zuge der Implementierung wurden außerdem folgende (schon aus der Dokumentation bekannten) Methoden in die API-Dokumentation aufgenommen:
Behobene Fehler
| ID | Description |
|---|---|
HP-1251 | Nur für Cloud-Benutzer: Das Zwischenspeichern von Teilen der PreparedSearch im API-Gateway funktioniert nicht. Dies führt zu langen Ladezeiten, insbesondere bei vielen Datengeneratoren in einer PrepareSearch. |
Neue Features
| ID | Description |
|---|---|
HP-1239 | Neue Methoden zum Entfernen indizierter Dokumente von Datengeneratoren. |
HP-1228 | Code Optimierung des Startens der API Datengeneratoren. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1237 | In manchen Situationen wird die API nicht wieder freigegeben wenn der Status 503 gesetzt wurde. |
HP-877 | Das korrekte Nutzen der Tags in der "Basic"-Ansicht der Statistikseite war nicht möglich, da keinerlei Tags vorgeschlagen wurden. |
Neue Features
| ID | Description |
|---|---|
HP-1011 | INFO Logging bei API Datengeneratoren erweitert. |
HP-871 | Migration Guide auf englisch verfügbar. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1222 | Die Applikation hat bei Überlast keinen Fehler 503 zurückgegeben, wodurch eine entsprechende Reaktion von API Nutzern erschwert wurde. |
HP-1215 | Beim Crawlen von Webseiten konnte es passieren, dass gecrawlte Bilder mit einem leeren Titel im Index landeten. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1181 | Verringern der Schreibzugriffe auf Zookeeper. |
HP-858 | Ausgewählte ungerade Reihen im Cockpit-Browser waren schlecht lesbar. |
Neue Features
| ID | Description |
|---|---|
HP-1198 | Neue API Endpunkte um zu gucken, ob ein API Datengenerator oder eine entsprechende Preparedsearch vorhanden sind. |
Neue Features
| ID | Description |
|---|---|
HP-1122 | Die Liste der Facettenwerte im Facetten-Tab der Prepared Search hat jetzt ein Filterfeld, wenn sie sich im Bearbeitungsmodus befindet. |
Highlights
Es können nun bei Facettenwerten Gewichtungen angegeben werden. Die Gewichtung ist eine Zahl die mit dem Score eines Dokuments mutlipliziert wird. Diese kann zwischen 0.00 und 2.00 liegen. Ergebnisse, die diesem Facettenwert angehören, erhalten eine Gewichtung und werden entsprechend höher oder niedriger in den Suchergebnissen gereiht. Ein Gewichtung von 0.00 führt zur Entfernung aus dem Suchergebnis.
Neue Features
| ID | Description |
|---|---|
HP-1165 | Verbesserter Schutz vor Überlastung durch zu viele Anfragen an die API Datengeneratoren. |
HP-1117 | Es können nun bei Facettenwerten Gewichtungen angegeben werden. |
Aktualisierungshinweis
Damit die Änderungen greifen, ist es notwendig, dass der Server mit dem Parameter "update" gestartet wird.
Neue Features
| ID | Description |
|---|---|
HP-1040 | Neues dynamicField "*_date_range" hinzugefügt um z.B. die Verarbeitung eines Datums ohne Zeit zu ermöglichen. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1141 | Um die Sicherheitslücke CVE-2022-42889 zu mitigieren wurde die betroffene Abhängigkeit auf eine unbetroffene Version angehoben. https://lists.apache.org/thread/n2bd4vdsgkqh2tm14l1wyc3jyol7s1om |
HP-1139 | In der Browser-Ansicht von Datengeneratoren wurde Mehrfachwerte für Felder nicht angezeigt. In der Vorschau-Ansicht von PreparedSearches wurden Mehrfachwerte ohne Trennzeichen angezeigt. |
HP-1077 | Bei Indizierungsproblemen (z.B. bei Mehrfachwerten in Feldern für die nur ein Wert erlaubt ist) werden Dokumente zur Behebung des Problem nachbearbeitet. Diese Nachbearbeitung konnte bei sprachabhängigen Feldern zur Vervielfachung der Werte führen. |
Aktualisierungshinweis
Der externe Datengenerator ist nun 'deprecated'. Er wird somit nicht mehr weiterentwickelt. Es wird nahegelegt, zur Indizierung extern generierter Daten die generische API zu nutzen.
Neue Features
| ID | Description |
|---|---|
HP-1055 | Unsere generische API-Benutzeroberfläche ist jetzt über einen Cockpit-Link verfügbar. Die Dokumentation der API befindet sich in der Referenzdokumentation. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1102 | Die API für die SmartSearch Connect-Objektvorlage reagierte auf das Überschreiben von Feldwerten nicht verlässlich durch Anpassung des Inhaltsfeldes. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1114 | Nur für Cloud Kunden: Ein fehlende Klasse Problem beim API gateway wurde behoben. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1080 | Änderungen an den Synonymen wurden nicht sofort angewendet. |
Neue Features
| ID | Description |
|---|---|
HP-1059 | Synonym- und Stoppwortlisten sind jetzt nach den entsprechenden Sprachen benannt. |
HP-1047 | Feldnamen-Cache beim Neuladen der Sammlung löschen. |
HP-849 | Die Wiederherstellung der Verbindung zum Zookeeper wurde auf exponentielles Backoff mit zufälligem Startpunkt umgestellt. Dies ist besonders im Cloud-Kontext nützlich, da sich bei einem Verbindungsverlust nicht alle Instanzen gleichzeitig neu verbinden. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1078 | Wir haben ein Problem bei der Umwandlung der Synonyme in symmetrische Synonyme behoben, das dazu führte, dass nur Teile als asymmetrisch aufgelistet wurden. |
Highlights
Synonyme können ab jetzt auf zwei Arten angegeben werden:
Ersetzungen: Ersetzungen verhalten sich so, wie sich Synonyme bis jetzt verhalten haben. Ein Suchbegriff wird angegeben und auf eine Liste von Begriffen abgebildet, durch die der Suchbegriff bei einer Suche ersetzt werden soll.
Synonyme Synonyme verhalten sich jetzt so, wie es der Begriff "Synonym" suggeriert. Nun werden pro Sprache eine oder mehrere Reihen von Wörtern gespeichert. Eine Suche nach einem Begriff in einer Reihe von Synonymen liefert die Ergebnisse für alle Begriffe in derselben Reihe.
Ersetzungen, die wie Synonyme konstruiert sind, werden automatisch erkannt und zu Synonymen vereinfacht.
Über eine dedizierte Weboberfläche (Swagger) sind die Bestandteile der neuen generischen REST-API dokumentiert. Darüber hinaus bietet die Swagger die Möglichkeit die einzelen REST-Schnittstellen auszuprobieren. Swagger ist unter kann erreicht werden, indem man an die Basis-URL /swagger-ui/index.html anhängt (bspw. in der Cloud https://companyname.e-spirit.cloud/swagger-ui/index.html)
Behobene Fehler
| ID | Description |
|---|---|
HP-1062 | Es gab ein Problem bei der Überprüfung, ob die Feldnamen bereits in Solr gespeichert sind. Dies könnte dazu geführt haben, dass die veralteten Zookeeper-Knoten vorzeitig gelöscht wurden. |
Neue Features
| ID | Description |
|---|---|
HP-1025 | Synonyme wurden aufgeteilt in Synonyme und Ersetzungen |
HP-856 | Über eine generische API, die mit Swagger dokumentiert ist, können SmartSearch Dokumente hinzugefügt oder gelöscht werden. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1054 | Eine potenziell falsche Behandlung des Erstellungsdatums von Dokumenten erzeugte viele WARN-Meldungen im Log. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1049 | Nur für Cloud Kunden: Das API gateway konnte nicht die i18n Felder auflösen |
Aktualisierungshinweis
Bei der Indizierung mehrerer Werte für ein Feld wurden in einigen Fällen nicht alle Werte im Ergebnisdokument zurückgegeben.
Bei undefinierten Feldtypen werden die Ergebnismengen der Suche für die jeweiligen Felder von nun an alle indizierten Werte zurückgeben.
Diese Korrektur ist beim Einsatz entsprechender Suchabfragen zu berücksichtigen.
Behobene Fehler
| ID | Description |
|---|---|
HP-1043 | Bei der Indizierung mehrerer Werte für ein Feld wurden in einigen Fällen nicht alle Werte im Ergebnisdokument zurückgegeben. Konkret trat das Problem auf, wenn der Feldtyp undefiniert war, das Feld also keinen Feldtyp-Suffix (vgl. Dokumentation) hatte. |
HP-1037 | Einfach Stringwerte in einem JSON wurden in der REST-API V2 nicht richtig escaped. Das führte in der SmartSearch Browseransicht dazu, dass sie mit Anführungszeichen angezeigt wurden. |
Neue Features
| ID | Description |
|---|---|
HP-959 | Das Speichern der Informationen über die Feldnamen, i18n Feldnamen und Sprachen wurde gewechselt vom zookeeper zu Solr. Das führt zu weniger Speicheroperationen auf dem zookeeper und verbessert die Stabilität. |
Behobene Fehler
| ID | Description |
|---|---|
HP-1002 | Adaptable Results mit mehreren Suchbegriffen können nicht erneut bearbeitet werden. |
Neue Features
| ID | Description |
|---|---|
HP-1036 | Die Trennzeichen von Feldern als auch die Bezeichner für FirstSpirit-Metadaten-Felder nach Entgegennahme durch die Version 2 der SmartSearch-Connect-API waren fehlerhaft. |
Behobene Fehler
| ID | Description |
|---|---|
HP-941 | Ein Array von Stringwerten der der Generic-API übergeben wird, wurde nicht als Multivaluefeld angelegt. |
HP-889 | Quelldokumente haben Leerzeichen am Anfang und Ende in Datenfelder |
Neue Features
| ID | Description |
|---|---|
HP-1024 | Alpha-Version einer neuen FirstSpirit-API verfügbar (Zu aktivieren in den Projekteinstellung des entsprechenden FirstSpirit-Projektes). |
Behobene Fehler
| ID | Description |
|---|---|
HP-1007 | In der Spalte "Token" der AdaptableResults wurden die Feldnamen bereinigt. Es wurde ein Problem bei der Erstellung eines neuen AdaptableResults behoben, bei dem der Benutzer auf "Zurücksetzen" klicken musste, um einen Suchbegriff einzugeben. |
Neue Features
| ID | Description |
|---|---|
HP-1006 | Einsatz einer SpringBoot-Version, die CVE-2022-22965 behandelt. |
Highlights
Die Spring Sicherheitslücke CVS-2022-22965 wurde entschärft. Änderungen an der Konfiguration sind nicht notwendig.
Behobene Fehler
| ID | Description |
|---|---|
HP-1005 | Die Spring Sicherheitslücke CVS-2022-22965 wurde entschärft. |
HP-1004 | Das "urls"-Feld eines an die API übergebenen FirstSpirit-Mediums hatte nicht den Namen der überliegenden FS_REFERENCE im indizierten Feldnamen. |
Behobene Fehler
| ID | Description |
|---|---|
HP-998 | Ein Problem mit URL-codierten Zeichen bei den Adaptable Results wurde behoben. |
Neue Features
| ID | Description |
|---|---|
HP-809 | Dokumentationslinks im Cockpit führen jetzt direkt zur richtigen Dokumentation. |
Behobene Fehler
| ID | Description |
|---|---|
HP-997 | Ein Javascript-Fehler verhinderte in manchen Fällen das erfolgreiche Einloggen. |
Highlights
In der Bearbeitungsansicht der Prepared Search gibt es jetzt einen Tab mit einer Vorschau. Dort kann man Suchbegriffe eingeben und die Ergebnisse ansehen und filtern, wie auf einer live Seite.
Neue Features
| ID | Description |
|---|---|
HP-990 | Das Zeichenlimit für das Tika-Parsing ist jetzt konfigurierbar.In der Vergangenheit war dies auf 100k Zeichen festgelegt. Ein int-Wert für die Eigenschaft 'haupia.server.tika.character.limit' (Standard: 500k) ist nun verfügbar, um diese Grenze zu ändern. |
HP-976 | Es gibt jetzt eine Vorschau für Prepared Searches |
Aktualisierungshinweis
Die Datenstruktur von SmartSearch lässt für folgende statische als auch dynamische Felder keine Mehrfachen Werte pro konkretem Feldnamen zu:
Statische Felder: id, title, content, link, thumbnail, language Dynamische Felder: *_date, *_long, *_integer, *_double, *_sort, *_sort_de, *_token, *_pnt, *_autocomplete, *_expanded_autocomplete
Erkennt eine Datengenerierung nun dass mehrere Werte für ein solches Feld an einem Dokument vorliegen, so wird nur der erste aufgetretene Wert als Feldwert verwendet und das Dokument dennoch in den Index übertragen, anstatt wie bisher das Dokument nicht zu indizieren.
Dies gilt es für die konkrete Nutzung von SmartSearch nach diesem Update zu beachten.
Neue Features
| ID | Description |
|---|---|
HP-944 | SmartSearch bereinigt nun unzulässige Mehrfachwerte an Felder die nur einen Wert akzeptieren automatisch bei der Datengenerierung. |
HP-829 | Man kann jetzt für Suchbegriffe, die kein Ergebnis liefern Adaptable Results anlegen. |
Aktualisierungshinweis
SmartSearch selber ist nicht von Log4J CVE-2021-44228 betroffen. Das Gleiche gilt für die eingesetzten Zookeeper Versionen. Bei Solr ist folgende Anpassung der Konfiguration notwendig:
(Linux/MacOS) In der Datei solr.in.sh folgendes ergänzen
SOLR_OPTS="$SOLR_OPTS -Dlog4j2.formatMsgNoLookups=true"
(Windows) In der Datei solr.in.cmd folgendes ergänzen
SOLR_OPTS=%SOLR_OPTS% -Dlog4j2.formatMsgNoLookups=true
Behobene Fehler
| ID | Description |
|---|---|
HP-960 | CVE-2021-44228 |
Neue Features
| ID | Description |
|---|---|
HP-946 | Serverzeit- und Zeitzonen-Informationen zum Zeitplanungs-Widget hinzugefügt. |
Behobene Fehler
| ID | Description |
|---|---|
HP-942 | Die Hot Injection eines XML-Datengenerators lehnte fälschlicherweise eine JSON- oder "Plain-Text"-Liste an XML-URLs ab. |
HP-930 | Connect API: Felder mit Bild-URLs haben den Namen des Bildes und können somit nicht gleichbleibend referenziert werden. |
Neue Features
| ID | Description |
|---|---|
HP-956 | Nur für Cloud-Kunden relevant: Das Verhalten zum Speichern der Feldnamen beim API DG wurde geändert um die Last auf den zk zu reduzieren. |
Behobene Fehler
| ID | Description |
|---|---|
HP-929 | Ein fehlerhaftes Verarbeiten der Eingangssprache konnte dazu führen, dass die Sprachdaten in Solr nicht korrekt hinterlegt wurden. |
Neue Features
| ID | Description |
|---|---|
HP-926 | Die intern verwendete SolrJ-Version wurde auf 8.6.3 angehoben und damit das Upgrade auf Solr 8.6.3 abgeschlossen. |
Highlights
Seit der Einführung der Java Server Pages bzw. Jakarta Server Pages Ende der 1990 Jahre hat sich an dieser Technologie nicht mehr viel verändert.
Im Kontext von Suchergebnisseiten ist die Verwendung von JSP Tags nicht mehr Zeitgemäß. User erwarten heutzutage zum Beispiel beim Klicken auf einen Filter eine direkte Aktion in der Ergebnisliste, ohne Nachladen der Seite.
Diese neuen Anforderungen lassen sich mit unserer neuen JavaScript Bibliothek umsetzen. Weitere Details finden Sie in der Dokumentation der JS Bibliothek unter https://docs.e-spirit.com/module/smartsearch.js/smartsearchjs_Developer-Documentation_EN.html
Aktualisierungshinweis
Bisher hatten URLs zu Bilder, die mittels SmartSearch Connect übermitelt wurden immer den Namen "FS_L*picture". Wurden diese Bilder verwendet, muss dieses an den entsprechenden Namen des FirstSpirit Eingabekomponente angepasst werden ("FS_L**").
Nach dem Upgrade auf die Solr Version 8.6.3 wurde nun die Verarbeitung the Ukrainischen Sprache wieder aktiviert. Nur für on-premise Kunden: Der Update Pfad ist in der Migrations Dokumentation beschrieben.
Behobene Fehler
| ID | Description |
|---|---|
HP-908 | Die Ladenachricht am Ende von endlos scrollbaren Abschnitten auf Listenseiten im Cockpit wird jetzt nur angezeigt, wenn es auch etwas zu laden gibt. |
HP-895 | Wenn ein Bild indiziert wird, spiegelt sich sein Name im Namen des resultierenden SmartSearch-Dokumentfeldes wider. |
Neue Features
| ID | Description |
|---|---|
HP-919 | Nur für Cloud Kunden: Wir haben weitere Labels hinzugefügt um den Betrieb zu verbessern. |
HP-896 | Wenn CMS_INPUT_DATE-Felder indiziert werden, werden ihre Werte in ein entsprechendes Datumsfeld im SmartSearch-Dokument kopiert. |
HP-893 | Es ist nicht mehr möglich während einer Datengenerierung eine Hot Injection oder Hot Deletion auszuführen. Der Aufruf des REST Service liefert in diesem Fall einen HTTP status code 409 (Conflict). |
HP-872 | Hinzufügen der Anmerkung zur Abkündigung der JSP-Taglibrary |
Highlights
Solr bietet eine Statistikkomponente, um einfache Statistiken für numerische, String- und Datumsfelder im Dokumentensatz zu erhalten. Diese Statistiken sind jetzt Teil der Prepared Search Antwort. Um dieses Feature zu nutzen, müssen sie das Groovy-Skript der PreparedSearch wie folgt erweitern:
solrQuery.set('stats', 'true') solrQuery.set('stats.field', <your-field>)
Behobene Fehler
| ID | Description |
|---|---|
HP-584 | Eine großen Zahl konfigurierter Komponenten führte im Cockpit teilweise zu sehr hohen Ladezeiten bis hin zu abgebrochenen Ladevorgängen. Dies wurde behoben durch Implementierung einer "infinity scroll"-Paginierung. |
Neue Features
| ID | Description |
|---|---|
HP-888 | Solr-Statistikfeld zur JSON-Antwort hinzugefügt. |
Neue Features
| ID | Description |
|---|---|
HP-854 | Übersetzung der Dokumentation |
Behobene Fehler
| ID | Description |
|---|---|
HP-890 | Ein Anzeigefehler bei den Synonymen wurde behoben. Zwei gegenläufige Syonyme Definitionen wurden zusammengefasst, was zu einer falschen Anzeige führte. |
HP-878 | Datengeneratoren, die trotz eines Generierungsvorgangs keine Dokumente indizieren, können zu Anzeigeproblemen bei verknüpften PreparedSearch-Instanzen führen. |
Aktualisierungshinweis
Beim Update muss geprüft werden, ob bei einer bestehenden Installation das "token" Feld den class type "solr.StrField" hat. Wenn nicht, muss der Class Type des Feldes mit folgendem Solr Command geändert werden:
{
"replace-field-type":{
"name":"token",
"class":"solr.StrField"
}
}
(Solr commands können im Solr Backend abgesetzt werden. Dort muss die entsprechende Collection ausgewählt werden und in der Navigation der Eintrag "Documents". Auf der Seite muss dann der request handler auf "/schema" und der document type auf "Solr Command (raw XML or JSON") geändert werden. Dann muss der obige Command in das Feld Document(s) kopiert werden und abschließend auf "Submit Document" geklickt)
Behobene Fehler
| ID | Description |
|---|---|
HP-855 | Der class type des token Feldes wurde auf "solr.StrField" geändert um Probleme beim Gruppieren mit Solr 8.6.3 zu lösen. |
HP-833 | Statt der Nutzerrechte zum Anzeigen und Löschen einer AdaptableResult wurden fälschlicherweise bei den entsprechenden Zugriffen die jeweiligen Rechte einer PreparedSearch angewendet. |
HP-820 | Beim Arbeiten mit den AdaptableResults ist es unter Umständen zu einer ClassCastException gekommen beim Zugriff auf den Inhalt des 'title'-Feldes. Jetzt wird geprüft, ob der Inhalt aus einem oder mehreren Werten besteht. |
Neue Features
| ID | Description |
|---|---|
HP-852 | Eine interne API-Methode um einen API-Datengenerator mit entsprechender PreparedSearch hinzuzufügen wurde implementiert. Eingesetzt wird diese für die Integration mit SmartSearchConnect. |
HP-621 | In der mit der Software ausgelieferten PDF Entwicklerdokumentation gab es Probleme mit der Darstellung von Codebeispielen sowie Tabellen. Auch waren einzelne Parameter falsch beschrieben. |
Behobene Fehler
| ID | Description |
|---|---|
HP-851 | Exception während der Verarbeitung von Events werden nun abgefangen. Dies führte zu unerwünschtem Abmelden vom Event Bus. |
Highlights
Mit dem neuen API Endpunkt können alle Daten vor einem bestimmten Zeitpunkt gelöscht werden, indem man einen DELETE Request an /{type}/{datageneratorName}/deleteAllBefore schickt (zb. /xml/my_xml_dg/deleteAllBefore) der Zeitpunkt wird dabei im Body wie folgt übergeben:
{"timestamp" : "2021-05-06T10:50:35.030Z"}
Wichtig ist, hierbei die Zeit des SmartSearch Servers zu verwenden.
Aktualisierungshinweis
Im Migration Guide für Version 2.2.0 gibt es ein Update bezüglich Gruppierung in der Prepared Search.
Behobene Fehler
| ID | Description |
|---|---|
HP-797 | Nur für Cloud Kunden: Das intern verwendete Solr-Schema wurde upgedated. |
Neue Features
| ID | Description |
|---|---|
HP-842 | Der info Endpunkt beinhaltet nun auch Informationen über den letzten git commit. Diese information kann für eine Fehlersuche verwendet werden. |
HP-830 | Das Timeout für eine Session im Cockpit ist jetzt über die application.yml konfigurierbar |
HP-787 | Es gibt eine neue API zum Löschen aller Dokumente vor einem bestimmten Zeitpunkt. |
Highlights
Im Zuge der Integration von haupia in das FirstSpirit-Ökosystem wurde das Produkt in SmartSearch umbenannt. Dabei wurde das Cockpit optisch überarbeitet und in der Dokumentation heißt haupia jetzt SmartSearch.
Aktualisierungshinweis
Das Passwort und der Name für den mitgelieferten keystore hat sich geändert. Wenn auf den neuen keystore gewechselt wird (was nur in einem Entwicklungsbereich gemacht werden sollte), dann müssen in der application.yaml die Werte auch entsprechend angepasst werden. Die neuen notwendigen Werte können der application.yaml aus dem release zip entnommen werden.
Neue Features
| ID | Description |
|---|---|
HP-698 | Bei der alphabetischen Sortierung von Listen die im Cockpit dargestellt werden wird jetzt die Groß- und Kleinschreibung nicht berücksichtigt |
HP-507 | haupia wurde in SmartSearch umbenannt |
Behobene Fehler
| ID | Description |
|---|---|
HP-825 | In gewissen Konstellationen wurden fälschlicherweise Dokumente mit mehreren Titeln im Index angelegt. |
Neue Features
| ID | Description |
|---|---|
HP-826 | Das reindex tool verhindert mehrere Werte im title Feld in dem bei Bedarf der erste Wert genommen wird |
HP-824 | Der Standardwert für das Autocommit der Solr collections wurde von 15 Sekunden auf 20 Minuten erhöht. Das verringert die IO Last auf dem Solr Server. |
Aktualisierungshinweis
Der web datagenerator erzeugt nicht mehr das Feld "original_html_stored_only_big". Wenn das Feld gebraucht wird kann das folgende groovy Script Snippet verwendet werden um das Feld zu erzeugen:
import de.arithnea.haupia.constants.FieldNameConstants
document.addData(FieldNameConstants.ORIGINAL_HTML_STORED_ONLY, jsoupDocument.html())
Bisher wurden Metadaten an FirstSpirit-Elementen dem 'content'-Feld im Suchindex hinzugefügt. Dies ist nun nicht mehr der Fall. Die Metadaten werden nun - so vorhanden - in eigenen Metadaten-Felder mit dem Präfix 'FS_META_*' im Suchindex gepeichert.
Sollten die Inhalte für die Suche relevant sein, so müssen diese Metadaten-Felder des betroffenen Datengenerators in der PreparedSearch als zu Durchsuchen und gegebenenfalls Auszugeben markiert werden.
Neue Features
| ID | Description |
|---|---|
HP-819 | Die automatische Generierung des Feldes "original_html_stored_only_big" wurde entfernt um die Index Größe zu optimieren. |
HP-784 | Nur für Cloud Kunden: Aktualisierung der Kubernetes Deployment-Konfiguration auf 'RollingUpdate'. |
HP-783 | Nur für Cloud Kunden: Die zookeeper URL wurde auf einen Load Balanced Endpoint gewechselt. |
HP-365 | Verarbeiten der FirstSpirit-Metadaten von z.B. Seiten und Medien. |
Behobene Fehler
| ID | Description |
|---|---|
HP-806 | Das reindex tool prüfte den Inhalt von autocomplete Felder, die nicht mehr gespeichert werden. Diese Felder werden nun bei der Prüfung auf Korrektheit (sanity check) ignoriert. |
Neue Features
| ID | Description |
|---|---|
HP-807 | Eine Migrationsanleitung für Version 2.2 wurde der Dokumentation hinzugefügt |
Behobene Fehler
| ID | Description |
|---|---|
HP-801 | Es gab einen Fehler beim Durchsuchen von Chinesischen Daten. Dies wurde behoben. Bitte beachten Sie das beim Setzen der chinesischen Sprache beim REST Aufruf entweder "zh-cn" oder "zh-tw" angegeben werden muss. |
Highlights
Spring Boot wurde auf Version 2.3 aktualisiert. Dieses Update erfordert eine Anpassung an der lokalen application.yaml-Datei. Die notwendigen Anpassungen sind im Migrationsleitfaden beschrieben.
Neue Features
| ID | Description |
|---|---|
HP-577 | Einige externe Bibliotheken wurden aktualisiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-796 | Nur für Cloud Kunden: Bei der Auswahl der Synonymliste auf der Synonyme Bearbeiten Seite im Cockpit wurden die managed Resources ignoriert was zu einem leeren Drop Down bei der Auswahl führte. |
Neue Features
| ID | Description |
|---|---|
HP-775 | Nur für Cloud Kunden: Neue Prometheus Metriken um den Zugriff auf das ZooKeeper-Ensemble besser überwachen zu können. |
HP-765 | Nur für Cloud Kunden: Anpassung des JVM Parameters MaxRamPercentage um OutOutMemory Fehler zu vermeiden. |
HP-761 | Es ist nicht mehr möglich einen Datengenerator öfters zu starten. Beim erneuten Starten eines Datengenerator bevor dieser fertig ist wird der HTTP status code 409 (Conflict) zurückgegeben. Aufrufe der Hot Injection ist davon nicht betroffen. |
HP-622 | Nur für Cloud Kunden: Aktualisierung des Docker Base-Image auf adoptopenjdk/openjdk11:alpine-jre, um den Speicherverbrauch zu minimieren und mögliche Sicherheitslücken zu entfernen. |
Behobene Fehler
| ID | Description |
|---|---|
HP-774 | Der timeout des XML crawler zum Warten auf das nächste Dokument ist nun konfigurierbar |
Behobene Fehler
| ID | Description |
|---|---|
HP-752 | NullPointerException behoben, die bei der zeitlichen Planung von Datengeneratoren beim start auftrat. |
HP-724 | Beim Speichern von API-Datengeneratoren wurde die Konfiguration unter Umständen nur verzögert aktualisiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-751 | Nur für Cloud Kunden: Es wurden doppeltes scheduling verhindert |
Behobene Fehler
| ID | Description |
|---|---|
HP-750 | Ein Problem wurde behoben bezüglich der Initialisierungsreihenfolge der Beans. |
Neue Features
| ID | Description |
|---|---|
HP-748 | Nur relevant für Cloud Kunden: Das automatisierte Starten der Datengeneratoren wurde verbessert. |
Highlights
Die Lucene Match Version wurde von 6.0.0 auf 8.1.1 angehoben. Informationen zu den internen Änderungen bei Lucene zwischen den Versionen gibt es auf der lucene news page.
Das title Feld wird jetzt als Pflichtfeld durchgesetzt. Wenn das Feld fehlt wird es mit einem leeren String gesetzt.
Für jede Sprache wurde das dynamische Feld "*_expanded_autocomplete" hinzugefügt. Das autocomplete Feld hat einen zusätzlichen shingle Filter um autocomplete über zwei Tokens zu ermöglichen.
Die Konfiguration der Synonyme wurde von "ManagedSynonymFilterFactory" auf "ManagedSynonymGraphFilterFactory" geändert. Dies sollte den Umgang mit multi-token Synonymen verbessern. Zitat hierzu aus der Solr Dokumentation: "This filter is a replacement for the Managed Synonym Filter, which produces incorrect graphs for multi-token synonyms".
Die Liste der Sprachen wurden um folgende erweitert:
Das Feld "*_stored_only" ist nun auf 32766 Zeichen begrenzt. Für Inhalte größer als 32766 Zeichen kann das Feld "*_stored_only_big" verwendet werden. Mit dieser Änderung wurde das Feld "original_html_stored_only" in "original_html_stored_only_big" umbenannt.
Es wurde das Feld "*_pnt" hinzugefügt zum Speichern von lat/lon Informationen. Die lat und lon Werte müssen durch ein Komma getrennt werden. Beispiel: "1.23,2.34".
Zum Sortieren und Gruppieren wurde das Feld "*_token" eingeführt. Das Feld ist ähnlich zu "*_sort" aber wandelt den Inhalt nicht zu lowercase.
Eine weitere Variation von Keyword wurde eingeführt mit dem Feld "*_keyword_lc". Das Feld behandelt den Inhalt als Keyword wandelt diesen aber in lowercase um.
Behobene Fehler
| ID | Description |
|---|---|
HP-681 | Der autocomplete Service berücksichtigt nun den neuen keyword lowercase Feldtyp. Wenn ein Feldname mit diesem Typ dem Service übergeben wird, wird kein Sprachabhängiger Suffix angehängt und der Feldname so verwendet wie übergeben. |
Neue Features
| ID | Description |
|---|---|
HP-719 | Betrifft nur cloud: Wenn man die Konfiguration ändert, werden jetzt automatisch die Server und API-Gateway Deployments upgedated. |
HP-658 | Das Operation Manual ist jetzt Teil der SmartSearch-Dokumentation |
HP-635 | Das Schema wurde angepasst auf die Solr Version 8.1.1 |
Neue Features
| ID | Description |
|---|---|
HP-686 | Nur für Cloud-Kunden relevant: Das Docker-Image wurde um den Parameter resetAdminPasswort erweitert um im Falle eines Verlusts des Admin-Passworts schneller reagieren zu können. |
Behobene Fehler
| ID | Description |
|---|---|
HP-677 | PreparedSearches konnten in der Cockpit-Listenansicht nicht gelöscht werden. |
HP-649 | Beim Nutzen der Hotinjection entsprachen die erlaubten Inhalte des Request-Headers "Content-Type" nicht den in der Dokumentation erlaubten Werten. |
Neue Features
| ID | Description |
|---|---|
HP-680 | Die empfohlene ZooKeeper-Version ist nun 3.4.10. |
Behobene Fehler
| ID | Description |
|---|---|
HP-589 | Ein Fehler wurde behoben bei dem in der Bearbeitungsmaske einer PreparedSearch Felder nicht angezeigt wurden, wenn ein referenzierter Datengenerator gelöscht wurde. |
Neue Features
| ID | Description |
|---|---|
HP-650 | Nur für Cloud-Kunden relevant: Die Metriken des API Gateways wurden erweitert. |
HP-647 | Nur für Cloud-Kunden relevant: Die health Indikatoren der Services wurde verbessert. |
HP-597 | Die interne SolrJ Version wurde auf 8.1 angehoben. |
Behobene Fehler
| ID | Description |
|---|---|
HP-646 | Cloud only: Fix eines Versionsproblems zwischen solr und zookeeper |
Behobene Fehler
| ID | Description |
|---|---|
HP-620 | Ein Problem mit dem Import alter haupia 1 Datengenerator XML-Konfigurationen wurde behoben |
Neue Features
| ID | Description |
|---|---|
HP-600 | Nur für Cloud-Kunden relevant: Hinzufügen eines Prometheus-ServiceMonitors. |
HP-542 | Nur für Cloud-Kunden relevant: Verbesserung der Performanz des API-Gateways durch das Hinzufüges eines Kubernetes HorizontalPodAutoscalers. |
Neue Features
| ID | Description |
|---|---|
HP-607 | Nur für Cloud-Kunden relevant: Zusammenführung der CORS Konfiguration in die application.yml. |
Aktualisierungshinweis
Die Dokumentation wurde um eine Anleitung ergänzt, um die ZooKeeper Komponente auf den neuesten Stand zu bringen.
Behobene Fehler
| ID | Description |
|---|---|
HP-591 | Das Reindex-Tool validiert die Ergebnisse mit der Solr id statt mit der _document_id. |
Neue Features
| ID | Description |
|---|---|
HP-588 | Upgrade auf ZooKeeper 3.5.5. |
HP-572 | Sollte während des Erfassens der Leader-URI die zookeeper-Verbindung invalide werden, so wird nun die zookeeper-Verbindung neu aufgebaut. |
HP-536 | Update auf Java 11 |
Behobene Fehler
| ID | Description |
|---|---|
HP-571 | Beim Nutzen der Java API konnte eine Exception beim Deserialisieren des facet-JSON auftreten. |
Neue Features
| ID | Description |
|---|---|
HP-570 | Beim Erfassen von Daten wird das language Feld jetzt immer auf das ISO 639-1 Sprachkürzel gekürzt also aus "de_DE" wird nur das "de" berücksichtigt. |
HP-559 | Das Reload der collection auf der Datengenratoren Seite funktionierte nicht wegen der Endpunkt ein Alias war. Der Alias wird nun auf die eigentliche Collection aufgelöst. |
Behobene Fehler
| ID | Description |
|---|---|
HP-564 | Bei der Datengenerierung bieten GroovySkript-Enhancer nun die Möglichkeit durch Aufruf der Methode 'setSingleValue' einen Wert am Dokument zu setzen, welcher bisherige Werte des gleichen Keys überschreibt. |
HP-544 | Ein Schrägstrich am Ende von URLs führt bei kanonischen Links nicht mehr zu Problemen. |
Neue Features
| ID | Description |
|---|---|
HP-541 | CORS wurde im API-Gateway konfigurierbar gemacht. |
Behobene Fehler
| ID | Description |
|---|---|
HP-531 | Autocompleteanfragen ergaben nicht immer Vorschläge die zu Suchergebnisse führen. |
Neue Features
| ID | Description |
|---|---|
HP-538 | Metriken sind geschützt (health ist frei erreichbar). |
Behobene Fehler
| ID | Description |
|---|---|
HP-530 | Hinzufügen eines Links zu einem Adaptable Result funktionierte nicht korrekt, und konnte einen Fehler 404 erzeugen. |
HP-513 | Die Werte bei der Filterung mittels Facette können nun auch + Zeichen enthalten. |
HP-502 | Es wurde ein neuer Rückgabewert bei den Facetten der Prepared Search speziell für die Abfrage mittels URL. |
Neue Features
| ID | Description |
|---|---|
HP-516 | Wird über das GroovyScript in einer PreparedSearch eine Gruppierung aktiviert, so enthält die Antwort nun das Feld 'numRows' für jede Gruppe und gibt die Anzahl der Treffer innerhalb der Gruppe wieder. |
Behobene Fehler
| ID | Description |
|---|---|
HP-506 | Die statistische Auswertung vergangener Suchanfragen konnte scheitern wenn zu viele PreparedSearches ausgewählt waren, und so einen Fehler mit dem Code 500 auslösen. |
Neue Features
| ID | Description |
|---|---|
HP-494 | Die vordefinierten Felder einer neuen PreparedSearch wurden optimiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-514 | Der Boost-Wert von Dokumenten wurde zum Abfragezeitpunkt nicht korrekt ausgewertet. |
Behobene Fehler
| ID | Description |
|---|---|
HP-510 | Die 'term’s für die Autocomplete-Funktion werden zur Normalisierung in Kleinbuchstaben gewandelt. Dies geschieht nun auch automatisch bei der Abfrage des Autocomplete-REST-Service mit entsprechendem Prefix. |
Neue Features
| ID | Description |
|---|---|
HP-499 | Autocomplete-Probleme bei sehr großen Textmengen wurden behoben: Wenn das content-Feld über alle Dokumente hinweg große Textmengen beinhaltete, konnte dies zu einer Fehlerantwort mit Code 500 führen. |
Aktualisierungshinweis
Wichtige Anpassung der Konfiguration: Bitte fügen sie folgende Konfigurationen der application.yml hinzu, um ein Scheitern der Konfigurationsprüfung beim Start der Applikation zu vermeiden.
management:
health:
ldap:
enabled: false
solr:
enabled: false
Behobene Fehler
| ID | Description |
|---|---|
HP-456 | Bei Facetten-Filtern wurde nicht geprüft ob die Facette auch konfiguriert wurde. Wurde zum Beispiel der Parameter "facet.filter.language=de" übergeben, so wurde immer entsprechend gefiltert, unabhängig von der Konfigration. |
Neue Features
| ID | Description |
|---|---|
HP-416 | Update der internen Abhängigkeiten. |
Behobene Fehler
| ID | Description |
|---|---|
HP-424 | Eine potentiell problematische Generierung von SOLR-Dokumenten-Ids bei Datengenerator-Namen, welche auf Ziffern endeten, konnte in Sonderfällen zu fehlenden Dokumenten in betroffenen Datengeneratoren führen. |
Behobene Fehler
| ID | Description |
|---|---|
HP-408 | Das Konfigurieren einer 'Mindestanzahl Dokumente zum Löschen' führte im Datengenerator zum Verbleiben alter Dokumente im Index. |
HP-386 | Rechte an einer gelöschten Gruppe waren an neuer Gruppe mit dem selben Namen gesetzt. |
HP-385 | Das Mehrfachlöschen von Gruppen war zeitweise nicht möglich. |
Highlights
SmartSearch kann sich nun an einem mit Basic Authentifizierung abgesicherten Solr anmelden.
Aktualisierungshinweis
Die Konfiguration für die abgesicherte Kommunikation wird in der application.yml vorgenommen. Die entsprechenden Keys sind "solr.auth.username" und "solr.auth.password". Wenn die Kommunikation zwischen haupia und Solr zusätzlich noch auf https umgestellt werden soll, muss der Key "solr.url.scheme" auf den Wert "https" gesetzt werden.
Behobene Fehler
| ID | Description |
|---|---|
HP-387 | Bei der Verwendung von mehreren XML-Seeds konnte es zu Parsing-Fehler kommen, woraufhin nur die letzte Seed-Datei verarbeitet wurde. |
Neue Features
| ID | Description |
|---|---|
HP-343 | Basic Authentifizierung für Kommunikation mit Solr implementiert. |
Behobene Fehler
| ID | Description |
|---|---|
HP-338 | Beim Aufrufen der Login-Seite konnte es zu einem unkritischen JavaScript-Fehler kommen. |
|
Tags: recommendation, cockpit, update |
Auf den Listenseiten im Cockpit ist es nun möglich nach bestimmten Spalten zu Sortieren. Durch wiederholtes Clicken kann die Reihenfolge geändert oder das sortieren aufgehoben werden.
Neue haupia-Auslieferungen können ab diesem Release beim Update nötige Anpassungen der Solr- sowie zookeeper-Instanzen selbst vornehmen. Details zu diesem Vorgehen sind der Dokumentation zu entnehmen.
Alle Eingabefelder für Groovy-Code im Cockpit sind nun mit ihren zugehörigen Methoden-Signaturen versehen. Dies soll die Entwicklung von Grovy-Skripten erleichtern.
Bisher war es möglich, dem Admin-User die Rechte zum Bearbeiten der Gruppenberechtigungen zu nehmen. Dies hatte zur Folge, dass sich potentiell alle User aussperren ließen. Dies wurde behoben und im Falle der Verwendung von zookeeper als Userdatenpersistierung wird dem Admin-User immer die Berechtigung gegeben, die Gruppenberechtigungen zu bearbeiten.
Der Filter auf der Content Recommendation Listenseite funktioniert jetzt.
Die Buttons zum Speichern der User sind nun konsistent enabled oder disabled.
Die Enhancer-Ansicht innerhalb eines Datengenerators zeigt nun wieder die Elemente zum Verschieben und Entfernen im Titel an.
Es war im Cockpit möglich auf der User Edit Seite den User aus der Gruppe "USERS" zu entfernen. Dies wurde zwar beim Speichern der Änderungen ignoriert irritiert aber in der Darstellung. Der Entfernen Button aus der Gruppe "USERS" wurde entfernt.
|
Tags: Solr ,User Management, LDAP |
|
Es existiert ein Sicherheitslücke in Solr für Versionen vor Solr 7.0, welche aufgrund der genuztten Version 6.5 derzeit auch haupia betrifft: https://issues.apache.org/jira/browse/SOLR-13301 Diese Sicherheitslücke kann bei Zugriff auf die Solr-Instanz für Angriffe genutzt werden. Solr empfiehlt hier als eine Möglichkeit der Absicherung: "Disable the ConfigAPI if not in use, by running Solr with the system property disable.configEdit=true" Um dies zu erreichen, sollte dem Solr-Prozess beim Start die Option
Alternativ kann die Datei
|
Es ist nun möglich, für die User und Gruppen einen LDAP Server (nur lesend) zu verwenden. Als LDAP Server wird OpenLDAP in der Version 2.4.x unterstützt.
Die aktuelle Sprache des Cockpit ist nun in der Sprachauswahl nicht mehr auswählbar und fett markiert.
Beim Anlegen einer Content Recommendation wird nun der notwendige Re-Sync mit dem korrekten Datengeneratoren Namen durchgeführt.
Die URL der content recommendation API wurde der von der prepared search angeglichen. Es wurde die Reihenfolge in der URL von "execute" und dem Namen der content recommendation geändert.
Beim Aufruf der content recommendation REST API mit einer nicht existierenden content recommendation wurde der HTTP Status Code 500 zurück gegeben. Dies wurde behoben und nun wird der HTTP Status Code 404 zurück gegeben.
Wenn die Sprache des Cockpit geändert wurde, wurde diese richtig persistiert, aber in der Session nicht geupdated. Wurde eine neue Seite geladen, war die Sprache wieder wie vorher, erst beim ausloggen und einloggen wurde die Sprache fest übernommen. Dies wurde behoben: Sobald die Sprache geändert wird, wird diese auch in der Session geändert.
Wenn im User Bereich im Cockpit der Filter bei den Gruppen verwendet wurde und dann auf den Users Tab gewechselt wurde, konnte die Userliste nicht mehr angezeigt werden. Dies wurde behoben und beim Wechseln der Tabs wird nun der Filter geleert.
Auf der Gruppen-Editierseite konnte bisher der Admin User nicht mehr aus einer Gruppe entfernt werden. Dies wurde behoben.
Diverse Fehler bei den adaptable results der content recommendations wurden behoben.
|
Tags: |
Die Reihenfolge der konfigurierten Elevations bei den Adatptable Results wurde beim Auslesen des Datensatz nicht beibehalten. Dies wurde behoben.
Wenn bei den Adaptable Results bei den Tokens ein langer String vorhanden war, konnte das Layout brechen. Dies wurde behoben.
Bei einem Aufruf der REST Services mit falschen User Credentials wurde ein 302 auf die Login Seite zurück gegeben. Dies wurde behoben und jetzt wird mit 401 Unauthorized geantwortet.
Bei der Verwendung des Deep Links auf die Statistik Seite wurde der Verbindungstyp zwischen den Tags nicht korrekt gesetzt. Dies wurde behoben.
|
Tags: internal update, users, zookeeper |
Die verwendete Spring Boot Version wurde auf die Version 2.1 erhöht.
Die Userverwaltung speichert die Userdaten nun anstatt in einer lokalen HSQLDB in der Zookeeper-Struktur. Mit dieser Umstellung können nun identische User in mehreren haupia Knoten verwendet werden. Die Migration der Userdaten geschieht automatisch beim ersten Start des haupia-Servers nach dem Update auf diese Version. Nach Abschluß der Migration werden die lokalen Daten automatisch gelöscht.
Mit der Migration der Userverwaltung wurde nun auch das Hot Standby umgesetzt. Weitere Informationen dazu sind in der Dokumentation.
|
Tags: zookeeper, cloud, proxy |
Beim Start des haupia-Servers wird nun auch im zookeeper eine Leader Election und Service Discovery gestartet. Dies ist die Basis um eine Anmeldung mehrerer haupia-Instanzen am zookeeper und deren Verständigung untereinander zu ermöglichen. Sind mehrere Instanzen existent funktionieren die API-REST-Services über alle Instanzen hinweg. Das Ausführen der Datengeneratoren und das Cockpit hingegen sind nur auf dem Leader aktiv. Das Starten als einzelner Knoten oder mehrerer Knoten unterscheidet sich nicht, es ist also keine Konfigurationsänderung notwendig. In einem späteren Release wird noch die Speicherung der Userdaten auf den zookeeper umgezogen. Es wird empfohlen, auf diesen Release zu warten um eine doppelte Pflege der Userdaten zu Umgehen.
Die haupia-Crawler berücksichtigen nun einen potentiell in den JAVA_OPTS konfigurierten Web-Proxy.
|
Tags: GroovySkript, Installation |
Beim Speichern einer PreparedSearch oder eines Datengenerators wird nun geprüft, ob evtl. vorhandene GroovySkripte syntaktisch korrekt sind. Ist dies nicht der Fall, so wird nicht gespeichert und dem User entsprechend Feedback gegeben.
Die Namen von neu angelegten Benutzergruppen können nun unabhängig von Groß-/Kleinschreibung nicht mehr identisch zu schon bestehenden Gruppennamen sein.
Für eine einfachere Installation auf Linux Systemen werden nun Vorlagen für Systemd mit ausgeliefert.
|
Tags: Cockpit, Intern, JDK, Statistics |
Im gesamten Backend können die Werte von numerischen Eingabefeldern nun direkt per Zahleneingabe angepasst werden, statt wie bisher nur in festgelegten Schritten.
Die Spring-Abhängigkeiten wurden geupdated. Diese Updates beinhalten hauptsächlich Bugfixes der verwendeten Frameworks/Bibliotheken. Es sind keine speziellen Updatemaßnahmen notwendig.
Das für haupia empfohlene JDK ist nun OpenJDK in Version 8. https://openjdk.java.net/
Der PreparedSearch-REST-Service wurde um den Parameter "tag" erweitert. Mit diesem kann eine Suchabfrage einer oder mehreren Kategorien zugeordnet werden. Diese Kategorien können in verwendet werden, um Statistiken über ein Subset der Suchabfragen zu bilden.
Die Statistiken wurden um die Möglichkeit von Deep Links erweitert.
Wenn im Filtereingabefeld auf Listenseite Return gedrückt wurde, wurde die Seite neu geladen. Dies wurde behoben.
|
Tags: Internal, Prometheus, Cockpit, Prepared Search Konfiguration, External API |
Die Basis wurde von Spring Boot 1 auf Spring Boot 2 angehoben. Bitte dazu den Migration Guide in dem Operational Manual beachten!
Es gibt nun eine einfache Möglichkeit in der application.yml einen Prometheus Endpoint freizuschalten.
Beim Anlegen einer neuen Gruppe wird nun geprüft, ob die Namen nur valide Zeichen enthält. Valide sind Buchstaben (klein und groß), Zahlen und Bindestrich.
Jars die für die Verwendung der Java Bibliothek verwendet werden erhalten nun automatisiert eine Versionsnummer.
Wurde in einer PreparedSearch ein Datengenerator konfiguriert, brach vor dem ersten Durchlauf des Datengenerators beim Aufruf der Editierseite das Abfragen der Feldnamen ab. Dies führte beim Öffnen zu einer leeren Felderliste, und wurde in diesem Release behoben.
|
Tags: Cockpit |
Die Filter auf den Listenseiten im Cockpit sind nun Funktionsfähig.
Auf der Editierseite eines AdaptableResults gibt es nun die Möglichkeit beim Speichern verwaiste Elevations sowie Exclusions bereinigen zu lassen.
|
Tags: Schema, Spellcheck, Webcrawler, Date Enhancer, Storage, Logging |
Im SOLR Schema wurde das dynamische Feld "\*_sort" hinzugefügt. Damit lassen sich Felder definieren, die zum Sortieren verwendet werden können.
Beim Spellcheck wird nun geprüft, ob eine Sprache existiert. Dies vermeidet folgende Fehlermeldungen: org.apache.solr.common.SolrException: Specified dictionaries do not exist: spellcheck_
Der Date Enhancer versteht nun auch folgendes Format: "Wed Aug 29 20:34:01 +02:00 2018". Dies wird von Tika verwendet und führte zu unnötigen Logmeldungen.
Das Logformat einiger Ausgaben wurde angepasst.
Die Hot-Deletion wurde implementiert, diese dient dazu ein Dokument schnell per API-Aufruf aus dem Index eines Datengenerators zu entfernen.
Der Webcrawler setzt nun den mime type korrekt als Facette.
Das Dropdown zum Einstellen der default Sprache bei den Datengeneratoren hatte bisher Sprachdefinitionen die von 2 Buchstaben abweichen (zum Beispiel zh-cn) nicht berücksichtigt. Dies wurde behoben.
Bei der Verwendung von lokalen Storages kann es bei der Verwendung von Netzlaufwerken dazu kommen dass während des Synchronisationsvorgangs nicht die aktuellste Version eines Dokumentes synchronisiert wird. Um dies zu verhindern wurde der globale Parameter "haupia.storage.cooldown" eingeführt. Mit diesem Parameter wird während der Datengenerierung dem Storage die konfigurierte Zahl an Millisekunden gelassen um die Änderungen zu speichern. In der Standardkonfiguration ist der Wert 0 Millisekunden.
|
Tags: External API, Taglib, Netzwerk Timeout, Logging, Storage, Prepared Search |
REST Services und Dokumentation für die externen Datengeneratoren wurde hinzugefügt.
Die Taglib wurde um weitere Tags erweitert die für die Migration von haupia 1 noch benötigt wurden. Die Dokumentation für die Taglib wurde komplett neu geschrieben.
Der REST Aufruf der Prepared Search wurde um den Parameter "page" erweitert.
Das default Logging wurde überarbeitet. Per default erfolgt nun die Logausgabe in rotierenden Dateien.
Es wurden Endpunkte zur Überwachung der Applikationsgesundheit verfügbar gemacht. Weitere Informationen siehe Betriebshandbuch.
Das Verhalten des Webcrawlers wurde dahingehend angepasst, dass eine serverseitige Umleitung von http auf https beim Aufruf einer initialen Sitemap hingenommen wird. Somit kann die URL nun sowohl als http- als auch als https-URL gepflegt werden.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wird dies nun im Ergebnis auf das Feld "groups" gemapped.
Den AdaptableResults wurde die Möglichkeit hinzugefügt, Ergebnisse aus der konfigurierten PreparedSearch unabhängig vom Suchbegriff der Ergebnisliste hinzuzufügen.
Die REST-API wurde um die Möglichkeit erweitert, ein Dokument direkt aus dem Index eines Datengenrators zu entfernen (Hot Deletion). ==== Bugfix
Beim Download von Ressourcen wurde der Timeout bisher nicht berücksichtigt. Dies wurde nun behoben.
Nach einer erfolgreichen Datengenerierung werden die alten Storages gelöscht. Dabei wurden bisher die alten Dokumente in den Speicher geladen was zu einem OOM führen konnte und die Datengenerierung sofort abbrach. Dies wurde nun behoben.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wurde eine Exception geworfen. Dies wurde nun behoben.
|
Tags: Cockpit, Sprachen |
Es ist nun möglich im Cockpit zwischen den Sprachen Deutsch und Englisch zu wählen. Die Auswahl wird automatisch im Profil gespeichert und beim nächsten Login verwendet. Sollte im Profil noch keine Sprache eingestellt oder diese ungültig sein, so wird die konfigurierte Sprache des Browsers verwendet. Konnte auch hier keine gültige Sprache festgestellt werden wird Englisch verwendet.
Es wurden neue Sprachen hinzugefügt: Litauisch und Serbisch.
Es wurde ein Fehler behoben welcher bei Datengeneratoren welche die gleichen Seiten crawlen zu Anzeigeproblemen geführt hat. Teilweise wurde die Daten der Seiten angezeigt, die der älteste Datengenerator angelegt hatte, auch wenn ein anderer Datengenerator ausgewählt wurde.
Ein Fehler beim Spellcheck bei der Wildcardsuche wurde behoben.
Die Dokumentation wurde erweitert (z.B. um das Thema Highlighting).
Im Bereich der Datengenerierung wurde das Logging angepasst, um sprechendere Loggingausgaben auf niedrigeren Logleveln zu erzeugen.
Die Abfrage gegen den SOLR wurde von GET auf POST umgestellt. Bei Abfragen mit vielen Sprachen konnte es auf Grund der Anzahl der Felder zu zu langen URLs kommen. Dies wurde behoben.
|
Tags: Local Storage |
Beim löschen eines Storages wurde bisher nur der Eintrag in der Meta Daten Tabelle zu den Storages gelöscht. Jetzt wird zusätzlich auch die zugehörigen Einträge in der Dokumenten Tabelle gelöscht.
|
Tags: Local Storage |
Nach dem Löschen wird nun auch ein CHECKPOINT DEFRAG aufgerufen um den Festplattenplatz auch wieder frei zu geben.
|
Tags: Stopwords |
Die Standard Stopwörter von Sprachen mit mehr als 2 Zeichen in der Abkürzung (zh_tw und zh_cn) wurden nicht importiert. Dies wurde nun behoben.
|
Tags: Hot Injection, Direct Commit, *Rest API+ |
Hot-Injection: Die Hot-Injection dient dazu, einzelne Daten schnell und isoliert in den Index zu übertragen. Hierzu ist ein neuer REST-Endpunkt verfügbar.
Direkter Commit: Im Backend ist für Mitglieder der Admin-Gruppe ein Knopf verfügbar welcher die flüchtigen Daten direkt an den SOLR-Server Überträgt.
Die REST-API ist aus Performancegründen nun stateless.
Synonyme ignorieren nun Groß- und Kleinschreibung.
|
Tags: Prepared Searches, Spellcheck |
Der Spellcheck berücksichtig nun die Sprachen. Werden bei einer Suchanfrage mehrere Sprachen verwendet, werden Vorschläge über alle Sprachen gebildet und nach Treffer im Index sortiert.
|
Tags: XML Sitemap |
Sitemap-XML-Dateien (und Sitemap-Index-XML-Dateien) werden nun im Kontext des Webcrawlers automatisch erkannt sowie abgearbeitet. Aus dem Frontend wurden die entsprechenden, nun unnötigen Konfigurationsflags an den Datengeneratoren entfernt.
Die Statistik-Anforderungsmaske validiert nun die eingegeben Daten auf sinnhafte Eingaben (Startzeitpunkt vor Endzeitpunkt, Endzeitpunkt nicht in der Zukunft)
Die Funktion 'Autocomplete' beachtet nun die für die Sprache konfigurierten Stopwords und Synonyme.
Die Auswahl "Neues Storage erstellen" bei der Datengenerierung hat nun den gewünschten Effekt. Der Webcrawler respektiert nun bei entsprechender Konfiguration die robots.txt. Das Hinzufügen einer Facette innerhalb eines Groovy-Enhancers funktioniert nun.
|
Tags: Webcrawler, Migration |
Implementierung von Spracherkennung aus HTML-Tags basierend auf der in der Dokumentation vermerkten Reihenfolge.
Beim Import von Prepared Searches wurde fehlerhaft im Feld der Datageneratoren die Return Fields gesetzt. Dies wurde behoben.
|
Tags: ACL, Statistik |
Implementierung von Mehrfachauswahl und -löschen auf Listenseiten bezüglich Usern und Usergruppen.
Implementierung des Downloads von Auswertungen als CSV auf der Statistikseite. In der zur Verfügung stehenden Datei stehen für den gewählten Zeitraum:
Implementierung eines Sicherheitsmechanismus, durch welchen der User 'admin' sowie die Gruppe 'admin' nicht mehr aus dem System zu entfernen ist. So ist ein Aussperren aus dem System verhindert. User in der Gruppe 'admin' können dieser nach wie vor zugeweisen und aus ihr entfernt werden.
Behebung von Fehlern beim Deaktivieren/Auswählen von Elementen auf der Benutzer- sowie Gruppenansicht.
|
Tags: Breadcrumb, Content Recommendation, AdaptableResult, Datengeneratoren |
Implementierung der Breadcrumb-Funktionalität auf allen Listen- und Detailansichten des Backends. Hierdurch wurde eine intuitivere Navigationsmöglichkeit zwischen Listen- und Detailansichten geschaffen.
Bei Erstellen einer ContentRecommendation stehen nun die verfügbaren PreparedSearches als Dropdown zur Verfügung und müssen nicht wie bisher als Freitext eingegeben werden.
Beim Editieren eines AdaptableResults können nun beliebig viele Treffer nachgeladen werden um die Anpassungsmöglichkeiten per Elevations und Excludes zu erweitern.
Behebung von Fehlern bei der Auswertung der Datengenerator-Konfiguration, die zur Nichtbeachtung der Mindestanzahl von Dokumenten welche zur Synchronisation nötig sind geführt haben.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtausführung bei wöchentlichen Startzeitpunkten geführt haben.
Behebung eines Fehlers der bei Nichtauswahl eines Datengenerators in einer PreparedSearch-Konfiguration die Daten aller Datengeneratoren durchsucht hat.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtbeachtung der Enhancer-Reihenfolge geführt haben.
Behebung eines Fehlers an der ContentRecommendation-REST-Schnittstelle.
|
Tags: Spracherkennung |
Verbesserung der automatischen Spracherkennung bei Datengeneratoren.
Behebung von Fehlern beim Editieren, Speichern und Zurücksetzen von Elevations und Excludes an einem AdaptableResult.
|
Tags: Testing |
Anpassung des internen Testframeworks.
Behebung von Anzeigefehlern in der Datengenerator-Listenansicht und der Statistik-Ansicht.
|
Tags: PartialMatch, Testing |
Update verschiedener interner Abhängigkeiten.
Anpassung des internen Testframeworks.
Generische Textfelder (ohne Sprachbehandlung) werden mit einem eigenen Filter behandelt um die Möglichkeit einer PartialMatch-Suche zu haben. Somit ist auf diesen Feldern eine Suche nach Wortbestandteilen möglich.
Die Wildcard-Suche mittels "*" als Querybestandteil ist somit nicht mehr unterstützt.
|
Tags: GroovyScript, AdaptableResult |
Möglichkeit der Validierung von GroovyScript im Backend implementiert.
Fehler beim Editieren eines bestehenden AdaptableResults behoben.
|
Tags: Bugfixes, Internationalisierung, Prepared Search, Datengeneratoren |
|
Es werden ab dieser Version spezielle jars im Classpath auf dem SOLRCloud-Server benötigt. Diese jars sind im SOLRCloud-Download enthalten (Verzeichnis 'contrib') müssen aber von Hand in den Classpath verschoben werden. Diese jars sind:
|
Es wurden weitere Sprachen in der Konfiguration hinzugefügt:
Zu allen Sprachen wurde auch eine Default Stopwordliste hinzugefügt und getestet ob die automatische Erkennung funktioniert.
Wichtig: Diese Konfiguration funktioniert nur, wenn die SOLRCloud-Installation folgende jars im Classpath besitzt:
Das Feld 'content' wurde als deustches Feld behandelt. Dies wurde behoben und wird nun wie die anderen Textfelder auch, wie ein Textfeld ohne Sprachverarbeitung behandelt.
Die Anzeige beim Konfigurieren der Mindestanzahl an Treffer bei der Facette war im Fall des Wertes 0 falsch. In diesem Fall wurde funktionial der Wert 0 verwendet, die Anzeige im numerischen Feld war aber 1. Dies wurde behoben.
Der Threadpool zum Starten von Datengeneratoren wurde bisher nicht ausreichend verwendet und so nur ein Datengenerator ausgeführt (im Gegensatz zu parallelem Lauf). Dieses wurde behoben und jetzt wird die konfigurierte Anzahl an Threads und damit parallelen Datengeneratoren verwendet.
|
Tags: Statistiken, Synonyme |
Die Anzeige der Statistiken wurde um eine zweite Sortierung erweitert. Zunächst werden die Top-Suchbegriffe nach Anzahl der Suchen sortiert, und daraufhin alphabetisch.
Die Editierseite für die Synonyme wurde freigegeben. Diese wurden umgestellt auf die Unterstützugn der einzelnen Sprachen.
|
Tags: Spracherkennung, Prepared Search |
Das Erkennen der Sprache anhand des Textes im Content basiert auf einer statistischen Datenbasis. Diese wurde unter Umständen beim Starten von haupia nicht eingelesen und damit konnte die Sprache nicht erkannt werden und es wurde immer der konfigurierte Fallback verwendet. Aus diesem Grund wurde die Datenbasis in den 'shared resources '-Bereich verlagert und wird dort beim Starten eingelesen.
Wenn bei einer Suche ein leerer String an den PreparedSearch-REST-Service übergeben wurde hat das bisher einen Fehler '500' ausgelöst. Dies wurde jetzt auf einen 400er (Bad Request) geändert mit einem leeren Suchergebnis im Body.
Die Übergabe eines leeren Suchbegriffs an den PreparedSearch-REST-Service löste bisher einen Fehler '500 - Internal Server Error' aus. Nun wird hierauf mit dem Fehler '400 - Bad Request' und einem leeren Suchergebnis geantwortet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Browser, Logging, Prepared Search Konfiguration, Datengenerator Konfiguration |
Der Browser im Backend wurde komplett überarbeitet. Das Layout wurde vereinfacht und alle Buttons sind nun voll funktionsfähig. Die Liste mit den Dokumenten lädt nun automatisch nach, wenn man Nahe dem Ende ist.
Beim Starten wurden WARN Meldungen bzgl. von HQL Abfragen ausgegeben. Diese wurden behoben.
Die Eingabe des Namens bei den PreparedSearches und Datengeneratoren akzeptiert nun keine Leerzeichen mehr.
Die SOLR-Collection für die statistische Erhebung wurde auf eine verträglichere Namenskonvention umgestellt.
Ein Mechanismus zur Vermeidung vom Problemen bei der Nutzung verschiedener SOLR-Versionen wurde implementiert.
|
Tags: Internationalisierung, Sonderzeichen |
Bei der Synchronisierung wird nun geprüft, welcher Art ein Feld ist und gegebenenfalls internationalisiert. Alle Textfelder sind somit internationalisiert.
Spezielle Sonderzeichen werden nun vor dem Tokenizer maskiert, um diese als Inhaltliches Zeichen zu erhalten. Diese Sonderzeichen sind:
|
Tags: Autocomplete, Internationalisierung, Did you mean |
Das Autocomplete unterstützt nun auch den Parameter 'language'.
Die Funktion 'Did you mean' berücksichtigt nun alle Filter, die bei der Abfrage verwendet worden sind. Dadurch werden nur Vorschläge zurückgegeben, die bei Berücksichtigung der aktuellen Filter Ergebnisse liefern. So werden auch die Sprachfilter automatisch unterstützt.
|
Tags: ContentRecommendation Konfiguration |
Überarbeitung der Handhabung von ContentRecommendations. Alle Komponenten wurden überarbeitet, um einen einfacheren Ablauf beim Konfigurieren von ContentRecommendations zu ermöglichen.
|
Tags: Multi-Cluster Sync, Prepared Search Konfiguration |
Ein Fehler beim Paginieren während der Synchronisation wurde behoben. Es wurde ein Fehler behoben der dafür sorgen konnte, dass nicht mehr als 1000 Elemente pro Datengenerator synchronisiert werden konnten.
Auf der PreparedSearch-Editierseite wurde bei der Auswahl der Felder die Checkbox "verbose" hinzugefügt. Ist diese angewählt werden alle Felder zur Auswahl angezeigt. Ist diese abgewählt wird nur ein Subset angezeigt und selten verwendete Felder ausgeblendet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Internationalisierung, Datagenerator WEB |
Im Schema konfigurierte Sprachen werden nun automatisch erkannt. Diese müssen sich bei der Benamung an den folgenden regulären Audruck halten: "^text_general_([a-z]{2})". Der 'Typename' beginnt mit "text_general_" gefolgt von der Länderkennung, bestehend aus zwei Buchstaben. Auf der Datengenerator-Konfigurationsseite werden die Sprachen als mögliche Werte für die Standardsprache des Datengenerators angeboten.
Die default schema.xml wurde um folgende Sprachen erweitert:
Beim Erfassen einer Webseite durch den Webcrawler wird der Inhalt des erfassten 'title' nicht mehr dem erfassten 'content' vorangestellt. Der 'content' besteht damit nur mehr aus Inhalten aus dem 'body' des Dokuments.
|
Tags: Stopwörter, Internationalisierung |
Es können nun Stopwörter bezogen auf die internationalisierten Felder im Backend bearbeitet werden.
|
Tags: Groovy, Prepared Search Konfiguration |
Die Frontendkomponente zur Anzeige der Groovy-Skripte wurde komplett überarbeitet und zeigt nun zuverlässig das Skript an.
Bei der PreparedSearch-Konfiguration werden die internationalisierten Felder zusammengefasst und nur als ein Feld angezeigt.
Der Technical Support der Crownpeak Technology GmbH bietet Kunden und Partnern qualifizierte technische Unterstützung zu allen Themen, die FirstSpirit™ als Produkt betreffen. Weitere Hilfe zu vielen relevanten Themen erhalten und finden Sie in auch in unserer Community.