Update Notice
For on premise customers only: With this version of SmartSearch a mandatory new entry in the application.yml must be added.
Without it, the application will fail to start.
Please make sure that this entry is present in your application.yml on startup.
spring:
main:
allow-circular-references: true
New features
| ID | Description |
|---|---|
HP-1371 | SmartSearch is now Java 21 compatible. |
Fixed issues
| ID | Description |
|---|---|
HP-1382 | Usage of the "activate all" button when editing the group rights may have led to multiple activation of the same right. This caused issues when removing the right again. |
New features
| ID | Description |
|---|---|
HP-1368 | Content field is now queried if no other field specified. This change may affect a rare edge cases where a search with no fields was intentionally performed, resulting now in results when content field is searched instead of returning no results. |
Fixed issues
| ID | Description |
|---|---|
HP-1364 | DataGenerators now continue execution even if data or seed XML files are not found. Customers may notice increased indexing of data as a result of this enhanced resilience to errors. |
Fixed issues
| ID | Description |
|---|---|
HP-409 | When filtering by user in the user overview, a multiplication could occur in the display of elements. |
New features
| ID | Description |
|---|---|
HP-1349 | Improved ZooKeeper connection handling for cloud customers, ensuring optimized stability and efficiency. |
HP-1348 | Optimized Zookeeper connections: no impact for cloud users, on-prem users will see server using only one connection post-initial startup phase. |
Fixed issues
| ID | Description |
|---|---|
HP-1321 | AdaptableResults were not applied to the preview of a PreparedSearch in the Cockpit. |
New features
| ID | Description |
|---|---|
HP-1230 | The available amount of data provided by the cockpit statistics has been expanded. |
Fixed issues
| ID | Description |
|---|---|
HP-1322 | Minor changes to the documentation. |
HP-1320 | AdaptableResults with query terms containing certain special characters like '&' were not escaped correctly, resulting in uneditable/undeletable AdaptableResults. Clearing the Browser cache may be needed. |
HP-548 | A missing 'prefix' parameter in autocomplete requests resulted in an HTTP status of 500 instead of 400. |
Fixed issues
| ID | Description |
|---|---|
HP-1307 | The {modulename} macro is now correctly interpreted in the documentation. |
New features
| ID | Description |
|---|---|
HP-682 | The documentation was modified in large parts in order to be formulated in a gender-neutral way. |
Fixed issues
| ID | Description |
|---|---|
HP-432 | The "New Facet" button was incorrectly active in certain cases without DataGenerator selected. |
Fixed issues
| ID | Description |
|---|---|
HP-1257 | Performance improvement for queries against the API gateway. |
New features
| ID | Description |
|---|---|
HP-1263 | Some minor changes to the documentation of our APIs and removal of internal deprecated APIs. |
HP-1256 | Only relevant for cloud customers: Implemented caching for Groovy scripts in API Gateway search, significantly improving performance and response times. |
HP-939 | Minor adjustments in the documentation. |
HP-470 | Description of the basic concept of SmartSearch. |
HP-454 | Documentation extended by the Logging chapter. |
Highlights
To delete the indexed documents of a data generator via the cockpit, there is now a button with the symbol of an eraser on the data generator overview page for each data generator. This allows the removal of all documents indexed by this data generator.
In addition, deleting one or more data generators now also removes all documents available for them in the index.
At the API and the corresponding documentation (accessible in the cockpit under the menu item "API Documentation") the following methods are now also available to delete data from data generators via API call:
In the course of the implementation, the following methods (already known from the documentation) were also added to the API documentation:
Fixed issues
| ID | Description |
|---|---|
HP-1251 | For cloud users only: Caching parts of the PreparedSearch in the API gateway doesn’t work. This creates long loading times, especially with many data generators in a PrepareSearch. |
New features
| ID | Description |
|---|---|
HP-1239 | New methods for removing indexed documents from data generators. |
HP-1228 | Small Refactoring of the launching of API data generators. |
Fixed issues
| ID | Description |
|---|---|
HP-1237 | In some situations the API is not re-enabled when the 503 status is set. |
HP-877 | Correct tag usage in the "Basic" view of the statistics page was not possible because no tags were suggested. |
New features
| ID | Description |
|---|---|
HP-1011 | INFO Logging for API data generators extended. |
HP-871 | Migration Guide available in English. |
Fixed issues
| ID | Description |
|---|---|
HP-1222 | The application did not return a 503 error on overload, making it difficult for API users to respond appropriately. |
HP-1215 | When crawling web pages, it could happen that crawled images ended up in the index with an empty title. |
Fixed issues
| ID | Description |
|---|---|
HP-1181 | Reduce write accesses to zookeeper. |
HP-858 | Selected odd numbered rows in the cockpit browser were not clearly readable. |
New features
| ID | Description |
|---|---|
HP-1198 | New API endpoints to look if an API datagenerator or a corresponding preparedsearch are present. |
New features
| ID | Description |
|---|---|
HP-1122 | The list of facet values in the facets tab of the prepared search now has a filter field when in edit mode. |
Highlights
Weights can now be specified for facet values. The weighting is a number that is multiplied by the score of a document. It can be between 0.00 and 2.00. Results that belong to this facet value receive a weighting and are ranked accordingly higher or lower in the search results. A weight of 0.00 leads to removal from the search results.
New features
| ID | Description |
|---|---|
HP-1165 | Improved protection against overload due to too many requests to the API data generators. |
HP-1117 | Weights can now be specified for facet values. |
Update Notice
For the changes to take effect, it is necessary that the server is started with the "update" parameter.
New features
| ID | Description |
|---|---|
HP-1040 | Added new dynamicField "*_date_range" to allow e.g. processing of a date without time. |
Fixed issues
| ID | Description |
|---|---|
HP-1141 | To mitigate the CVE-2022-42889 vulnerability, the affected dependency has been upgraded to an unaffected version. https://lists.apache.org/thread/n2bd4vdsgkqh2tm14l1wyc3jyol7s1om |
HP-1139 | In the browser view of data generators, multiple values for fields were not displayed. In the preview view of PreparedSearches, multiple valued field values were displayed without separators. |
HP-1077 | In case of indexing problems (e.g. multiple values in fields for which only one value is allowed), documents are post-processed to fix the problem. This post-processing could lead to multiplication of values in language-dependent fields. |
Update Notice
The external data generator is now 'deprecated'. It will therefore no longer be developed further. It is recommended to use the generic API for indexing externally generated data.
New features
| ID | Description |
|---|---|
HP-1055 | Our generic API user interface is now available from a cockpit link. The documentation of the API is present in the reference documentation. |
Fixed issues
| ID | Description |
|---|---|
HP-1102 | The API for the SmartSearch Connect object template did not reliably respond to overwriting field values by adjusting the content field. |
Fixed issues
| ID | Description |
|---|---|
HP-1114 | For cloud customers only: A missing class issue in the API gateway was fixed. |
Fixed issues
| ID | Description |
|---|---|
HP-1080 | Edits to the synonyms did not have effect right away. |
New features
| ID | Description |
|---|---|
HP-1059 | Synonyms and Stopwords lists are now named after their corresponding languages. |
HP-1047 | Clear field name cache on collection reload. |
HP-849 | The reconnection to the zookeeper was changed to a exponential backoff with a random starting point. This is especially useful in the cloud context as in a case of connection loss not all instances reconnect at the same time. |
Fixed issues
| ID | Description |
|---|---|
HP-1078 | We fixed an issues when converting the synonyms to symmetric ones which lead to listing only parts as asymmetric. |
Highlights
Synonyms can be specified in two ways from now on:
Substitutions: Substitutions behave the same way synonyms have behaved until now. A search term is specified and mapped to a list of terms by which the search term should be replaced in a search.
Synonyms Synonyms now behave as the term "synonym" suggests. One or more series of words are stored per language. A search for a term in a series of synonyms returns the results for all terms in the same series.
Substitutions that are constructed like synonyms are automatically recognized and simplified to synonyms.
The components of the new generic REST API are documented via a dedicated web interface (Swagger). In addition, Swagger offers the possibility to try out the individual REST interfaces. Swagger can be accessed by appending /swagger-ui/index.html to the base URL (e.g., in the cloud https://companyname.e-spirit.cloud/swagger-ui/index.html).
Fixed issues
| ID | Description |
|---|---|
HP-1062 | There was an issue when checking if the field names are already stored in the Solr. This might have caused the deprecated zookeeper nodes to be prematurely deleted. |
New features
| ID | Description |
|---|---|
HP-1025 | Synonyms were divided into synonyms and substitutions |
HP-856 | SmartSearch documents can be added or deleted via a generic API documented with Swagger. |
Fixed issues
| ID | Description |
|---|---|
HP-1054 | Potentially incorrect handling of document creation date generated many WARN messages in the log. |
Fixed issues
| ID | Description |
|---|---|
HP-1049 | Only for cloud users: The API gateway did not get the correct i18n fields. |
Update Notice
When indexing multiple values for a field, in some cases not all values were returned in the resulting document.
So, as of now, for undefined field types, the result sets of the search for the respective fields will return all indexed values.
This correction should be taken into account when using corresponding search queries.
Fixed issues
| ID | Description |
|---|---|
HP-1043 | When indexing multiple values for a field, in some cases not all values were returned in the resulting document. Specifically, the problem occurred when the field type was undefined, i.e. the field did not have a field type suffix (see documentation). |
HP-1037 | Simple string values in a JSON were not escaped correctly in the REST API V2. This caused them to be displayed with quotes in the SmartSearch browser view. |
New features
| ID | Description |
|---|---|
HP-959 | The persistence of information about the field names, i18n field names and languages is moved from the zookeeper to Solr. This reduces the write interactions with the zookeeper and improves stability. |
Fixed issues
| ID | Description |
|---|---|
HP-1002 | Adaptable Results with multiple search terms cannot be edited again. |
New features
| ID | Description |
|---|---|
HP-1036 | The field separators as well as the identifiers for FirstSpirit metadata fields after being received by version 2 of the SmartSearch Connect API were incorrect. |
Fixed issues
| ID | Description |
|---|---|
HP-941 | An array of string values passed to the Generic API was not created as a multivalued field. |
HP-889 | Source documents have space characters at the beginning and end in data fields |
New features
| ID | Description |
|---|---|
HP-1024 | Alpha version of a new FirstSpirit API available (To be activated in the project settings of the corresponding FirstSpirit project). |
Fixed issues
| ID | Description |
|---|---|
HP-1007 | In the column "Token" of the AdaptableResults the field names were cleaned up. Fixed a usability issue when creating a new AdaptableResult, that would require the user to click reset before being able to enter a search term. |
New features
| ID | Description |
|---|---|
HP-1006 | Adoption of a SpringBoot version that addresses CVE-2022-22965 (Spring4Shell). |
Update Notice
Mitigate the CVS-2022-22965 spring vulnerability. No further configurations are necessary.
Fixed issues
| ID | Description |
|---|---|
HP-1005 | Mitigate the CVS-2022-22965 spring vulnerability. |
HP-1004 | The "urls" field of a FirstSpirit media passed to the API did not have the name of the overlying FS_REFERENCE in the indexed field name. |
Fixed issues
| ID | Description |
|---|---|
HP-998 | Fixed an issue with Adaptable Results and URL encoded characters. |
New features
| ID | Description |
|---|---|
HP-809 | Documentation links in cockpit now lead directly to the correct documentation. |
Fixed issues
| ID | Description |
|---|---|
HP-997 | A Javascript error prevented successful login in some cases. |
Highlights
In the edit view of the Prepared Search there is now a tab with a preview. There you can enter search terms and view and filter the results, just like on a live page.
New features
| ID | Description |
|---|---|
HP-990 | The character limit for tika parsing is now configurable. In the past this was set to 100k characters. An int value for the property 'haupia.server.tika.character.limit' (Default: 500k) is now available to change this limit. |
HP-976 | Added a preview tab for Prepared Searches |
Update Notice
The SmartSearch data structure does not allow multiple values per specific field name for the following static and dynamic fields:
Static fields: id, title, content, link, thumbnail, language. Dynamic fields: *_date, *_long, *_integer, *_double, *_sort, *_sort_en, *_token, *_pnt, *_autocomplete, *_expanded_autocomplete
If a data generation now detects that multiple values for such a field exist in a document, only the first occurred value will be used as field value and the document will still be transferred to the index instead of not indexing the document as before.
This must be taken into account for the usage of SmartSearch after this update.
New features
| ID | Description |
|---|---|
HP-944 | SmartSearch now automatically cleans up invalid multiple values on fields that accept only one value during data generation. |
HP-829 | It is now possible to create Adaptable Results for search terms that do not return a result. |
Update Notice
SmartSearch itself is not affected by Log4J CVE-2021-44228. The same applies to the Zookeeper versions used. For Solr, the following configuration adjustment is necessary:
(Linux/MacOS) Edit your solr.in.sh file to include:
SOLR_OPTS="$SOLR_OPTS -Dlog4j2.formatMsgNoLookups=true"
(Windows) Edit your solr.in.cmd file to include:
set SOLR_OPTS=%SOLR_OPTS% -Dlog4j2.formatMsgNoLookups=true
Fixed issues
| ID | Description |
|---|---|
HP-960 | CVE-2021-44228 |
New features
| ID | Description |
|---|---|
HP-946 | Added server time and time zone information to scheduling widget. |
Fixed issues
| ID | Description |
|---|---|
HP-942 | The hot injection for a XML datagenerator wrongly rejected a JSON or plain text list of URLs. |
HP-930 | Connect API: Fields with image URLs have the name of the image and thus cannot be referenced consistently. |
New features
| ID | Description |
|---|---|
HP-956 | Only relevant for cloud customers: Changed saving field names behaviour of the API DG to reduce zk load |
Fixed issues
| ID | Description |
|---|---|
HP-929 | Incorrect processing of the input language sometimes caused the language data to be stored incorrectly in Solr. |
New features
| ID | Description |
|---|---|
HP-926 | Finished the Solr 8.6.3 upgrade by updating the internally used SolrJ version to 8.6.3. |
Highlights
Since the introduction of Java Server Pages or Jakarta Server Pages at the end of the 1990s, this technology has not changed much.
In the context of search results pages, the use of JSP tags is no longer up-to-date. Users nowadays expect, for example, a direct action in the result list when clicking on a filter, without reloading the page.
These new requirements can be implemented with our new JavaScript library. More details can be found in the documentation of the JS library at https://docs.e-spirit.com/module/smartsearch.js/smartsearchjs_Developer-Documentation_EN.html.
Update Notice
Until now, URLs to images that were transmitted via SmartSearch Connect always had the name "FS_L*picture". If these images were used, this must be adapted to the corresponding name of the FirstSpirit input component ("FS_L**").
With the upgrade to Solr 8.6.3 the handling of the Ukrainian language is now re-enabled. Only for on-premise customer: For an update path please refer to the migration documentation.
Fixed issues
| ID | Description |
|---|---|
HP-908 | The loading message in infinite scrollable sections on list pages in the cockpit now only appears when there are items left to be loaded. |
HP-895 | When a picture is indexed, its name is reflected in the name of the resulting SmartSearch document field. |
New features
| ID | Description |
|---|---|
HP-919 | For cloud customers only: We have added more labels to improve operation. |
HP-896 | When CMS_INPUT_DATE fields are indexed their values are copied to a corresponding date field in the SmartSearch document. |
HP-893 | It is no longer possible to hot inject or delete documents while a datageneration is in progress. A REST service call in such a case will result in a HTTP status code 409 (Conflict). |
HP-872 | Added note about JSP tag library discontinuation |
Highlights
Solr provides a stats component to gain simple statistics for numeric, string, and date fields within the document set. These statistics are now part of the prepared search response. To use this feature, you need to extend the Groovy script of PreparedSearch as follows:
solrQuery.set('stats', 'true') solrQuery.set('stats.field', <your-field>)
Fixed issues
| ID | Description |
|---|---|
HP-584 | A large number of configured components sometimes resulted in very long loading times or even aborted loading processes in the cockpit. This was solved by implementing an infinity scroll pagination. |
New features
| ID | Description |
|---|---|
HP-888 | Added Solr stats field to the JSON response. |
New features
| ID | Description |
|---|---|
HP-854 | Translation of the Documentation |
Fixed issues
| ID | Description |
|---|---|
HP-890 | A display error in the synonyms has been fixed. Two opposing synonyms definitions were merged, resulting in an incorrect display. |
HP-878 | Datagenerators which do not index documents despite a generation process may cause display problems on linked PreparedSearch instances. |
Update Notice
If you are updating, please make sure that the schema.xml contains the field "token" with the class type "solr.StrField". If this is not the case please change the field type by issuing the following Solr command:
{
"replace-field-type":{
"name":"token",
"class":"solr.StrField"
}
}
(Solr command may be issued in the Solr backend. There select the corresponding collection and select "Documents" in the Navigation. Then make sure the request handler contains the value "/schema" and the document type is "Solr Command (raw XML or JSON". Then copy above command in the Document(s) field and click on "Submit Document")
Fixed issues
| ID | Description |
|---|---|
HP-855 | We changed the class type of the token field to "solr.StrField" to avoid issues with grouping and Solr 8.6.3. |
HP-833 | Instead of the user rights to display and delete an AdaptableResult, the respective rights of a PreparedSearch were incorrectly applied to the corresponding requests. |
HP-820 | When working with AdaptableResults, a ClassCastException may have occurred when accessing the contents of the 'title' field. Now it is checked whether the content consists of one or more values. |
New features
| ID | Description |
|---|---|
HP-852 | An internal API method to add an API datagenerator with corresponding PreparedSearch was implemented. This is used for the integration with SmartSearchConnect. |
HP-621 | In the PDF developer documentation included with the software, there were some problems with the appearance of code examples and tables. Also, some parameters were described incorrectly. |
Fixed issues
| ID | Description |
|---|---|
HP-851 | Exceptions while event handling are now catched. This led to unintended unsubscription on the event bus. |
Highlights
With the new API endpoint all documents older than a certain date can be deleted by sending a DELETE request to /{type}/{datageneratorName}/deleteAllBefore (eg. /xml/my_xml_dg/deleteAllBefore)
The date is passed in the request body as follows:
{"timestamp" : "2021-05-06T10:50:35.030Z"}
Keep in mind to use the time of the SmartSearch server.
Update Notice
There is an update in the migration guide for version 2.2.0 regarding grouping in a prepared search.
Fixed issues
| ID | Description |
|---|---|
HP-797 | Cloud customers only: Updated the internal Solr schema |
New features
| ID | Description |
|---|---|
HP-842 | The info endpoint now also exposes information about the latest git commit. This information can be used for debugging. |
HP-830 | It is now possible to configure the timeout of a cockpit session in the application.yml |
HP-787 | Added API to delete all documents older than a certain date. |
Highlights
haupia becomes SmartSearch: In the process of integrating haupia into the FirstSpirit environment, the product was renamed into SmartSearch. The cockpit has received an optical redesign in the process. The documentation now refers to haupia as SmartSearch
Update Notice
Please note that the password and name of the provided keystore changed. If you change the keystore to the current one (which is only recommended in a development environment), please do not forget to adjust the application.yaml accordingly. The new values are noted in the application.yaml of the release zip.
New features
| ID | Description |
|---|---|
HP-698 | Alphabetically sorted lists in cockpit are now sorted case-insensitive. |
HP-507 | haupia has been renamed to SmartSearch |
Fixed issues
| ID | Description |
|---|---|
HP-825 | In certain constellations, documents with multiple titles were erroneously created in the index. |
New features
| ID | Description |
|---|---|
HP-826 | The reindex tool now prevents multiple values in the title field by selecting only the first values. |
HP-824 | The default autocommit value from the collections has been raised from 15 seconds to 20 minutes. This will decrease the IO impact on the Solr server. |
Update Notice
The web datagenerator does not create the field "original_html_stored_only_big" anymore. If you still need the field you can add the following snippet to a web datagenerator groovy script:
import de.arithnea.haupia.constants.FieldNameConstants
document.addData(FieldNameConstants.ORIGINAL_HTML_STORED_ONLY, jsoupDocument.html())
Previously, metadata on FirstSpirit elements was added to the 'content' field in the search index. This is now no longer the case. The metadata - if present - is now stored in its own metadata fields with the prefix 'FS_META_*' in the search index.
If the content is relevant for the search, these metadata fields of the affected data generator must be marked in the PreparedSearch as to be searched and, if necessary, to be output.
New features
| ID | Description |
|---|---|
HP-819 | Removed the field "original_html_stored_only_big" of the web datagenerator to optimize index size. |
HP-784 | Only relevant for cloud customers: Kubernetes deployment configuration update to 'RollingUpdate'. |
HP-783 | Only relevant for cloud customers: The connection to the zookeeper has been changed to a load balanced URL. |
HP-365 | Processing of FirstSpirit metadata of e.g. pages and media. |
Fixed issues
| ID | Description |
|---|---|
HP-806 | The reindex tool checked for autocomplete field which are not stored anymore. The autocomplete fields are now ignored in the sanity check. |
New features
| ID | Description |
|---|---|
HP-807 | Added a migration guide for version 2.2 |
Fixed issues
| ID | Description |
|---|---|
HP-801 | There was an error when searching through chinese data. This has been fixed and note that when passing the language you have to use "zh-cn" or "zh-tw". |
Highlights
Updated Spring Boot version to 2.3. This Update deprecates some keys in the application.yaml which have to be changed. For more information please refer to the migration guide.
New features
| ID | Description |
|---|---|
HP-577 | Updated 3rd party libraries. |
Fixed issues
| ID | Description |
|---|---|
HP-796 | Only relevant for cloud customers: Fixed an issue where the dropdown for selecting a synonym list was empty on the synonym edit page. |
New features
| ID | Description |
|---|---|
HP-775 | Only relevant for cloud customers: New Prometheus metrics to better monitor access to the ZooKeeper ensemble. |
HP-765 | Only relevant for cloud customers: Adjustment of the JVM parameter MaxRamPercentage to avoid OutOutMemory errors. |
HP-761 | It is no longer possible to start a data generation twice. An attempt to start a data generator while it is running or queued to be running returns the HTTP status code 409 (Conflict). Calls to the hot injection are not affected. |
HP-622 | Only relevant for cloud customers: Update Docker Base image to adoptopenjdk/openjdk11:alpine-jre to minimize memory consumption and remove potential security vulnerabilities. |
Fixed issues
| ID | Description |
|---|---|
HP-774 | The poll timeout of the XML crawler to wait for the next document is not configureable |
Fixed issues
| ID | Description |
|---|---|
HP-752 | Fixed NullPointerException that occured when scheduling datagenerators on start up. |
HP-724 | When saving API datagenerators, the configuration may have been updated with a delay. |
Fixed issues
| ID | Description |
|---|---|
HP-751 | Only relevant for cloud customers: Prevent double scheduling |
Fixed issues
| ID | Description |
|---|---|
HP-750 | A issue has been fixed regarding the Initialization order of the beans. |
New features
| ID | Description |
|---|---|
HP-748 | Only relevant for cloud customers: Improved datageneration start behaviour. |
Highlights
The lucene match version has been updated from 6.0.0 to 8.1.1. For more information on the differences see the lucene news page.
The title field is now mandatory. If the field is missing it is set to an empty string.
For every language an additional dynamic field "*_expanded_autocomplete" has been added. This autocomplete field has an additional shingle filter to combine tokens for the autocompletion.
The synonyms have been changed from "ManagedSynonymFilterFactory" to "ManagedSynonymGraphFilterFactory". This should enhance the handling of multi-token synonyms. "This filter is a replacement for the Managed Synonym Filter, which produces incorrect graphs for multi-token synonyms".
The languages have been expanded:
The field "*_stored_only" is now limited to 32766 chars. For content greater 32766 chars the field "*_stored_only_big" should be used. Sequentially the field "original_html_stored_only" created by the web datagenerator has been renamed to "original_html_stored_only_big".
The field "*_pnt" has been added to store lat/lon information. The lat and lon values are seperated by comma. Example: "1.23,2.34".
For sorting and grouping the field "*_token" has been introduced. The field is similar to "*_sort" but it does not lowercase the token.
Another keyword variation has been introduced with the field "*_keyword_lc". The field handles the value as a keyword but lowercases it.
Fixed issues
| ID | Description |
|---|---|
HP-681 | The autocomplete service now utilizes the newly added keyword lowercase field. When a field name is passed to the autocomplete service with a suffix indicating a keyword lowercase field, the language specific appendix is omitted. |
New features
| ID | Description |
|---|---|
HP-719 | Cloud-only: Server and api-gateway deployments will now get updated if the configuration is changed. |
HP-658 | The operation manual is now part of the SmartSearch documentation |
HP-635 | The schema has been updated to include Solr 8.1.1 features |
New features
| ID | Description |
|---|---|
HP-686 | Only relevant for cloud customers: The Docker image has been extended by the parameter resetAdminPassword to be able to react faster in case of loss of the admin password. |
Fixed issues
| ID | Description |
|---|---|
HP-677 | PreparedSearches could not be deleted in the cockpit list view. |
HP-649 | When using hotinjection, the allowed contents of the request header "Content-Type" did not match the values allowed in the documentation. |
New features
| ID | Description |
|---|---|
HP-680 | The recommended ZooKeeper version is now 3.4.10. |
Fixed issues
| ID | Description |
|---|---|
HP-589 | Addressed an issue with missing fields in a prepared search when a referenced data generator was deleted. |
New features
| ID | Description |
|---|---|
HP-650 | Only relevant for cloud customers: Some metrics were added to the API Gateway. |
HP-647 | Only relevant for cloud customers: The health detection of the services has been improved. |
HP-597 | The internal SolrJ version has been upgraded to 8.1. |
Fixed issues
| ID | Description |
|---|---|
HP-646 | Cloud only: Fix a version problem between solr and zookeeper |
Fixed issues
| ID | Description |
|---|---|
HP-620 | Fixed an issue with imports of data generator XMLs from haupia 1. |
New features
| ID | Description |
|---|---|
HP-600 | Only relevant for cloud customers: Added a Prometheus-ServiceMonitor. |
HP-542 | Only relevant for cloud customers: Improved the performance of the API gateway by adding a Kubernetes HorizontalPodAutoscaler. |
New features
| ID | Description |
|---|---|
HP-607 | Only relevant for cloud customers: Merging of the CORS configuration into the application.yml. |
Update Notice
A documentation section has been added to help updating from older ZooKeeper version to the current one.
Fixed issues
| ID | Description |
|---|---|
HP-591 | The Reindex tool validates the results with the Solr id instead of the _document_id. |
New features
| ID | Description |
|---|---|
HP-588 | Upgrade to ZooKeeper 3.5.5. |
HP-572 | If the zookeeper connection becomes invalid during the acquisition of the leader URI, the zookeeper connection will be re-established. |
HP-536 | Update to Java 11. |
Fixed issues
| ID | Description |
|---|---|
HP-571 | Usage of the Java API could result in an Exception while deserializing a facet JSON. |
New features
| ID | Description |
|---|---|
HP-570 | When entering data, the language field is now always shortened to the ISO 639-1 language abbreviation, so from "en_EN" only "en" is considered. |
HP-559 | Reloading the data collection on the datagenerators page failed if the endpoint was an alias. The alias is now resolved to the correct collection. |
Fixed issues
| ID | Description |
|---|---|
HP-564 | When generating data, GroovySkript-Enhancers now offer the possibility to set a value in the document by calling the method 'setSingleValue', replacing previous values of the same key. |
HP-544 | A slash at the end of an URL no longer causes problems with canonical links. |
New features
| ID | Description |
|---|---|
HP-541 | CORS was made configurable in the API gateway. |
Fixed issues
| ID | Description |
|---|---|
HP-531 | Autocomplete requests did not always result in suggestions that lead to search results. |
New features
| ID | Description |
|---|---|
HP-538 | Metrics are protected (health is freely accessible). |
Fixed issues
| ID | Description |
|---|---|
HP-530 | Adding a link as an adaptable result was not working correctly, resulting in an error 404. |
HP-513 | The values when filtering by facet can now also contain + characters. |
HP-502 | A new return value was added to the facets of the Prepared Search especially for the query via ULR. |
New features
| ID | Description |
|---|---|
HP-516 | If grouping is activated via GroovyScript in a PreparedSearch, the response now contains the field 'numRows' for each group and shows the number of hits within the group. |
Fixed issues
| ID | Description |
|---|---|
HP-506 | Statistical evaluation of query data could fail when too many prepared searches were selected, resulting in a error with code 500. |
New features
| ID | Description |
|---|---|
HP-494 | The predefined fields of a new PreparedSearch have been optimized. |
Fixed issues
| ID | Description |
|---|---|
HP-514 | Document boost was not properly evaluated while qerying. |
Fixed issues
| ID | Description |
|---|---|
HP-510 | The terms for the autocompletion function are normalized in lowercase. To reflect this the prefix in the autocomplete REST call is now also converted to lowercase. |
New features
| ID | Description |
|---|---|
HP-499 | Fixed autocomplete when using a large content body: There has been a problem with the autocomplete if the text body in the content field over all documents was quite large, situationally resulting in an error 500. |
Update Notice
Important adjustment of the configuration: Please add the following keys to your application.yml to avoid configuration validation errors on application start.
management:
health:
ldap:
enabled: false
solr:
enabled: false
Fixed issues
| ID | Description |
|---|---|
HP-456 | The submitted facet filters were not checked regarding the presence of a configured corresponding facet. E.g. passing "facet.filter.language=de" always filtered regardless whether the language facet was configured. |
New features
| ID | Description |
|---|---|
HP-416 | Update of internal libraries and dependencies. |
Fixed issues
| ID | Description |
|---|---|
HP-424 | In some cases, a potentially problematic Solr document id generation, regarding datagenerators names containing trailing digits, could result in missing documents. |
Fixed issues
| ID | Description |
|---|---|
HP-408 | A datagenerator with a document deletion threshold configured caused old documents to remain in the index. |
HP-386 | Permissions present on group deletion are set on a new group created with the same name. |
HP-385 | Deletion of multiple groups at once was not always possible. |
Fixed issues
| ID | Description |
|---|---|
HP-387 | Generating data from XML with multiple seeds could result in errors and in processing of only the last seed file. |
|
Tags: recommendation, cockpit, update |
Auf den Listenseiten im Cockpit ist es nun möglich nach bestimmten Spalten zu Sortieren. Durch wiederholtes Clicken kann die Reihenfolge geändert oder das sortieren aufgehoben werden.
Neue haupia-Auslieferungen können ab diesem Release beim Update nötige Anpassungen der Solr- sowie zookeeper-Instanzen selbst vornehmen. Details zu diesem Vorgehen sind der Dokumentation zu entnehmen.
Alle Eingabefelder für Groovy-Code im Cockpit sind nun mit ihren zugehörigen Methoden-Signaturen versehen. Dies soll die Entwicklung von Grovy-Skripten erleichtern.
Bisher war es möglich, dem Admin-User die Rechte zum Bearbeiten der Gruppenberechtigungen zu nehmen. Dies hatte zur Folge, dass sich potentiell alle User aussperren ließen. Dies wurde behoben und im Falle der Verwendung von zookeeper als Userdatenpersistierung wird dem Admin-User immer die Berechtigung gegeben, die Gruppenberechtigungen zu bearbeiten.
Der Filter auf der Content Recommendation Listenseite funktioniert jetzt.
Die Buttons zum Speichern der User sind nun konsistent enabled oder disabled.
Die Enhancer-Ansicht innerhalb eines Datengenerators zeigt nun wieder die Elemente zum Verschieben und Entfernen im Titel an.
Es war im Cockpit möglich auf der User Edit Seite den User aus der Gruppe "USERS" zu entfernen. Dies wurde zwar beim Speichern der Änderungen ignoriert irritiert aber in der Darstellung. Der Entfernen Button aus der Gruppe "USERS" wurde entfernt.
|
Tags: Solr ,User Management, LDAP |
|
Es existiert ein Sicherheitslücke in Solr für Versionen vor Solr 7.0, welche aufgrund der genuztten Version 6.5 derzeit auch haupia betrifft: https://issues.apache.org/jira/browse/SOLR-13301 Diese Sicherheitslücke kann bei Zugriff auf die Solr-Instanz für Angriffe genutzt werden. Solr empfiehlt hier als eine Möglichkeit der Absicherung: "Disable the ConfigAPI if not in use, by running Solr with the system property disable.configEdit=true" Um dies zu erreichen, sollte dem Solr-Prozess beim Start die Option
Alternativ kann die Datei
|
Es ist nun möglich, für die User und Gruppen einen LDAP Server (nur lesend) zu verwenden. Als LDAP Server wird OpenLDAP in der Version 2.4.x unterstützt.
Die aktuelle Sprache des Cockpit ist nun in der Sprachauswahl nicht mehr auswählbar und fett markiert.
Beim Anlegen einer Content Recommendation wird nun der notwendige Re-Sync mit dem korrekten Datengeneratoren Namen durchgeführt.
Die URL der content recommendation API wurde der von der prepared search angeglichen. Es wurde die Reihenfolge in der URL von "execute" und dem Namen der content recommendation geändert.
Beim Aufruf der content recommendation REST API mit einer nicht existierenden content recommendation wurde der HTTP Status Code 500 zurück gegeben. Dies wurde behoben und nun wird der HTTP Status Code 404 zurück gegeben.
Wenn die Sprache des Cockpit geändert wurde, wurde diese richtig persistiert, aber in der Session nicht geupdated. Wurde eine neue Seite geladen, war die Sprache wieder wie vorher, erst beim ausloggen und einloggen wurde die Sprache fest übernommen. Dies wurde behoben: Sobald die Sprache geändert wird, wird diese auch in der Session geändert.
Wenn im User Bereich im Cockpit der Filter bei den Gruppen verwendet wurde und dann auf den Users Tab gewechselt wurde, konnte die Userliste nicht mehr angezeigt werden. Dies wurde behoben und beim Wechseln der Tabs wird nun der Filter geleert.
Auf der Gruppen-Editierseite konnte bisher der Admin User nicht mehr aus einer Gruppe entfernt werden. Dies wurde behoben.
Diverse Fehler bei den adaptable results der content recommendations wurden behoben.
|
Tags: |
Die Reihenfolge der konfigurierten Elevations bei den Adatptable Results wurde beim Auslesen des Datensatz nicht beibehalten. Dies wurde behoben.
Wenn bei den Adaptable Results bei den Tokens ein langer String vorhanden war, konnte das Layout brechen. Dies wurde behoben.
Bei einem Aufruf der REST Services mit falschen User Credentials wurde ein 302 auf die Login Seite zurück gegeben. Dies wurde behoben und jetzt wird mit 401 Unauthorized geantwortet.
Bei der Verwendung des Deep Links auf die Statistik Seite wurde der Verbindungstyp zwischen den Tags nicht korrekt gesetzt. Dies wurde behoben.
|
Tags: internal update, users, zookeeper |
Die verwendete Spring Boot Version wurde auf die Version 2.1 erhöht.
Die Userverwaltung speichert die Userdaten nun anstatt in einer lokalen HSQLDB in der Zookeeper-Struktur. Mit dieser Umstellung können nun identische User in mehreren haupia Knoten verwendet werden. Die Migration der Userdaten geschieht automatisch beim ersten Start des haupia-Servers nach dem Update auf diese Version. Nach Abschluß der Migration werden die lokalen Daten automatisch gelöscht.
Mit der Migration der Userverwaltung wurde nun auch das Hot Standby umgesetzt. Weitere Informationen dazu sind in der Dokumentation.
|
Tags: zookeeper, cloud, proxy |
Beim Start des haupia-Servers wird nun auch im zookeeper eine Leader Election und Service Discovery gestartet. Dies ist die Basis um eine Anmeldung mehrerer haupia-Instanzen am zookeeper und deren Verständigung untereinander zu ermöglichen. Sind mehrere Instanzen existent funktionieren die API-REST-Services über alle Instanzen hinweg. Das Ausführen der Datengeneratoren und das Cockpit hingegen sind nur auf dem Leader aktiv. Das Starten als einzelner Knoten oder mehrerer Knoten unterscheidet sich nicht, es ist also keine Konfigurationsänderung notwendig. In einem späteren Release wird noch die Speicherung der Userdaten auf den zookeeper umgezogen. Es wird empfohlen, auf diesen Release zu warten um eine doppelte Pflege der Userdaten zu Umgehen.
Die haupia-Crawler berücksichtigen nun einen potentiell in den JAVA_OPTS konfigurierten Web-Proxy.
|
Tags: GroovySkript, Installation |
Beim Speichern einer PreparedSearch oder eines Datengenerators wird nun geprüft, ob evtl. vorhandene GroovySkripte syntaktisch korrekt sind. Ist dies nicht der Fall, so wird nicht gespeichert und dem User entsprechend Feedback gegeben.
Die Namen von neu angelegten Benutzergruppen können nun unabhängig von Groß-/Kleinschreibung nicht mehr identisch zu schon bestehenden Gruppennamen sein.
Für eine einfachere Installation auf Linux Systemen werden nun Vorlagen für Systemd mit ausgeliefert.
|
Tags: Cockpit, Intern, JDK, Statistics |
Im gesamten Backend können die Werte von numerischen Eingabefeldern nun direkt per Zahleneingabe angepasst werden, statt wie bisher nur in festgelegten Schritten.
Die Spring-Abhängigkeiten wurden geupdated. Diese Updates beinhalten hauptsächlich Bugfixes der verwendeten Frameworks/Bibliotheken. Es sind keine speziellen Updatemaßnahmen notwendig.
Das für haupia empfohlene JDK ist nun OpenJDK in Version 8. https://openjdk.java.net/
Der PreparedSearch-REST-Service wurde um den Parameter "tag" erweitert. Mit diesem kann eine Suchabfrage einer oder mehreren Kategorien zugeordnet werden. Diese Kategorien können in verwendet werden, um Statistiken über ein Subset der Suchabfragen zu bilden.
Die Statistiken wurden um die Möglichkeit von Deep Links erweitert.
Wenn im Filtereingabefeld auf Listenseite Return gedrückt wurde, wurde die Seite neu geladen. Dies wurde behoben.
|
Tags: Internal, Prometheus, Cockpit, Prepared Search Konfiguration, External API |
Die Basis wurde von Spring Boot 1 auf Spring Boot 2 angehoben. Bitte dazu den Migration Guide in dem Operational Manual beachten!
Es gibt nun eine einfache Möglichkeit in der application.yml einen Prometheus Endpoint freizuschalten.
Beim Anlegen einer neuen Gruppe wird nun geprüft, ob die Namen nur valide Zeichen enthält. Valide sind Buchstaben (klein und groß), Zahlen und Bindestrich.
Jars die für die Verwendung der Java Bibliothek verwendet werden erhalten nun automatisiert eine Versionsnummer.
Wurde in einer PreparedSearch ein Datengenerator konfiguriert, brach vor dem ersten Durchlauf des Datengenerators beim Aufruf der Editierseite das Abfragen der Feldnamen ab. Dies führte beim Öffnen zu einer leeren Felderliste, und wurde in diesem Release behoben.
|
Tags: Cockpit |
Die Filter auf den Listenseiten im Cockpit sind nun Funktionsfähig.
Auf der Editierseite eines AdaptableResults gibt es nun die Möglichkeit beim Speichern verwaiste Elevations sowie Exclusions bereinigen zu lassen.
|
Tags: Schema, Spellcheck, Webcrawler, Date Enhancer, Storage, Logging |
Im SOLR Schema wurde das dynamische Feld "\*_sort" hinzugefügt. Damit lassen sich Felder definieren, die zum Sortieren verwendet werden können.
Beim Spellcheck wird nun geprüft, ob eine Sprache existiert. Dies vermeidet folgende Fehlermeldungen: org.apache.solr.common.SolrException: Specified dictionaries do not exist: spellcheck_
Der Date Enhancer versteht nun auch folgendes Format: "Wed Aug 29 20:34:01 +02:00 2018". Dies wird von Tika verwendet und führte zu unnötigen Logmeldungen.
Das Logformat einiger Ausgaben wurde angepasst.
Die Hot-Deletion wurde implementiert, diese dient dazu ein Dokument schnell per API-Aufruf aus dem Index eines Datengenerators zu entfernen.
Der Webcrawler setzt nun den mime type korrekt als Facette.
Das Dropdown zum Einstellen der default Sprache bei den Datengeneratoren hatte bisher Sprachdefinitionen die von 2 Buchstaben abweichen (zum Beispiel zh-cn) nicht berücksichtigt. Dies wurde behoben.
Bei der Verwendung von lokalen Storages kann es bei der Verwendung von Netzlaufwerken dazu kommen dass während des Synchronisationsvorgangs nicht die aktuellste Version eines Dokumentes synchronisiert wird. Um dies zu verhindern wurde der globale Parameter "haupia.storage.cooldown" eingeführt. Mit diesem Parameter wird während der Datengenerierung dem Storage die konfigurierte Zahl an Millisekunden gelassen um die Änderungen zu speichern. In der Standardkonfiguration ist der Wert 0 Millisekunden.
|
Tags: External API, Taglib, Netzwerk Timeout, Logging, Storage, Prepared Search |
REST Services und Dokumentation für die externen Datengeneratoren wurde hinzugefügt.
Die Taglib wurde um weitere Tags erweitert die für die Migration von haupia 1 noch benötigt wurden. Die Dokumentation für die Taglib wurde komplett neu geschrieben.
Der REST Aufruf der Prepared Search wurde um den Parameter "page" erweitert.
Das default Logging wurde überarbeitet. Per default erfolgt nun die Logausgabe in rotierenden Dateien.
Es wurden Endpunkte zur Überwachung der Applikationsgesundheit verfügbar gemacht. Weitere Informationen siehe Betriebshandbuch.
Das Verhalten des Webcrawlers wurde dahingehend angepasst, dass eine serverseitige Umleitung von http auf https beim Aufruf einer initialen Sitemap hingenommen wird. Somit kann die URL nun sowohl als http- als auch als https-URL gepflegt werden.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wird dies nun im Ergebnis auf das Feld "groups" gemapped.
Den AdaptableResults wurde die Möglichkeit hinzugefügt, Ergebnisse aus der konfigurierten PreparedSearch unabhängig vom Suchbegriff der Ergebnisliste hinzuzufügen.
Die REST-API wurde um die Möglichkeit erweitert, ein Dokument direkt aus dem Index eines Datengenrators zu entfernen (Hot Deletion). ==== Bugfix
Beim Download von Ressourcen wurde der Timeout bisher nicht berücksichtigt. Dies wurde nun behoben.
Nach einer erfolgreichen Datengenerierung werden die alten Storages gelöscht. Dabei wurden bisher die alten Dokumente in den Speicher geladen was zu einem OOM führen konnte und die Datengenerierung sofort abbrach. Dies wurde nun behoben.
Wenn beim Aufruf einer Prepared Search in der Solr Query eine Gruppierung verwendet wurde, wurde eine Exception geworfen. Dies wurde nun behoben.
|
Tags: Cockpit, Sprachen |
Es ist nun möglich im Cockpit zwischen den Sprachen Deutsch und Englisch zu wählen. Die Auswahl wird automatisch im Profil gespeichert und beim nächsten Login verwendet. Sollte im Profil noch keine Sprache eingestellt oder diese ungültig sein, so wird die konfigurierte Sprache des Browsers verwendet. Konnte auch hier keine gültige Sprache festgestellt werden wird Englisch verwendet.
Es wurden neue Sprachen hinzugefügt: Litauisch und Serbisch.
Es wurde ein Fehler behoben welcher bei Datengeneratoren welche die gleichen Seiten crawlen zu Anzeigeproblemen geführt hat. Teilweise wurde die Daten der Seiten angezeigt, die der älteste Datengenerator angelegt hatte, auch wenn ein anderer Datengenerator ausgewählt wurde.
Ein Fehler beim Spellcheck bei der Wildcardsuche wurde behoben.
Die Dokumentation wurde erweitert (z.B. um das Thema Highlighting).
Im Bereich der Datengenerierung wurde das Logging angepasst, um sprechendere Loggingausgaben auf niedrigeren Logleveln zu erzeugen.
Die Abfrage gegen den SOLR wurde von GET auf POST umgestellt. Bei Abfragen mit vielen Sprachen konnte es auf Grund der Anzahl der Felder zu zu langen URLs kommen. Dies wurde behoben.
|
Tags: Local Storage |
Beim löschen eines Storages wurde bisher nur der Eintrag in der Meta Daten Tabelle zu den Storages gelöscht. Jetzt wird zusätzlich auch die zugehörigen Einträge in der Dokumenten Tabelle gelöscht.
|
Tags: Local Storage |
Nach dem Löschen wird nun auch ein CHECKPOINT DEFRAG aufgerufen um den Festplattenplatz auch wieder frei zu geben.
|
Tags: Stopwords |
Die Standard Stopwörter von Sprachen mit mehr als 2 Zeichen in der Abkürzung (zh_tw und zh_cn) wurden nicht importiert. Dies wurde nun behoben.
|
Tags: Hot Injection, Direct Commit, *Rest API+ |
Hot-Injection: Die Hot-Injection dient dazu, einzelne Daten schnell und isoliert in den Index zu übertragen. Hierzu ist ein neuer REST-Endpunkt verfügbar.
Direkter Commit: Im Backend ist für Mitglieder der Admin-Gruppe ein Knopf verfügbar welcher die flüchtigen Daten direkt an den SOLR-Server Überträgt.
Die REST-API ist aus Performancegründen nun stateless.
Synonyme ignorieren nun Groß- und Kleinschreibung.
|
Tags: Prepared Searches, Spellcheck |
Der Spellcheck berücksichtig nun die Sprachen. Werden bei einer Suchanfrage mehrere Sprachen verwendet, werden Vorschläge über alle Sprachen gebildet und nach Treffer im Index sortiert.
|
Tags: XML Sitemap |
Sitemap-XML-Dateien (und Sitemap-Index-XML-Dateien) werden nun im Kontext des Webcrawlers automatisch erkannt sowie abgearbeitet. Aus dem Frontend wurden die entsprechenden, nun unnötigen Konfigurationsflags an den Datengeneratoren entfernt.
Die Statistik-Anforderungsmaske validiert nun die eingegeben Daten auf sinnhafte Eingaben (Startzeitpunkt vor Endzeitpunkt, Endzeitpunkt nicht in der Zukunft)
Die Funktion 'Autocomplete' beachtet nun die für die Sprache konfigurierten Stopwords und Synonyme.
Die Auswahl "Neues Storage erstellen" bei der Datengenerierung hat nun den gewünschten Effekt. Der Webcrawler respektiert nun bei entsprechender Konfiguration die robots.txt. Das Hinzufügen einer Facette innerhalb eines Groovy-Enhancers funktioniert nun.
|
Tags: Webcrawler, Migration |
Implementierung von Spracherkennung aus HTML-Tags basierend auf der in der Dokumentation vermerkten Reihenfolge.
Beim Import von Prepared Searches wurde fehlerhaft im Feld der Datageneratoren die Return Fields gesetzt. Dies wurde behoben.
|
Tags: ACL, Statistik |
Implementierung von Mehrfachauswahl und -löschen auf Listenseiten bezüglich Usern und Usergruppen.
Implementierung des Downloads von Auswertungen als CSV auf der Statistikseite. In der zur Verfügung stehenden Datei stehen für den gewählten Zeitraum:
Implementierung eines Sicherheitsmechanismus, durch welchen der User 'admin' sowie die Gruppe 'admin' nicht mehr aus dem System zu entfernen ist. So ist ein Aussperren aus dem System verhindert. User in der Gruppe 'admin' können dieser nach wie vor zugeweisen und aus ihr entfernt werden.
Behebung von Fehlern beim Deaktivieren/Auswählen von Elementen auf der Benutzer- sowie Gruppenansicht.
|
Tags: Breadcrumb, Content Recommendation, AdaptableResult, Datengeneratoren |
Implementierung der Breadcrumb-Funktionalität auf allen Listen- und Detailansichten des Backends. Hierdurch wurde eine intuitivere Navigationsmöglichkeit zwischen Listen- und Detailansichten geschaffen.
Bei Erstellen einer ContentRecommendation stehen nun die verfügbaren PreparedSearches als Dropdown zur Verfügung und müssen nicht wie bisher als Freitext eingegeben werden.
Beim Editieren eines AdaptableResults können nun beliebig viele Treffer nachgeladen werden um die Anpassungsmöglichkeiten per Elevations und Excludes zu erweitern.
Behebung von Fehlern bei der Auswertung der Datengenerator-Konfiguration, die zur Nichtbeachtung der Mindestanzahl von Dokumenten welche zur Synchronisation nötig sind geführt haben.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtausführung bei wöchentlichen Startzeitpunkten geführt haben.
Behebung eines Fehlers der bei Nichtauswahl eines Datengenerators in einer PreparedSearch-Konfiguration die Daten aller Datengeneratoren durchsucht hat.
Behebung von Fehlern beim Speichern der Datengenerator-Konfiguration, die zur Nichtbeachtung der Enhancer-Reihenfolge geführt haben.
Behebung eines Fehlers an der ContentRecommendation-REST-Schnittstelle.
|
Tags: Spracherkennung |
Verbesserung der automatischen Spracherkennung bei Datengeneratoren.
Behebung von Fehlern beim Editieren, Speichern und Zurücksetzen von Elevations und Excludes an einem AdaptableResult.
|
Tags: Testing |
Anpassung des internen Testframeworks.
Behebung von Anzeigefehlern in der Datengenerator-Listenansicht und der Statistik-Ansicht.
|
Tags: PartialMatch, Testing |
Update verschiedener interner Abhängigkeiten.
Anpassung des internen Testframeworks.
Generische Textfelder (ohne Sprachbehandlung) werden mit einem eigenen Filter behandelt um die Möglichkeit einer PartialMatch-Suche zu haben. Somit ist auf diesen Feldern eine Suche nach Wortbestandteilen möglich.
Die Wildcard-Suche mittels "*" als Querybestandteil ist somit nicht mehr unterstützt.
|
Tags: GroovyScript, AdaptableResult |
Möglichkeit der Validierung von GroovyScript im Backend implementiert.
Fehler beim Editieren eines bestehenden AdaptableResults behoben.
|
Tags: Bugfixes, Internationalisierung, Prepared Search, Datengeneratoren |
|
Es werden ab dieser Version spezielle jars im Classpath auf dem SOLRCloud-Server benötigt. Diese jars sind im SOLRCloud-Download enthalten (Verzeichnis 'contrib') müssen aber von Hand in den Classpath verschoben werden. Diese jars sind:
|
Es wurden weitere Sprachen in der Konfiguration hinzugefügt:
Zu allen Sprachen wurde auch eine Default Stopwordliste hinzugefügt und getestet ob die automatische Erkennung funktioniert.
Wichtig: Diese Konfiguration funktioniert nur, wenn die SOLRCloud-Installation folgende jars im Classpath besitzt:
Das Feld 'content' wurde als deustches Feld behandelt. Dies wurde behoben und wird nun wie die anderen Textfelder auch, wie ein Textfeld ohne Sprachverarbeitung behandelt.
Die Anzeige beim Konfigurieren der Mindestanzahl an Treffer bei der Facette war im Fall des Wertes 0 falsch. In diesem Fall wurde funktionial der Wert 0 verwendet, die Anzeige im numerischen Feld war aber 1. Dies wurde behoben.
Der Threadpool zum Starten von Datengeneratoren wurde bisher nicht ausreichend verwendet und so nur ein Datengenerator ausgeführt (im Gegensatz zu parallelem Lauf). Dieses wurde behoben und jetzt wird die konfigurierte Anzahl an Threads und damit parallelen Datengeneratoren verwendet.
|
Tags: Statistiken, Synonyme |
Die Anzeige der Statistiken wurde um eine zweite Sortierung erweitert. Zunächst werden die Top-Suchbegriffe nach Anzahl der Suchen sortiert, und daraufhin alphabetisch.
Die Editierseite für die Synonyme wurde freigegeben. Diese wurden umgestellt auf die Unterstützugn der einzelnen Sprachen.
|
Tags: Spracherkennung, Prepared Search |
Das Erkennen der Sprache anhand des Textes im Content basiert auf einer statistischen Datenbasis. Diese wurde unter Umständen beim Starten von haupia nicht eingelesen und damit konnte die Sprache nicht erkannt werden und es wurde immer der konfigurierte Fallback verwendet. Aus diesem Grund wurde die Datenbasis in den 'shared resources '-Bereich verlagert und wird dort beim Starten eingelesen.
Wenn bei einer Suche ein leerer String an den PreparedSearch-REST-Service übergeben wurde hat das bisher einen Fehler '500' ausgelöst. Dies wurde jetzt auf einen 400er (Bad Request) geändert mit einem leeren Suchergebnis im Body.
Die Übergabe eines leeren Suchbegriffs an den PreparedSearch-REST-Service löste bisher einen Fehler '500 - Internal Server Error' aus. Nun wird hierauf mit dem Fehler '400 - Bad Request' und einem leeren Suchergebnis geantwortet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Browser, Logging, Prepared Search Konfiguration, Datengenerator Konfiguration |
Der Browser im Backend wurde komplett überarbeitet. Das Layout wurde vereinfacht und alle Buttons sind nun voll funktionsfähig. Die Liste mit den Dokumenten lädt nun automatisch nach, wenn man Nahe dem Ende ist.
Beim Starten wurden WARN Meldungen bzgl. von HQL Abfragen ausgegeben. Diese wurden behoben.
Die Eingabe des Namens bei den PreparedSearches und Datengeneratoren akzeptiert nun keine Leerzeichen mehr.
Die SOLR-Collection für die statistische Erhebung wurde auf eine verträglichere Namenskonvention umgestellt.
Ein Mechanismus zur Vermeidung vom Problemen bei der Nutzung verschiedener SOLR-Versionen wurde implementiert.
|
Tags: Internationalisierung, Sonderzeichen |
Bei der Synchronisierung wird nun geprüft, welcher Art ein Feld ist und gegebenenfalls internationalisiert. Alle Textfelder sind somit internationalisiert.
Spezielle Sonderzeichen werden nun vor dem Tokenizer maskiert, um diese als Inhaltliches Zeichen zu erhalten. Diese Sonderzeichen sind:
|
Tags: Autocomplete, Internationalisierung, Did you mean |
Das Autocomplete unterstützt nun auch den Parameter 'language'.
Die Funktion 'Did you mean' berücksichtigt nun alle Filter, die bei der Abfrage verwendet worden sind. Dadurch werden nur Vorschläge zurückgegeben, die bei Berücksichtigung der aktuellen Filter Ergebnisse liefern. So werden auch die Sprachfilter automatisch unterstützt.
|
Tags: ContentRecommendation Konfiguration |
Überarbeitung der Handhabung von ContentRecommendations. Alle Komponenten wurden überarbeitet, um einen einfacheren Ablauf beim Konfigurieren von ContentRecommendations zu ermöglichen.
|
Tags: Multi-Cluster Sync, Prepared Search Konfiguration |
Ein Fehler beim Paginieren während der Synchronisation wurde behoben. Es wurde ein Fehler behoben der dafür sorgen konnte, dass nicht mehr als 1000 Elemente pro Datengenerator synchronisiert werden konnten.
Auf der PreparedSearch-Editierseite wurde bei der Auswahl der Felder die Checkbox "verbose" hinzugefügt. Ist diese angewählt werden alle Felder zur Auswahl angezeigt. Ist diese abgewählt wird nur ein Subset angezeigt und selten verwendete Felder ausgeblendet.
|
Tags: intern |
Nur interne Änderungen.
|
Tags: Internationalisierung, Datagenerator WEB |
Im Schema konfigurierte Sprachen werden nun automatisch erkannt. Diese müssen sich bei der Benamung an den folgenden regulären Audruck halten: "^text_general_([a-z]{2})". Der 'Typename' beginnt mit "text_general_" gefolgt von der Länderkennung, bestehend aus zwei Buchstaben. Auf der Datengenerator-Konfigurationsseite werden die Sprachen als mögliche Werte für die Standardsprache des Datengenerators angeboten.
Die default schema.xml wurde um folgende Sprachen erweitert:
Beim Erfassen einer Webseite durch den Webcrawler wird der Inhalt des erfassten 'title' nicht mehr dem erfassten 'content' vorangestellt. Der 'content' besteht damit nur mehr aus Inhalten aus dem 'body' des Dokuments.
|
Tags: Stopwörter, Internationalisierung |
Es können nun Stopwörter bezogen auf die internationalisierten Felder im Backend bearbeitet werden.
|
Tags: Groovy, Prepared Search Konfiguration |
Die Frontendkomponente zur Anzeige der Groovy-Skripte wurde komplett überarbeitet und zeigt nun zuverlässig das Skript an.
Bei der PreparedSearch-Konfiguration werden die internationalisierten Felder zusammengefasst und nur als ein Feld angezeigt.
The Technical Support of the Crownpeak Technology GmbH provides expert technical support to customers and partners covering any topic related to the FirstSpirit™ product. You can get and find more help concerning relevant topics in our community.