[Apocalypse.cow] OutOfMemory issues BSOS

[Van Autreve, Dries]

Hallo Christophe

Ik ken Elastic niet, maar op basis van de beschrijving lijkt het nodig om aggregaties/facets en sorting te doen.  Inderdaad geen goed idee om dit op alles te doen.

Ik zie ook dat er voor alle velden store = true staat. Hierdoor kan de index groot worden en dit is misschien ook niet nodig als je deze niet uit de index leest?

--
mvg
Dries Van Autreve


From: "Apocalypse.cow" <apocalypse.cow-bounces op list.omgevingvlaanderen.be> on behalf of "De Blende, Christophe" <christophe.deblende op vlaanderen.be>
Date: Thursday, 18 October 2018 at 18:41
To: apocalypse cow <apocalypse.cow op list.omgevingvlaanderen.be>
Subject: [Apocalypse.cow] OutOfMemory issues BSOS

https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html


Fielddata is disabled on text fields by defaultedit<https://github.com/elastic/elasticsearch/edit/6.4/docs/reference/mapping/params/fielddata.asciidoc>
Fielddata can consume a lot of heap space, especially when loading high cardinality text fields. Once fielddata has been loaded into the heap, it remains there for the lifetime of the segment. Also, loading fielddata is an expensive process which can cause users to experience latency hits. This is why fielddata is disabled by default.


Komt erop neer dat Briefteksten van BSOS (volledige brieven dus) mee in de index zitten.


public static class InhoudBoetebeslissing {

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String procedureleAntecedenten;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String feiten;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String schendingenEnToerekenbaarheid;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String ernst;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String frequentie;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String omstandigheden;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String boeteberekening;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String voordeelontneming;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String boeteparagraaf;
}
Komt erop neer dat dat dus een slecht idee is … Ik moet dit nog verder bekijken met Ulrich,

@Hemm met de upgrade van ES, zijn er toch een paar zoek combinaties die niet meer werken. Zoeken op status gaat niet meer.

Caused by: org.elasticsearch.index.query.QueryShardException: failed to create query: {
  "bool" : {
    "should" : [
      {
        "query_string" : {
          "query" : "Geseponeerd",
          "fields" : [
            "status^1.0"
          ],
          "type" : "best_fields",
          "tie_breaker" : 0.0,
          "default_operator" : "and",
          "max_determinized_states" : 10000,
          "enable_position_increments" : true,
          "fuzziness" : "AUTO",
          "fuzzy_prefix_length" : 0,
          "fuzzy_max_expansions" : 50,
          "phrase_slop" : 0,
          "analyze_wildcard" : true,
          "minimum_should_match" : "80%",
          "escape" : false,
          "auto_generate_synonyms_phrase_query" : true,
          "fuzzy_transpositions" : true,
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

Geeft dan als fout  —> Caused by: java.lang.IllegalArgumentException: Cannot search on field [status] since it is not indexed.

Deze lijkt mij nog eenvoudig op te lossen. Maar het is mij niet zo duidelijk want al die @Field properties nu eigenlijk allemaal doen, de documentatie is echt gebrekkig. Lijkt dat met de upgrade die ineens wel iets doen en vroeger niets deden.

Met vriendelijke groeten,

Christophe De Blende
Ontwikkelaar

DEPARTEMENT OMGEVING
Afdeling Data- en Informatiebeheer, en Digitale Maatschappij
M 0498 16 13 87
Koning Albert II-laan 20 bus 8, 1000 Brussel
www.omgevingvlaanderen.be<http://www.omgevingvlaanderen.be/>


[cid:image001.png op 01D2C81C.23755FE0]<https://twitter.com/omgevingVL> <https://twitter.com/omgevingVL> [cid:image002.png op 01D2C81C.23755FE0] <https://www.facebook.com/Departementomgeving>  <https://www.facebook.com/Departementomgeving> [cid:image003.png op 01D2C81C.23755FE0] <https://www.linkedin.com/company/departement-omgeving>  <https://www.linkedin.com/company/departement-omgeving>



 <https://www.linkedin.com/company/departement-omgeving>


<https://www.linkedin.com/company/departement-omgeving>

[cid:image004.png op 01D2C81C.23755FE0]

------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181019/8192b8b3/attachment-0001.html>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image001.png
Type: image/png
Grootte: 1821 bytes
Omschrijving: image001.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181019/8192b8b3/attachment-0004.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image002.png
Type: image/png
Grootte: 1851 bytes
Omschrijving: image002.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181019/8192b8b3/attachment-0005.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image003.png
Type: image/png
Grootte: 1875 bytes
Omschrijving: image003.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181019/8192b8b3/attachment-0006.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image004.png
Type: image/png
Grootte: 3642 bytes
Omschrijving: image004.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181019/8192b8b3/attachment-0007.png>