[Apocalypse.cow] OutOfMemory issues BSOS

[De Blende, Christophe]

https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html


Fielddata is disabled on text fields by defaultedit<https://github.com/elastic/elasticsearch/edit/6.4/docs/reference/mapping/params/fielddata.asciidoc>

Fielddata can consume a lot of heap space, especially when loading high cardinality text fields. Once fielddata has been loaded into the heap, it remains there for the lifetime of the segment. Also, loading fielddata is an expensive process which can cause users to experience latency hits. This is why fielddata is disabled by default.


Komt erop neer dat Briefteksten van BSOS (volledige brieven dus) mee in de index zitten.


public static class InhoudBoetebeslissing {

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String procedureleAntecedenten;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String feiten;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String schendingenEnToerekenbaarheid;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String ernst;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String frequentie;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String omstandigheden;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String boeteberekening;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String voordeelontneming;

  @Field(type = FieldType.text, fielddata = true, store = true, analyzer = "custom_whitespace_standard_analyzer")
  private String boeteparagraaf;
}

Komt erop neer dat dat dus een slecht idee is … Ik moet dit nog verder bekijken met Ulrich,

@Hemm met de upgrade van ES, zijn er toch een paar zoek combinaties die niet meer werken. Zoeken op status gaat niet meer.

Caused by: org.elasticsearch.index.query.QueryShardException: failed to create query: {
  "bool" : {
    "should" : [
      {
        "query_string" : {
          "query" : "Geseponeerd",
          "fields" : [
            "status^1.0"
          ],
          "type" : "best_fields",
          "tie_breaker" : 0.0,
          "default_operator" : "and",
          "max_determinized_states" : 10000,
          "enable_position_increments" : true,
          "fuzziness" : "AUTO",
          "fuzzy_prefix_length" : 0,
          "fuzzy_max_expansions" : 50,
          "phrase_slop" : 0,
          "analyze_wildcard" : true,
          "minimum_should_match" : "80%",
          "escape" : false,
          "auto_generate_synonyms_phrase_query" : true,
          "fuzzy_transpositions" : true,
          "boost" : 1.0
        }
      }
    ],
    "adjust_pure_negative" : true,
    "boost" : 1.0
  }
}

Geeft dan als fout  —> Caused by: java.lang.IllegalArgumentException: Cannot search on field [status] since it is not indexed.

Deze lijkt mij nog eenvoudig op te lossen. Maar het is mij niet zo duidelijk want al die @Field properties nu eigenlijk allemaal doen, de documentatie is echt gebrekkig. Lijkt dat met de upgrade die ineens wel iets doen en vroeger niets deden.

Met vriendelijke groeten,

Christophe De Blende
Ontwikkelaar

DEPARTEMENT OMGEVING
Afdeling Data- en Informatiebeheer, en Digitale Maatschappij
M 0498 16 13 87
Koning Albert II-laan 20 bus 8, 1000 Brussel
www.omgevingvlaanderen.be<http://www.omgevingvlaanderen.be/>


[cid:image001.png op 01D2C81C.23755FE0]<https://twitter.com/omgevingVL> <https://twitter.com/omgevingVL> [cid:image002.png op 01D2C81C.23755FE0] <https://www.facebook.com/Departementomgeving> <https://www.facebook.com/Departementomgeving>  <https://www.facebook.com/Departementomgeving> [cid:image003.png op 01D2C81C.23755FE0] <https://www.linkedin.com/company/departement-omgeving> <https://www.linkedin.com/company/departement-omgeving>






[cid:image004.png op 01D2C81C.23755FE0]

------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181018/6bc495e2/attachment-0001.html>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image001.png
Type: image/png
Grootte: 1820 bytes
Omschrijving: image001.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181018/6bc495e2/attachment-0004.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image002.png
Type: image/png
Grootte: 1850 bytes
Omschrijving: image002.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181018/6bc495e2/attachment-0005.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image003.png
Type: image/png
Grootte: 1874 bytes
Omschrijving: image003.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181018/6bc495e2/attachment-0006.png>
------------- volgend deel ------------
Een niet-tekst bijlage is gescrubt...
Naam: image004.png
Type: image/png
Grootte: 3641 bytes
Omschrijving: image004.png
URL : <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20181018/6bc495e2/attachment-0007.png>