[Apocalypse.cow] Fundamentele architectuur problemen (ref ERK-855)

Wo Sep 20 13:58:48 CEST 2017

Dag Virgine, Tom, Kris

In het kader van bugfixing (ERK-855) zijn we op de volgende architectuur hick up gebotst binnen ERK. Binnen de huidige en komende sprints heeft het team geen bandbreedte om deze te herstellen, omdat de scope van dergelijke ingrepen de normale provisie van een bugfix overstijgt (0,5 a 1 story point).

Opzet CRAB interface: bij creatie van een ERK of mutatie van het adres van de primaire ERK hoedanigheid wordt de punt geometrie vh adres opgehaald, via een CRAB call. Indien deze call faalt is er geen repetitief proces in place, omdat deze call te herhalen. Het gevolg is dat deze ERK nooit in de published state geraak en bijgevolg nooit op de kaart getoond wordt, welke on line wordt gepubliceerd. Ons eerste assesment is dat 15%, van de primaire ERK hoedanigheden, niet of fout gepubliceerd via kaart (analyse beneden) worden. Er is wel natuurlijk de lijst die alle published ERKs bevat, die geldig zijn, die on line staat. (Is dit een alternatief?)

Een quick en dirty oplossing wordt ingeschat aan 3 a 5 dagen (via cron job), maar eigenlijk dient het probleem bij de wortel worden aangepakt. Vooral omdat de communicatie tss draft en publisched db (queue, db triggert, plSQL package), complex en error prone is...

Tot nader order blijft het team focussen op de IMJV 2018 campagne (tem sprint 13, 26/10) en de productiegang van GPBV (huidige sprint).

gegroet,

Geert

-------------------------------------------------------------------------------------------------------------------------------------------------
Analyse en communicatie CDB en XRA

Dag Xavier,

15% is echt wel veel. Nu ik zou niet zo optimistisch zijn dat het crab alle addressen ineens gaat fixen als we de geometrie opnieuw opvragen.

Ik denk dat we hier een serieuze les uit moeten trekken. Integraties met derden zonder backup plan, kunnen we niet meer toelaten :-P Ik zie die scheduler dan wel als een propere oplossing gegeven de situatie.  Daarbovenop, voor zichtbaarheid naar de business, zou ik nog een rapport voorzien die hen aangeeft hoeveel data niet in orde is. Op het einde van de job een mail sturen bvb … Of misschien gewoon via Zabbix …

Mvg
C

From: "Rasschaert, Xavier" <xavier.rasschaert op vlaanderen.be>
Date: Tuesday, 19 September 2017 at 12:53
To: "Heyvaert, Geert" <geert.heyvaert op vlaanderen.be>
Cc: "De Blende, Christophe" <christophe.deblende op vlaanderen.be>
Subject: ERK-855

Dag Geert,

Ik heb dit even verder geanalyseerd.

Hoeveel erkenningen zijn er die niet / niet correct op de erkenningskaart verschijnen?

Er worden momenteel 12683 erkenningen getoond op de kaart.

Sommige personen kunnen 2 keer op de kaart verschijnen: 1 maal als TGB (Technicus Gasvormige Brandstof) en 1 maal als TVB (Technicus Vloeibare Brandstof).

1) Hiervan zijn er 13261 erkenningen die zouden moeten getoond worden op de kaart, maar omwille van geen geometrie niet op de kaart komen.

Dit wil zeggen dat er ongeveer 4% extra erkenningen niet op de kaart staan terwijl ze daar zouden moeten staan.

2) Het adres dat getoond wordt op de kaart is het adres van de hoedanigheid als die bestaat, zoniet wordt deze van de erkenningshouder gebruikt

Dan zijn er daarbovenop nog de gevallen waar er een adres bestaat van de hoedanigheid zonder geometrie en een adres van de erkenningshouder met geometrie.

Dan zal de erkenning onterecht op de kaart getoond worden op het adres van de erkenningshouder ipv de hoedanigheid.

Dit is het geval voor Kris Ghekiere waarvoor het ERK ticket oorspronkelijk werd aangemaakt.

Er zijn zo 1361 erkenningen die foutief op de kaart getoond worden (als het adres verschillend is).

Dus zo een 11% van de erkenningen die momenteel getoond worden die mogelijks verkeerd staan.

Conclusie: Het gaat over een 15% van de erkenningen die niet / niet correct op de kaart getoond worden.

Wat kunnen we doen ?

Ullrich heeft voor ons al een mailtje gestuurd naar informatie vlaanderen waarin we vragen waarom de crabdienst webservice niet meer reageert.

Dit is de webservice die ons de geometrie zou moeten geven op basis van het ingegeven adres.

Deze webservice weer up krijgen zou deze 15% erkenningen moeten coveren.

Geen garantie natuurlijk dat er nog iets anders mis zit met de logica van de publicatie van de erkenningen / kaart weergave.

Oplossingen ?

- Korte termijn: Aan Virgini vragen of de pdf lijst tijdelijk als vervanging kan gebruikt worden? In deze pdf staan deze personen wel degelijk met het juiste adres / contactgegevens.

- Middellange termijn: Zodra webservice up is, een scheduler/batch procedure voorzien die voor alle hoedanigheden zonder geometrie deze opnieuw probeert op te halen en de bijhorende erkenning publiceert.

- Lange Termijn: Grote opkuis / herschrijven

met vriendelijke groeten,

Xavier Rasschaert
IT Consultant

DEPARTEMENT OMGEVING
Afdeling Data- en Informatiebeheer in de Digitale Maatschappij (DIDM)

Geert Heyvaert
ICT – Programma Manager

Vlaamse Overheid
Departement Omgeving en Agentschap Natuur en Bos
Mobiel +32 476 980 386
e-mail  geert.heyvaert op vlaanderen.be

------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/apocalypse.cow/attachments/20170920/b0a14915/attachment-0001.html>