[Phoenix] DSI incident in productie

Do Aug 24 12:39:09 CEST 2023

FYI:

Er is een incident geweest in productie met de NiFi flow voor DSI.

Het lijkt er op dat we de parquet files voor revisie 717746 2x kort na mekaar gekregen hebben: 2023-08-24T11:17:46.328855938.zip en 2023-08-24T11:18:29.096933918.zip
Op zich kan de flow om met heraanleveringen maar niet als deze in dezelfde batch worden verwerkt.
De polling (op basis waarvan de batches worden aangemaakt) gebeurt elke seconde dus het is niet normaal dat de file van 11:17 pas opgepikt is in de batch van 11:18.
Vermoedelijk is dit te wijten aan connectionloss tussen NiFi en zookeeper – dit wordt nog verder onderzocht.

De situatie is intussen rechtgezet en de flow draait terug normaal.

------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/phoenix/attachments/20230824/645404ca/attachment.htm>