[Phoenix] DSI incident in productie

[De Blende Christophe]

dank voor de info.
________________________________
Van: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Verzonden: donderdag 24 augustus 2023 12:39
Aan: De Blende Christophe <christophe.deblende op vlaanderen.be>; phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>
Onderwerp: DSI incident in productie


FYI:



Er is een incident geweest in productie met de NiFi flow voor DSI.



Het lijkt er op dat we de parquet files voor revisie 717746 2x kort na mekaar gekregen hebben: 2023-08-24T11:17:46.328855938.zip en 2023-08-24T11:18:29.096933918.zip

Op zich kan de flow om met heraanleveringen maar niet als deze in dezelfde batch worden verwerkt.

De polling (op basis waarvan de batches worden aangemaakt) gebeurt elke seconde dus het is niet normaal dat de file van 11:17 pas opgepikt is in de batch van 11:18.

Vermoedelijk is dit te wijten aan connectionloss tussen NiFi en zookeeper – dit wordt nog verder onderzocht.



De situatie is intussen rechtgezet en de flow draait terug normaal.




------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/phoenix/attachments/20230824/bd5160a5/attachment.htm>