[Phoenix] DSI oefen

Do Jul 13 17:41:30 CEST 2023

Ik heb de logs nagekeken: NiFi heeft nergens de file met revisie 718111 opgepikt.
NiFi kan ‘de revisie dan ook niet verwijderd hebben’.
De revisie is ook niet terug te vinden op de data ingest.

Als ik kijk naar de eerstvolgende files die klaar staan om verwerkt te worden dan zie ik dit:

2023-07-10T16_47_46.896772.zip -> revisions_3.2.23_00000000000000718113_00000000000000718113.parquet
2023-07-10T16_48_26.886061222.zip -> revisions_3.2.23_00000000000000718115_00000000000000718116.parquet
…
2023-07-10T16_49_46.294852183.zip -> revisions_3.2.23_00000000000000718118_00000000000000718118.parquet
2023-07-10T16_50_27.234836348.zip -> revisions_3.2.23_00000000000000718120_00000000000000718120.parquet

Ook hier zitten gaten tussen…

From: De Blende Christophe <christophe.deblende op vlaanderen.be>
Date: Thursday, 13 July 2023 at 16:32
To: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Cc: phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>, Bylemans Sander <sander.bylemans op vlaanderen.be>, Goedertier Stijn <stijn.goedertier op vlaanderen.be>, Van Lerbeirghe Veerle <veerle.vanlerbeirghe op vlaanderen.be>
Subject: Re: DSI oefen
Dag Willem,

we hebben dit aan onze kant nagekeken en die revisie is goed doorgestuurd naar de ingest. Dus ik vermoed dat dit een revisie is die verloren gegaan is door de NIFI flow. Misschien moet die aangepast worden dat de revisie pas verwijderd wordt als die ook volledig correct verwerkt is geweest. Ipv te vertrouwen op NIFI.

Mvg
Christophe

________________________________
Van: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Verzonden: donderdag 13 juli 2023 14:30
Aan: De Blende Christophe <christophe.deblende op vlaanderen.be>
Onderwerp: DSI oefen

De flow is stilgevallen omdat revisie 718111 ontbreekt
------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/phoenix/attachments/20230713/dac0a91d/attachment.htm>