[Phoenix] DSI oefen

Vr Jul 14 10:22:08 CEST 2023

Je mag doorsturen vanaf revisie 718111 (inclusief)

From: De Blende Christophe <christophe.deblende op vlaanderen.be>
Date: Friday, 14 July 2023 at 10:09
To: Schampheleer Willem <willem.schampheleer op vlaanderen.be>, Van Lerbeirghe Veerle <veerle.vanlerbeirghe op vlaanderen.be>
Cc: phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>, Bylemans Sander <sander.bylemans op vlaanderen.be>, Goedertier Stijn <stijn.goedertier op vlaanderen.be>
Subject: Re: DSI oefen
Dag Meneer Willem,

wij gebruiken de laatste data common lib, die zou aan zich die manifest files moeten genereren. Als dat niet meer zo is, ja is dat ons nooit gemeld geweest. En blijkbaar is dat zelfs geen issue, want alles draait nog in productie. Misschien vandaar dat het ons nooit gemeld is geweest en dat hoeft ook niet als er geen breaking change is. Het is ergens interne keuken waar we niet direct iets van moeten weten.

Ik denk dat jullie gewoon te veel ballen in de lucht houden en jullie proces robuuster moeten beginnen maken. Wij hebben in DSI sinds dag 1 steeds parquet files naar de data ingest gestuurd en de boekhouding heeft altijd aangegeven dat alles goed doorgestuurd is en aangekomen is. Wat achter de data ingest gebeurt, hebben we weinig zicht op.  Dat lijkt mij dan iets dat wij weinig bij kunnen helpen.

Om @Van Lerbeirghe Veerle<mailto:veerle.vanlerbeirghe op vlaanderen.be> verder te helpen om de mercator flow te testen, moeten wij de DWH volledig herladen? Ik zet de data ingest flow alvast af in oefen. Eens de opkuis in DWH gebeurd is, kunnen we dan alles opnieuw sturen.

Mvg
Christophe
________________________________
Van: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Verzonden: vrijdag 14 juli 2023 9:07
Aan: De Blende Christophe <christophe.deblende op vlaanderen.be>
CC: phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>; Bylemans Sander <sander.bylemans op vlaanderen.be>; Goedertier Stijn <stijn.goedertier op vlaanderen.be>; Van Lerbeirghe Veerle <veerle.vanlerbeirghe op vlaanderen.be>
Onderwerp: Re: DSI oefen

Ik stel ook vast dat de zip files geen manifest bevatten. Controle op productie leert dat de laatste manifests zijn doorgestuurd op 10 maart 2023.

From: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Date: Thursday, 13 July 2023 at 17:41
To: De Blende Christophe <christophe.deblende op vlaanderen.be>
Cc: phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>, Bylemans Sander <sander.bylemans op vlaanderen.be>, Goedertier Stijn <stijn.goedertier op vlaanderen.be>, Van Lerbeirghe Veerle <veerle.vanlerbeirghe op vlaanderen.be>
Subject: Re: DSI oefen

Ik heb de logs nagekeken: NiFi heeft nergens de file met revisie 718111 opgepikt.

NiFi kan ‘de revisie dan ook niet verwijderd hebben’.

De revisie is ook niet terug te vinden op de data ingest.

Als ik kijk naar de eerstvolgende files die klaar staan om verwerkt te worden dan zie ik dit:

2023-07-10T16_47_46.896772.zip -> revisions_3.2.23_00000000000000718113_00000000000000718113.parquet

2023-07-10T16_48_26.886061222.zip -> revisions_3.2.23_00000000000000718115_00000000000000718116.parquet

…

2023-07-10T16_49_46.294852183.zip -> revisions_3.2.23_00000000000000718118_00000000000000718118.parquet

2023-07-10T16_50_27.234836348.zip -> revisions_3.2.23_00000000000000718120_00000000000000718120.parquet

Ook hier zitten gaten tussen…

From: De Blende Christophe <christophe.deblende op vlaanderen.be>
Date: Thursday, 13 July 2023 at 16:32
To: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Cc: phoenix op list.omgeving.vlaanderen.be <phoenix op list.omgeving.vlaanderen.be>, Bylemans Sander <sander.bylemans op vlaanderen.be>, Goedertier Stijn <stijn.goedertier op vlaanderen.be>, Van Lerbeirghe Veerle <veerle.vanlerbeirghe op vlaanderen.be>
Subject: Re: DSI oefen

Dag Willem,

we hebben dit aan onze kant nagekeken en die revisie is goed doorgestuurd naar de ingest. Dus ik vermoed dat dit een revisie is die verloren gegaan is door de NIFI flow. Misschien moet die aangepast worden dat de revisie pas verwijderd wordt als die ook volledig correct verwerkt is geweest. Ipv te vertrouwen op NIFI.

Mvg

Christophe

________________________________

Van: Schampheleer Willem <willem.schampheleer op vlaanderen.be>
Verzonden: donderdag 13 juli 2023 14:30
Aan: De Blende Christophe <christophe.deblende op vlaanderen.be>
Onderwerp: DSI oefen

De flow is stilgevallen omdat revisie 718111 ontbreekt
------------- volgend deel ------------
Een HTML-bijlage is gescrubt...
URL: <http://list.milieuinfo.be/pipermail/phoenix/attachments/20230714/4b12ec9c/attachment.htm>