[Codebusters] NIFI Flow BSOS in oefen

[De Blende Christophe]

Merci Stijn !

Mvg
Allen Kay
________________________________
Van: Goedertier Stijn <stijn.goedertier at vlaanderen.be>
Verzonden: vrijdag 11 augustus 2023 9:34
Aan: De Blende Christophe <christophe.deblende at vlaanderen.be>; Bylemans Sander <sander.bylemans at vlaanderen.be>; Schampheleer Willem <willem.schampheleer at vlaanderen.be>
CC: codebusters at list.omgevingvlaanderen.be <codebusters at list.omgevingvlaanderen.be>
Onderwerp: Re: NIFI Flow BSOS in oefen


Dag allen,



NiFi heeft alles ingeladen in de “landing”. De flowfile is vastgelopen bij het uitvoeren van “b_bsos.sp_load_bronze”

 In c_nifi.bulletin zie ik de error: ERROR: Found 7 "Start" rows



Mss omdat er 7 onverwerkte aanleveringen waren voor BSOS?

Mss kunnen we landing leegmaken en een nieuwe ingest krijgen van BSOS?



mvg,

Stijn



NB: Willem is denk ik vandaag en maandag met verlof...





SELECT object_id, platform, bulletin_id, bulletin_category, bulletin_group_id, bulletin_group_name, bulletin_group_path, bulletin_level, bulletin_message, bulletin_node_address, bulletin_node_id, bulletin_source_id, bulletin_source_name, bulletin_source_type, bulletin_timestamp

                FROM c_nifi.bulletin

    WHERE bulletin_group_name LIKE '%bsos%'

    AND bulletin_timestamp > '2023-08-09'::timestamp

    ORDER BY bulletin_timestamp DESC

        LIMIT 100





PutSQL[id=0a60defc-29e8-3edd-910f-ee7c0a683af8] Failed to update database due to a failed batch update, Batch entry 0 CALL b_bsos.sp_load_bronze('a2842f72-40b4-4278-a687-4b48fd7b6aa5','{filename=a2842f72-40b4-4278-a687-4b48fd7b6aa5, record.count=995}') was aborted: ERROR: Found 7 "Start" rows

  Where: PL/pgSQL function b_bsos.sp_load_bronze(uuid,text) line 21 at RAISE  Call getNextException to see other errors in the batch.. There were a total of 1 FlowFiles that failed, 0 that succeeded, and 0 that were not execute and will be routed to retry; : java.sql.BatchUpdateException: Batch entry 0 CALL b_bsos.sp_load_bronze('a2842f72-40b4-4278-a687-4b48fd7b6aa5','{filename=a2842f72-40b4-4278-a687-4b48fd7b6aa5, record.count=995}') was aborted: ERROR: Found 7 "Start" rows

  Where: PL/pgSQL function b_bsos.sp_load_bronze(uuid,text) line 21 at RAISE  Call getNextException to see other errors in the batch.

- Caused by: org.postgresql.util.PSQLException: ERROR: Found 7 "Start" rows

  Where: PL/pgSQL function b_bsos.sp_load_bronze(uuid,text) line 21 at RAISE







Van: De Blende Christophe <christophe.deblende at vlaanderen.be>
Datum: vrijdag, 11 augustus 2023 om 08:08
Aan: Bylemans Sander <sander.bylemans at vlaanderen.be>, Goedertier Stijn <stijn.goedertier at vlaanderen.be>, Schampheleer Willem <willem.schampheleer at vlaanderen.be>
CC: codebusters at list.omgevingvlaanderen.be <codebusters at list.omgevingvlaanderen.be>
Onderwerp: NIFI Flow BSOS in oefen

Co's



blijkbaar zou de BSOS NIFI flow in oefen vastgelopen zijn. Kan er iemand naar kijken om die terug in gang te zetten? Dit is de laatste test vooraleer we een prod fix kunnen uitvoeren.



Mvg

Christophe
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://list.milieuinfo.be/pipermail/codebusters/attachments/20230811/06908dbb/attachment.htm>