Procedure ETL di pubblicazione sito Consiglio Regionale del Veneto

Nel corso della pluriennale collaborazione con l'unità complessa per la gestione del sistema informativo (UCSI) del Consiglio regionale del Veneto abbiamo sviluppato in ambiente Unix le procedure di ETL (Extract-Transform-Load) che permettono di aggiornare automaticamente il contenuto del sito web.

Queste procedure sono state sviluppate utilizzando linguaggi di scripting open source (perl, python, groovy), unitamente ad uno strumento (non open source) di trasformazione da testi in formato RTF a testi in formato HTML.

Il flusso delle lavorazioni viene eseguito a scadenze fisse ed aggiorna solamente i contenuti modificati, rimossi o aggiunti dall'ultimo aggiornamento permettendo così di mantenere ottime performance.

Extract

I contenuti vengono recuperati dal sistema di gestione documentale interno principalmente da due sorgenti: oggetti BLOB database Oracle (per il recupero dal precedente sistema di gestione documentale) e repository Alfresco (nuovo sistema di gestione documentale) mediante invocazioni a servizi forniti dall'Enterprise Service Bus.

Transform

I documenti così ottenuti vengono trasformati nel formato richiesto: se formato originario RTF allora HTML, se TIFF allora PDF. Tutti gli altri formati rimangono inalterati (es PDF, XLS, etc.).

Viene quindi eseguita una post elaborazione per realizzare (in modalità del tutto automatica) l'inserimento di link ipertestuali che creano riferimenti tra documenti all'interno della banca dati presente sul sito.

Load

I documenti così ottenuti vengono infine trasferiti sul sito web unitamente a dati di tipo strutturato recuperati dai database delle applicazioni legacy.

Con queste procedure viene mantenuta la banca dati delle leggi regionali, la banca dati dei verbali e resoconti delle sedute dell'Assemblea consiliare, le delibere del Consiglio regionale e tutto l'iter delle pratiche delle Commissioni consiliari (Progetti di legge, Rendicontazioni, Atti Ispettivi).