none
Architettura Soluzione RRS feed

  • Discussione generale

  • Ciao Ragazzi,

    Sto lavorando a un progetto personale che a lavoro compiuto, sarà un portale web di confronto prezzi tra diverse piattaforme online.

    MI sto occupando io della parte di ETL la quale deve:

    1) Cattutare i dati da diverse fonti ogni 2 minuti ( API, XML, WebSocket, HTML Pages )

    2) Trasformare e Normalizzare i dati secondo un dictionary

    3) Aggiornare in differenziale il database operativo

    Ho scelto di non optare per l'utilizzo di SSIS in quanto le fonti dati sono totalmente disomogenee e non standard. In alcuni casi dovrò procedere tramite webscraping o tramite connessioni a WebSocket.

    Ho quindi optato per delle console applciation scritte in .Net che attingono alla fonte dati.

    Ognuna di queste console application popola una sua singola tabella senza indici ne chiavi tramite TRUNCATE+LOOP INSERT con LinqToSql e la mia idea è di schedularle su un server SQL su N Job distinti che si eseguono automaticamente ogni 3 minuti ( il tempo di esecuzione di ognuna è stimato intorno al minuto ).

    Per la parte invece di DIFFERENTIAL LOAD delle tabelle dei fatti ho pensato di creare un'altro JOB, schedulato anchesso ogni 5 minuti che legge dalle N tabelle di STAGING, popola una tabella di intermezzo grezza (RAW) e tramite differenziale aggiorna le tabelle dei fatti.

    Questa è l'architettura che ho pensato e credo che stia in piedi se fosse implementata su un server fisico.

    La mia idea è invece quella di sfruttare il cloud.

    Le mie domande ora sono:

    1) Quali altre alternative all'architettura potrebbero esserci e cosa ne pensate dell'attuale ?

    2) SQL AZURE potrebbe supportare un'implementazione simile con JOB Schedulati / Console Eseguibili / etc ??? ( penso di no )

    3) Quale è la soluzione nel CLOUD più economica per un'implementazione simile? Mi servirebbe appunto un server che esegua elaborazioni di continuo...

    Grazie a tutti per il supporto

    Dario


    martedì 17 gennaio 2017 08:41

Tutte le risposte