Lavoro per un'azienda manifatturiera del mercato medio con circa 1700 dipendenti interni e circa 7000 utenti esterni (dipendenti dei nostri clienti). Siamo cresciuti attraverso l'acquisizione, il che significa che abbiamo molti sistemi separati che servono la stessa funzione per diverse parti della nostra attività (due ERP, 3 CRM, 3 applicazioni di e-commerce, dozzine di applicazioni BPM, dozzine di varie app mobili, decine di dispositivi IoT , ecc.)
Sto diventando sempre più preoccupato per i nostri dati. Il prodotto che produciamo ha un ciclo di vita di 30 anni e i nostri clienti si aspettano che i dati del 1980 siano accessibili in ogni momento. Probabilmente abbiamo 50 milioni di ordini seduti in 8 sistemi diversi su 8 piattaforme diverse. Abbiamo dati di credito seduti in forse 5 sistemi diversi su 5 diverse piattaforme, ecc. Gli ordini / crediti / ecc. Filtrano tutti attraverso il nostro vecchio ERP AS400 ma solo le informazioni finanziarie, il resto è seduto nel sistema che lo ha raccolto. Altrettanto preoccupante è che abbiamo circa 10 milioni di file di progettazione tecnica sparsi su varie unità di rete senza alcun tipo di gerarchia o capacità di query.
Abbiamo un architetto di dati che sta costruendo un data warehouse per i rapporti, ma non è entusiasta di utilizzare quel data warehouse come una "legacy lookup" che può essere accessibile ai dipendenti in prima linea.
Mi chiedo se qualcuno condivida alcune strategie per gestire questi dati. Le mie domande principali sono.
- Quali sono i vantaggi e i rischi di lasciare i dati legacy nel suo stato attuale, quindi accrudendoli attraverso un qualche tipo di sistema SOA / BPEL rispetto a fare ETL e metterlo in scena in una posizione centrale
- Con quale frequenza i dati correnti devono essere estratti (se non del tutto) in un DB centralizzato?
- È meglio provare e ottenere questi dati in uno schema uniforme o semplicemente mantenerlo così com'è e separare le GUI in base agli schemi?
- Esistono soluzioni COT formiche che possono aiutare?
- Qualche suggerimento / trucchetto per l'interfacciamento con una varietà di database diversi (DB2, SQL Server, Oracle 11g / 12c, MySQL, ecc.)
- Eventuali suggerimenti / trucchi di rete per impedire ai processi ETL di distruggere la nostra rete?
- Il sistema di archiviazione e recupero dei dati testuali dovrebbe essere una soluzione diversa dai dati dei file?
Sto solo cercando di capire da dove cominciare.