Domande con tag 'etl'

domande con tag
2
risposte

Utilizzo di ESB per la sincronizzazione / replica del database

Stiamo iniziando a considerare l'implementazione di un'architettura ESB / Microservices. Io (penso) conosco i concetti, ma c'è una cosa che non riesco a farmi un'idea: replica / sincronizzazione dei dati. Creare un evento per ogni tabella (ma...
posta 07.05.2015 - 10:53
3
risposte

Domanda di ricerca software ETL

Dove lavoro, usiamo una soluzione ETL interna che è di casa ed è in circolazione da 5-10 anni. Sono ancora nuovo nel mio lavoro di analisi dei dati, ma mi chiedevo gli strumenti ETL che sono là fuori. Questa è una nuova area per me. La mia si...
posta 03.02.2011 - 16:29
2
risposte

Integrazione dei dati da fonti eterogenee

Un cliente ha richiesto di creare una piattaforma per l'integrazione dei dati dal partner al proprio archivio dati centrale. Questa non sarà una scala "Big Data". I dati di ciascun partner saranno accessibili tramite API RESTful. Poiché le API R...
posta 09.11.2016 - 16:22
1
risposta

Produzione o dati di test personalizzati per il test unitario?

Recentemente ho avuto un piccolo disaccordo con altri sviluppatori. Stiamo trasformando varie ontologie dal formato sorgente originale (Pica +, RDF, ecc.) Nel nostro formato dati e abbiamo diversi convertitori dedicati esattamente a questo compi...
posta 18.05.2013 - 23:01
1
risposta

Che cosa significa "copertura dei dati" quando si parla di processi ETL?

Stavo guardando questo parlare delle carenze di ETL e le soluzioni fornite dalla piattaforma Kafka ma non lo faccio capisco a cosa si riferisce l'oratore quando dice ETL tools have been around for a decade, yet data coverage in warehouses...
posta 01.05.2018 - 14:50
1
risposta

Come aggiornare in modo incrementale il valore delle funzionalità in una pipeline di apprendimento automatico?

Sto lavorando su una pipeline di machine learning in cui dobbiamo calcolare determinate misure sullo streaming dei dati. Ogni giorno, nuovi dati grezzi entrano nella nostra pipeline. Per aggiornare le nostre funzionalità, dobbiamo eseguire un ET...
posta 18.12.2018 - 10:38
1
risposta

Come implementare ETL con MySQL?

Ho un database MySQL legacy (A) e una nuova struttura revisionata per il database MySQL (B). Il problema numero uno è che il database deve essere attivo e continua a ricevere i dati dalle app precedenti. Ciò di cui ho bisogno è spostare costa...
posta 07.11.2016 - 09:11
1
risposta

Progettazione dell'integrazione dei dati utilizzando Microsoft SSIS

Sto lavorando a un progetto di integrazione dei dati, in cui ho bisogno di estrarre i dati dal sorgente di Oracle e caricarli in un file XML. Il requisito è quello di ottenere l'elenco dei clienti e foreach cliente creare un file xml con i dati...
posta 16.09.2018 - 16:21
0
risposte

Quali sono alcune idee di progettazione per un'applicazione di mappatura e trasformazione dei dati?

Ecco uno schema di alto livello del progetto: Abbiamo spesso bisogno di convertire i dati da un nuovo sistema in entrata al nostro sistema interno (una sorta di processo ETL di base) Preferiremmo farlo dinamicamente, consentendo ad un anal...
posta 17.08.2018 - 15:43
2
risposte

qual è un approccio migliore nella replica dei dati da una tabella all'altra? trigger o uno strumento ETL di terze parti?

Abbiamo più tabelle di cui abbiamo bisogno per recuperare i dati e fare il dump su una tabella centralizzata. Attualmente ciò che stiamo facendo è eseguire un lavoro ETL creato da Pentaho, recuperare i record dalle tabelle di origine e scaricarl...
posta 30.06.2016 - 06:01