Analisi di enormi file XML

1

la nostra startup sta lavorando a un'integrazione per vari clienti. Tutti i clienti sono tenuti a fornire i propri dati in un modo unificato = abbiamo scelto i file XML a causa della compatibilità legacy e la facilità di convalidare i file con schemi XSD.

Lo scenario dovrebbe essere che il cliente fornisca il proprio file XML che scaricherà periodicamente (circa 6 volte al giorno) e analizzerà i dati nei nostri database.

Penso che questo possa essere gestito da una singola funzione serverless = analizza semplicemente il file XML con un massimo di 1 milione di righe, confronta con i record già esistenti (se ci sono aggiornamenti) e, in tal caso, attiva un evento di aggiornamento.

Sto cercando un design o un approccio che sarebbe la soluzione migliore per questo. Inoltre, se c'è un modo migliore di ciò che ho appena descritto, sono a conoscenza di suggerimenti su come migliorare il processo.

    
posta falnyr 07.08.2018 - 09:35
fonte

1 risposta

1

Penso che scoprirai che l'analisi di un file XML di 1 m supera potenzialmente alcuni dei limiti di AWS Lambdas

link

Suggerirei quanto segue

Metodi di caricamento di file multipli per far fronte a diversi livelli di competenza tecnica per cliente.

  • FTP
  • E-mail
  • Sito web
  • Api

Il backend asincrono viene elaborato da un numero scalabile di processi di lavoro. Questi file potrebbero richiedere ore per essere elaborati. Lo terrei semplice con i servizi di Windows e una coda di messaggi. EC2 e SQS se si utilizza Amazon con un database Backend di propria scelta (RDS?)

Restituire gli errori di convalida al cliente per richiedere la correzione e il nuovo caricamento. Ancora usando più metodi.

Consenti ai clienti di interrogare lo stato dei caricamenti passati e correnti tramite un sito web

    
risposta data 07.08.2018 - 09:56
fonte

Leggi altre domande sui tag