Tenere traccia dei dati cancellati a monte

0

Sto costruendo un'applicazione che interroga diverse API e duplica alcuni dei dati in un database centralizzato downstream per semplificare l'esecuzione di alcune elaborazioni su di esso. La mia applicazione leggerà solo queste API.

Controllare il contenuto nuovo e aggiornato sembra abbastanza facile (posso ordinare i dati per ultimo aggiornato / modificato). Ho difficoltà a concettualizzare come monitorare i dati cancellati. Queste API non ti avvisano quando i dati vengono cancellati; il disco semplicemente non esiste più.

Esiste uno schema o una procedura ottimale che posso esaminare? Potrei eseguire la brute-force, ovvero verificare che ogni pezzo di dati esista ancora sul server ad intervalli specificati, ma ciò sembra piuttosto intenso.

Ho provato a cercare soluzioni online, ma non sono riuscito a trovare nulla di utile.

    
posta user81971 11.04.2016 - 14:59
fonte

1 risposta

2

Se la tua origine dati non ti fornisce notifiche quando i dati vengono cancellati, non vedo altra scelta se non quella di forzare bruscamente la soluzione interrogando periodicamente la fonte.

A seconda dell'origine dati, questo potrebbe violare i termini del servizio se si esegue il sondaggio troppo spesso perché mette un carico pesante sul server di origine.

La soluzione ideale è lavorare con i proprietari delle API e convincerli ad aggiungere supporto per gli aggiornamenti degli inserimenti di tracciamento e le eliminazioni (ad esempio, "elenca tutti i recordId che sono stati eliminati nelle ultime 24 ore"). Purtroppo, questo non è sempre possibile.

    
risposta data 11.04.2016 - 15:16
fonte

Leggi altre domande sui tag