Come devono essere gestiti i calcoli in un database di documenti

In breve, Datastore di AppEngine potrebbe non essere lo strumento giusto per questo lavoro, ma cercherò comunque di modellarlo.

Vorrei aggiungere qualche altro modello a ciò che già possiedi. Presumo tu ne abbia già uno simile:

class LoggedError(db.Model):
    full_stacktrace = db.StringProperty() 
    error_type_name = db.StringProperty()
    code_line = db.IntegerProperty()

Vorrei quindi creare un altro modello solo per memorizzare le occorrenze dei diversi tipi di errori. Ci sarà un'istanza di questo per ciascun tipo di errore

class ErrorOccurrences(db.Model):
    error_type_name = ...
    error_type_count = db.IntegerProperty()
    list_of_occurrences = db.ListProperty(int) # the line numbers the error happens on

Le tre scelte che vedo per il popolamento di ErrorOccurrences sarebbero

1. Aggiungi a ErrorOccurrences.list_of_occurrences quando si registrano gli errori
2. Imposta un'attività o un cron job per scansionare manualmente LoggedError.all()
3. Esegui MapReduce dopo aver aggiunto i tuoi errori.

Se si registrano continuamente errori, # 1 sarà la scelta migliore. Se segui questo approccio, avere il contatore collegato a ErrorOccurrences potrebbe non essere il metodo migliore. Puoi creare un modello di contatore separato utilizzando il metodo Contatore spezzato per creare in modo più efficiente il tuo sommario, se non lo fai Devo fornire subito i numeri di linea. Ciò significherebbe anche che stai facendo almeno 3 scritture sul datastore per ogni errore rispetto a uno solo.

Spero che questa risposta abbia un senso, e buona fortuna.

Prova a guardare Hadoop wikipedia

Non so se funziona con il tuo DB.

Forse questo post sarà utile: archivio di posta

Perché non aggiungere semplicemente una colonna di classificazione alla tabella? Qualcosa come "errorType: ReallyBadError".

Quindi "mappali" su errorType e "riduci" con, ad esempio, una funzione "Sum".