Sono nuovo nell'apprendimento automatico. Ho implementato un modello di apprendimento automatico che rileva il suono (ad esempio: tromba, sirena, martello, ecc.) E predice il tipo di suono. Devo testare fisicamente il modello sul suono reale di qualsiasi oggetto. Come faccio a farlo?
La convalida del modello è una parte importante di qualsiasi applicazione di apprendimento automatico. Per convalidare il modello, è necessario dividere i dati disponibili in un set di allenamento e un set di convalida. Quindi si allena il modello sul set di allenamento e si utilizza il set di convalida per calcolare le statistiche sul rendimento.
Sembra che tu abbia un problema di classificazione (dato un suono, è un corno, una sirena o un martello?). Per i campioni nel set di validazione, dovrai conoscere la vera classificazione. È quindi possibile confrontare la vera classificazione con la classificazione prevista del modello e calcolare statistiche di errore come i falsi positivi (un suono è stato classificato come sirena ma non lo era) o falsi negativi (un suono è stato classificato come qualcos'altro ma era in fatto una sirena). Se il modello di classificazione emette previsioni continue (cioè esegue la classificazione fuzzy), allora puoi anche utilizzare misure come l'errore quadratico medio come indicatore delle prestazioni del modello.
Un problema con il set di allenamento - il set di validazione diviso è che il set di allenamento diventa necessariamente più piccolo e che il modello non è allenato su tutti i campioni disponibili. Esistono approcci di convalida incrociata come Convalida incrociata congedo di una via o convalida incrociata di k-Fold che utilizzare i dati disponibili in modo più efficiente. Tecniche come la convalida incrociata o il bootstrap possono anche essere utilizzate per calcolare gli intervalli di confidenza per le tue misure di rendimento.
Leggi altre domande sui tag machine-learning