I valori di tutti i neuroni nella mia rete neurale sono inizializzati a 0 e le forze di connessione tra i neuroni sono impostate su float generati casualmente, tra 0 e 1. Ho visto altre persone impostare i loro intervalli da 0 a .5 , però. Ci sono dei benefici l'uno sull'altro? e I valori dei neuroni dovrebbero essere impostati casualmente su 1 o 0, invece?
Randomizzare i nodi e le connessioni, aumenta l'entropia iniziale della rete.
Creare preconcetti più forti nella rete all'inizio (prima dell'allenamento), presumibilmente faciliterebbe la formazione di alcuni dei percorsi neuronali più velocemente.
Quando tutti gli altri fattori sono uguali per un input, questo ammortizzerà i casi peggiori durante l'allenamento (questo dovrebbe accadere raramente, ma in una sessione di formazione in rete potrebbe accadere alcune volte).
In pratica la differenza di efficienza è probabilmente infinitesimale durante il periodo di allenamento (se è importante) - quindi alla fine, è una questione di prefferenza .
Allo stesso modo, se si implementa qsort e si sceglie la posizione di rotazione in modo casuale, (invece di scegliere il centro di ciascun segmento ordinato) l'ordinamento tende ad avere in media un tempo di esecuzione più veloce (generalmente osservabile solo su molte ripetizioni).
Leggi altre domande sui tag artificial-intelligence machine-learning neural-networks