Cos'è la mappatura delle identità nelle reti neurali

3

Mi sono imbattuto nel termine mapping delle identità in alcuni articoli sulle reti neurali, ma non sono sicuro di cosa si supponga significasse in quel contesto. Immagino che significhi mappare una sorta di input per un output?

Mi sono imbattuto in questo termine nei documenti Apprendimento residuo profondo per il riconoscimento dell'immagine (2015) e Identity Mappings in Deep Residual Networks (2016) , entrambi di He et al.

    
posta tt_Gantz 25.09.2016 - 15:08
fonte

2 risposte

5

Non sono un esperto di reti neurali, ma capisco che la mappatura delle identità garantisce che l'output di una rete neurale multistrato sia assicurato uguale al suo input. Tale rete è anche chiamata replicatore.

Ho capito che tale identità / replicazione facilita l'addestramento senza supervisione e che i livelli nascosti di tali reti possono essere utilizzati per il rilevamento di funzionalità e la compressione dei dati.

Ulteriori letture:

risposta data 25.09.2016 - 16:41
fonte
4

È lo stesso di Algebra.

Una mappa delle identità o funzione di identità fornisce esattamente ciò che ha ottenuto.

Quando dicono:

h (x l ) = x l

Significano h una mappatura / funzione di identità. Se gli dai x l ti restituirà x l .

h potrebbe essere qualcos'altro ma una volta che dicono che è h (x l ) = x l allora è una mappa / funzione di identità.

Non vedo nulla qui per suggerire che il significato cambia quando ti trovi in un contesto di rete neurale.

Potrebbe sembrare inutile avere una mappa o una funzione che ti restituisca quello che gli hai dato, e in qualche modo lo è. Il loro bisogno deriva dall'utilizzo di un sistema (un'architettura, un framework o qualsiasi altra cosa) che si aspetta una mappa / funzione in un passaggio che in questo caso non è effettivamente necessario. Piuttosto che costruire un nuovo sistema per questo caso, utilizziamo una mappa / funzione di identità che ci consente di riutilizzare il vecchio sistema.

È lo stesso tipo di pensiero che ha inventato 0 , il modello di oggetto nullo , il tipo di opzione , e alcuni dei ragioni per cui passo in collezioni vuote. Il sistema si aspetta qualcosa ma è necessario che qualcosa non sia nulla. Questi costrutti danno al nulla una forma che non romperà il sistema.

    
risposta data 25.09.2016 - 15:52
fonte

Leggi altre domande sui tag