No, non dovrebbe sicuramente essere nel codice. Ciò significa che se si utilizza il controllo del codice sorgente, verrà eseguito il commit nel repository dove chiunque potrà accedervi potrà vederlo. Se è in una configurazione, puoi ignorare il file di configurazione.
Normalmente si desidera avere anche chiavi dell'ambiente di test e chiavi di produzione. Con una configurazione è possibile che nessuno degli sviluppatori che lavorano sul codice conosca effettivamente la chiave di produzione. Meno persone conoscono un segreto, meglio è.
Ci sono anche ulteriori misure che puoi prendere per crittografare il file di configurazione. Ad esempio con app.config di .NET è possibile crittografare la configurazione a livello di computer o utente utilizzando DPAPI.