Dovresti tenerlo. Come già accennato, può essere ricreato in qualsiasi momento dalla chiave privata e non c'è nulla che potrebbe essere fatto con questa chiave nel caso in cui arrivasse a "persone cattive". Possono già scaricarlo dal tuo github o da qualche altra parte.
Vale la pena ricordare che OpenSSH può utilizzare questa chiave pubblica separatamente memorizzata nel caso in cui il privato sia crittografato. In tal caso, può provare la chiave pubblica senza chiedere una passphrase di quella privata.
Senza questa chiave, OpenSSH ti chiederebbe una passphrase per ogni connessione (anche ad altri server) se la chiave si trova in una delle posizioni predefinite.