Non c'è nessun danno di per sé nell'uso di una porta non standard. Come altri hanno già detto, alcuni dei tuoi utenti potrebbero non essere in grado di raggiungerlo se stanno guardando un firewall e non si tratta di un servizio Web interno.
Ma IMHO c'è un problema di sicurezza con il tuo progetto e non è legato all'uso di una porta non standard. Ma scrivi
I don't want this service to be proxied via port 80 or 443
Spero che tu abbia delle ragioni forti per questo e tu capisci le implicazioni. Le best practice raccomandano che le applicazioni web siano nascoste dietro un proxy inverso, poiché il proxy inverso è un animale molto più semplice con una superficie esposta ridotta. Per questo motivo si suppone che contenga meno difetti di sicurezza e minori rischi di crash che si trovano ad affrontare query anomale.
TL / DR: l'unico problema di sicurezza che vedo qui non sta usando un proxy inverso (sulle porte standard) per nascondere il servizio web.