Per prima cosa proverei SSL / TLS - https. È facile, ci sono un sacco di ottime informazioni su di esso, puoi usare websockets per mantenere la connessione aperta per migliorare la tua velocità (gran parte dei rallentamenti SSL / TLS sono nell'handshaking all'inizio di ogni connessione).
Se ciò non funziona per te, guarda Quic - link - https di Google sul protocollo udp - progettato per sia veloce che sicuro.
Qualunque cosa tu faccia, cerca di evitare di inventare il tuo protocollo e / o la tua crittografia - è molto più difficile di quanto potresti pensare per evitare tutti i buchi di sicurezza.