Dalla tua descrizione il problema non sembra attività malevole, ma piuttosto il problema comune delle interferenze wireless che si verificano quando ci sono troppe reti wireless in una determinata posizione. Quando il canale che si sta utilizzando è "occupato", ovvero un altro punto di accesso o il client sta trasmettendo, è necessario attendere fino a quando il canale non è di nuovo libero prima di poter trasmettere. Ciò si traduce in tempi di ping elevati e molto variabili.
Ci sono due potenziali soluzioni a questo. Il primo è controllare se stai usando la banda 5Ghz, supponendo che sia il tuo access point sia la tua scheda WiFi lo supportino. La banda a 5 Ghz è generalmente meno congestionata della banda a 2,4 GHz e supporta velocità più elevate, con un compromesso tra penetrazione del segnale attraverso i muri. Puoi utilizzare gli strumenti WiFi Analyzer sul tuo telefono o computer per controllare quale banda stai usando.
La seconda soluzione è passare a una connessione cablata, ma sembra che tu abbia già escluso questa possibilità. Le connessioni cablate saranno praticamente sempre più veloci e più affidabili di quelle wireless.