Supponendo che il tuo lato avvii ogni comunicazione, allora sì, bloccare ogni connessione al tuo computer dagli indirizzi IP a cui non ti sei collegato è una buona idea.
Notare che si tratta di nozioni di base sul firewall. La maggior parte dei firewall sul lato client non consente l'avvio di connessioni in entrata da una macchina remota a meno che non sia specificamente consentito a tali computer. Fanno anche più di quanto immagini: tengono traccia delle sessioni attive di tcp e accettano solo pacchetti da ips che si trovano in una sessione attiva con te. Una volta terminata la sessione, i pacchetti da quell'IP saranno nuovamente bloccati.
Se parli di una rete domestica, il firewall dovrebbe essere posizionato sul router o direttamente dietro il tuo router internet, ad esempio nella casella che ti fornisce l'accesso a Internet. Se non si consente alcuna connessione avviata dall'esterno, i dispositivi sulla rete domestica sono molto meglio isolati da Internet.
Solitamente i fornitori di Internet a banda larga ti offrono una scatola che ha tali capacità di firewall. Potrebbero o potrebbero non essere abilitati, ma di solito è banale da configurare.