If you take a country , there are millions or billions of data transactions going on in a particular moment from simple chat messages to video streaming. How they analyze this huge data streams as it happens and what kind of tools they are using?
Non sono in grado di analizzare l'intera faccenda. Analizzano determinati punti di scambio Internet (IXP) e persino quelli li sommergono con enormi quantità di dati. Probabilmente elaborano solo i metadati, mantenendo i dati completi in un buffer circolare (il solito modo di elaborare enormi quantità di traffico di rete). Usano strumenti come XKeyscore, che è fondamentalmente un NIDS glorificato (come Bro , ma con la propria sintassi della regola personalizzata e molta memoria ).
I also heard that all the internet traffic is going through 8 or 12 NSA servers ? is this true ? if so, what kind of methods or tools they are using to identify communications which they are interested among various other communications ?
Tutto il traffico? No. Non c'è modo che l'NSA possa farlo, o anche tutto il FVEY e lo SSEUR messi insieme. Analizzano i metadati usando XKeyscore o metodi simili. Niente di magico, solo un NID personalizzato.
Tuttavia, anche senza essere in grado di toccare simultaneamente tutti gli IXP, sono in grado di registrare non criptato NetFlow registra in corso di esportazione da vari ISP. Cisco NetFlow è una tecnologia che registra le informazioni su ogni 1 / 10.000 di pacchetto, per impostazione predefinita. In genere queste informazioni vengono esportate in un server remoto in un modulo non crittografato. Se questo traffico passa attraverso una connessione TAPpata, o è presente su un router compromesso, la NSA otterrà queste informazioni e vedrà effettivamente ciò che vede quel router.
My questions mainly targeting how they analyze this huge data traffics and pinpoint what they exactly need.
In parole povere, non lo fanno. Sono assolutamente sommersi dall'enorme quantità di dati che stanno ottenendo. Questo non vuol dire che non lo stiano ancora elaborando, ma stanno prendendo così tanto che li sta travolgendo.