Dove o come posso ottenere l'elenco delle dipendenze del dominio dei primi 100 siti popolari? [chiuso]

0

Ad esempio google.com dipende da ssl.gstatic.com , lh3.googleusercontent.com , fonts.gstatic.com .

Ho bisogno di questo elenco per le impostazioni Proxy

    
posta Rustam 11.12.2017 - 04:52
fonte

1 risposta

1

Informazioni su dipendenze

Dipendenze del dominio sono solo registrar. Non c'è nient'altro.

Ma potresti chiedere:

whois gstatistic.com | grep -A1 Holder

Hmm. Niente? Ok, cerca i server dei nomi:

whois gstatic.com | grep Name.Server
   Name Server: NS1.GOOGLE.COM
   Name Server: NS2.GOOGLE.COM
   Name Server: NS3.GOOGLE.COM
   Name Server: NS4.GOOGLE.COM

e

whois googleusercontent.com | sed '/Name Server/q;d'
   Name Server: NS1.GOOGLE.COM

Inoltre, la creazione di un proxy (che significa proxy web ), è una preoccupazione HTTP . Ciò che chiamate le dipendenze sono solo collegamenti Web ad altri repository dove trovare alcuni oggetti .

Dipendenze del dominio Web

Le pagine Web dipendono da molte cose:

  • script : le librerie possono essere archiviate sul sito di sviluppo
  • caratteri : i caratteri si trovano generalmente sui server di caratteri.
  • stili : gli stili possono essere collegati a script, memorizzati su server di sviluppo.
  • video : in gran parte situati sui server di streaming.
  • mappa : mappe geografiche, mappe stellari, oceanografiche, umane ... e altri sistemi specializzati di big data ..
  • foto , immagini , altre ...: alcuni file protetti da copyright possono essere visualizzati solo dal sito originale (artista, fotografia ...),

Ma i domini web strongmente dipendono da

  • inserzionista in cui i collegamenti all'host dell'inserzionista sono necessari per il conteggio dei log e ulteriori analisi.
  • captcha Odio il captcha ma ...
  • banche online richieste per i negozi web.

Dove trovare questo elenco

Nella cronologia web, nella cache e principalmente nel registro del server proxy ...

Purtroppo un tale elenco non potrebbe esistere, perché ogni sito web potrebbe essere compilato e modificato in qualsiasi momento.

Quindi, se prevedi di creare un server proxy restrittivo strongmente , devi mantenere un po 'di hotline e restare pronto a cambiare le tue regole, aggiungendo alcune nuove tipo di sito di terze parti, in qualsiasi momento.

E infine, su I primi 100 siti popolari

La risposta potrebbe essere solo soggettiva ...

Potresti provare:

... Dai un'occhiata ai tuoi registri del proxy; -)

Suggerimento o trucco:

Dai un'occhiata alla mia risposta su Come visualizzare il Nome alternativo soggetto di un certificato? ,

La visualizzazione di Nome alternativo soggetto dei certificati SSL fornisce alcuni elenco esaustivo di domini direttamente correlati .

    
risposta data 11.12.2017 - 08:54
fonte

Leggi altre domande sui tag