Ho cercato su internet come questo inurl:ftp -inurl:(http|https) . Ho trovato molti host FTP. Posso aggiungere o rimuovere file da alcuni host.
In che modo Google ottiene informazioni sui server FTP? Come si può evitare l'indicizzazione dei propri server FTP in Google?
Google analizza apparentemente nuovi nomi di dominio e deduce da un nome come www.example.com o ftp.example.com che potrebbe esserci un server HTTP o FTP che risponde lì, e quindi vale la pena indicizzare. Seguiranno anche collegamenti scoperti in altre pagine Web; questa indicizzazione basata su dominio viene utilizzata da Google per esplorare e fare riferimento a siti che non sono stati ancora collegati da altri siti.
Per impedire l'indicizzazione del tuo FTP, puoi:
robots.txt sul tuo server. Vedi questa pagina per i dettagli. La maggior parte dei crawler Web onorerà tale file in un server HTTP; Google lo cerca anche nei server FTP (ma Google afferma che tale supporto è "specifico di Google"). Google indicizza i server FTP esattamente nello stesso modo in cui indicizzano i server web. Per i dettagli prova qualcosa come link
Fondamentalmente, iniziano con un sacco di pagine Web popolari e seguono tutti i link in esse contenuti (che includeranno server FTP) e quindi seguono tutti i link in esse e così via e così via.
Esiste un modo standard per richiedere che i motori di ricerca e simili non indicizzino il tuo sito, utilizzando un file chiamato robots.txt. Una buona fonte di informazioni su questo meccanismo è link .
AFAIK, Google raggiunge i server indipendentemente dal fatto che siano HTTP o FTP utilizzando un crawler. Quindi, se un sito Web fa riferimento a un server FTP, il contenuto verrà indicizzato.