Ho un server web con 2 pagine: index.html e secret.php .
Il contenuto di index.html è:
<html><body><h1>It works!</h1></body></html>
Puoi vedere il file index.html non ha alcun collegamento a secret.php
Non ho file robots.txt. E se qualcuno accede al mio server web. Possono sapere che ho una pagina secret.php?
Ho già provato con scrapy e nutch crawler. Non riesce a trovare il file secret.php.
Quando non sanno che è lì e hanno solo il nome di dominio, è improbabile che lo trovino senza indovinare. Ma indovinare non è raro. Quando metti online un server web non ci vorrà molto tempo prima che i robot li sondino per le vulnerabilità invadendo le richieste di tutti i tipi di file probabilmente interessanti.
Quello che stai facendo è molto insicuro, perché si basa su sicurezza attraverso l'oscurità . È l'equivalente digitale di conservare la chiave della tua casa sotto il tuo zerbino. Se qualcuno sospetta che sia lì, non c'è nulla che impedisca loro di accedervi. L'esistenza può perdere in vari modi, ad esempio perché l'accesso avviene senza https da una rete non sicura (hai impostato https, vero?).
Quando si desidera proteggere il contenuto e la funzionalità di tale script da accessi non autorizzati, proteggerlo con una password utilizzando . .htaccess. Non è bello come una pagina di login html, ma è davvero semplice da configurare.
Se dovessi accedere alla pagina segreta dal tuo browser, potrebbe inviare l'URL a Google. Google potrebbe quindi aggiungere quella pagina al suo database (poiché non l'hai vietato con robots.txt). Dopodiché, chiunque può cercare "site: yourdomain.com" e vedere la tua pagina segreta.
Naturalmente non esiste un modo tecnico per trovare quel file finché non si dispone di servizi vulnerabili in esecuzione sul proprio sistema. Non è molto probabile che qualcuno stia cercando file nascosti senza una ragione. Ma, naturalmente, dovresti usare .htaccess quando puoi.
In uno scenario tipico, gli aggressori cercano le applicazioni web che sono note per essere vulnerabili o consentono un ampio spettro di accesso al sistema se vengono utilizzate password errate o predefinite. Questo si applica fondamentalmente a tutte le applicazioni web amministrative come ad esempio PHPMyAdmin. Quindi cercano di sfruttare la vulnerabilità o di accedere alla webapp utilizzando password predefinite o comuni.
Se exploits / bruteforce fallisce o il server è già stato hackerato e "protetto" dal precedente hacker, spesso accade che gli hacker utilizzino uno "shell scanner". Gli scanner di shell sono semplici script che controllano il server per un determinato elenco di nomi di file. Quei nomi di file sono spesso quelli comunemente usati per le webshells come il c99. Questo è il momento in cui può accadere che il tuo file nascosto venga trovato. Non riesco a pensare a nessun altro scenario in cui qualcuno inizi a cercare file nascosti senza una ragione.