Ein Grossteil der Dokumente des WWW ist für Suchmaschinen nicht erreichbar. Man spricht in diesem Zusammenhang von einem „Deep“ oder „Invisible Web“.
Das „Invisible Web“ umfasst alle Inhalte, auf die aufgrund von Zugangsbeschränkungen durch die Anbieter oder technische Restriktionen seitens der Suchmaschinen nicht zugegriffen werden kann. Dies betrifft Dokumente, die zum Beispiel
- neu erstellt oder gerade aktualisiert wurden.
- nicht verlinkt sind und dadurch von keiner Suchmaschine gefunden werden können.
- abhängig sind von Benutzereingaben (diese können Roboter nicht ersetzen).
- nur über eine Benutzerkennung erreichbar sind.
- oder durch den „Standard for Robot Exclusion“ bzw. Meta-Robots-Tag zugangsgeschützt sind.