In diesem Abschnitt werden Ansätze bei der Erschliessung von Wissensbeständen und bei der Ausgabe von Suchergebnissen dargestellt.

Erschliessung des Deep-Web

Die zentrale Aufgabe von Web-Suchdiensten besteht darin, die Inhalte des Internet zu erschließen. Angesichts der enorm umfangreichen und stetig wachsenden Datenbestände des Internets eine gigantische Herausforderung. Schätzungen zufolge gibt es ca. 30 Milliarden frei zugängliche Internetseiten [4]. Dieser Teil des Internets ist das sichtbare Netz, das so genannte "Visible Web". Google hat davon ca. 15-20 Milliarden Internetseiten indexiert. Theoretisch könnte eine Suchmaschine alle Seiten aus diesem "Visible Web" indexieren, es gibt jedoch verschiedene Barrieren für die Suchmaschinen.

Beispiele für Barrieren können sein [4]:

• Auf die Internetseite führt kein Link.

• Die Internetseite darf nicht indexiert werden.

• Die Internetseite ist nicht frei zugänglich (Login-Daten notwendig).

Diese Seiten, welche für Suchmaschinen unsichtbar sind und die von Suchmaschinen nicht indexiert werden können nennt man das "Invisible Web" oder Deep Web. Schätzungen über die Größe des "Invisible Web" differieren sehr stark. Die Datenmenge im "Invisible Web" soll laut einer Studie der Firma Brightplanet aus dem Jahr 2001 etwa 500-mal größer sein als die des "Visible Web".
Allerdings darf man die Datenmenge nicht mit der Zahl der Internetseiten gleichsetzen, da z.B. eine hoch aufgelöste Satellitenaufnahme die gleiche Datenmenge wie 1.000 Internetseiten haben kann. In einer Studie aus dem Jahre 2006 wurde die Zahl aus der Brightplanet-Studie als deutlich zu hoch bezeichnet.

Spezielle Deep-Web-Verzeichnisse katalogisieren ähnlich Webverzeichnissen Deep-Web-Ressourcen:
Completeplanet verzeichnet beispielsweise rund 70’000 Deep Web Sites und Suchdienste.
Incywincy durchsucht Websites, die im Open Directory Project (DMOZ) erfasst sind und liefert als Ergebnisse ODP-Kategorien und Einträge zurück. Zusätzlich werden die in ODP vorhandenen Seiten mit Hilfe eines Roboters indexiert. Enthalten solche Sites eine Suchfunktion, dann wird die Anfrage an diese Suchfunktion weitergeleitet.
Weiter gehend versuchen Suchdienste wie Turbo10 direkten Zugriff auf die Bestände des Deep Web zu ermöglichen. Dazu bieten sie ihren Nutzern die Option, sich aus einer Vielzahl vorgegebener Quellen (vornehmlich Deep-Web-Datenbanken) individuelle Kollektionen zusammen zu stellen und diese anschliessend gezielt zu durchsuchen.

Zum Seitenanfang

Erschliessung neuer Wissensbestände

Neben der Erschliessung von Inhalten des „Deep Web“ stellen die Versuche der populären Suchdienste mit dem Wachstum des Surface Web Schritt zu halten und gezielt zusätzliche Wissensbestände recherchierbar zu machen eine wichtige Rolle.

Google erschliesst seit Jahren kontinuierlich neue Datenbestände. Im Unterschied zu Ansätzen der Deep Web-Gateways wird aber kein allgemeiner Ansatz gewählt der darauf zielt, ein möglichst breites Spektrum von Deep-Web-Wissensbeständen durchsuchbar zu machen. Vielmehr werden schrittweise neue spezialisierte, themenspezifische beziehungsweise dokumenttypspezifische Suchdienste angeboten. Beispiele hierfür sind etwa Google Groups, Google News und Google Maps.
Google Book Search ist ein Projekt, mit dem Google das Ziel verfolgt, Inhalte populärer Bücher zu erschliessen.
Ein Schwerpunkt der Bereitstellung neuer Datenbestände liegt insbesondere bei der Erschliessung von Produktdatenbanken kommerzieller Anbieter. Diese Erschliessung lässt sich wiederum auf direkte oder indirekte Weise gewinnbringend vermarkten. Ein Beispiel ist Google´s Produktesuchmaschine Google Product Search. Treffer werden bei Produktanfragen als „Product Search“-Ergebnisse eingeblendet.

Einen weiteren Kernpunkt der Erschliessung neuer Wissensbestände bilden Ansätze, die darauf zielen, geografische Suchoptionen verfügbar zu machen. Ziel ist es, örtlich spezifiziertes Suchen zu ermöglichen und damit Regionen-, Stadt-, Stadtteil- oder gar strassenbezogen genaue Suchanfragen zu ermöglichen. Ein Beispiel wäre etwa die Suche nach einem Arzt in einer speziellen Stadt.
Solche Anfragen in der Art von „Zahnarzt Chur“ sind zwar bei vielen Suchdiensten möglich, aber häufig nicht sehr sinnvoll, da bei typischen Web-Resultaten die notwendigen Ortsangaben nicht strukturiert vorhanden sind und deshalb nicht erfasst werden können.
Spezielle geografische Suchdienste wie Citysearch wie auch viele Webkataloge erfassen zwar heute schon strukturiert geografische Daten. Beispielsweise Stadtname oder Postleitzahl, respektive Zip-Code zu den vorhandenen Einträgen. Insgesamt bieten sie aber nur Zugriff auf einen verschwindend geringen Anteil der Wissensbestände des Netzes.

Die Entwicklung lokaler Suchdienste, beziehungsweise Suchoptionen ist für Suchdienste sehr attraktiv, da diesem Bereich ein gewinnbringendes Werbepotenzial zugesprochen wird. Deshalb ist es nicht erstaunlich, dass auch Google und Yahoo versuchen, derartige Suchoptionen zu integrieren und auszubauen.
Google Maps ermöglicht geografische Anfragen, so dass der Nutzer explizit nach Ortschaften suchen kann. Yahoo.com wiederum führte mit “SmartView” entscheidende Verbesserungen beim Spezialsuchdienst Yahoo! Maps ein. Mit diesem Suchdienst wird die geografische Suche in Städten mit Hilfe von Stadtplänen gestattet. Zusätzlich werden Links zu kulturellen Einrichtungen, Hotels und sonstigen lokalen Adressen, angeboten. Zu den Einträgen werden direkte Links zum Yahoo-Routenplaner und der Web-Suche angeboten.

Zum Seitenanfang

Personalisierung der Suche

Für eine qualitative Verbesserung der Suchergebnisse in typischen Suchkontexten ist es entscheidend, inwieweit die Suchdienste in der Lage sind die Informationsbedürfnisse der Nutzer zu verstehen.
Jim Lanzone von Ask.com formuliert diesen zentralen Punkt wie folgt: “Understanding the query perfectly would do much more to impact the quality of results for the everyday user (whether novice or expert) than perfecting the results themselves (though obviously we're trying to do both!).”
Jeff Weiner von Yahoo formuliert das zentrale Ziel so: „Ultimately we want to understand the intention of the user, and I think we're going to get closer to that through personalization …”

Personalisierung meint die Berücksichtigung individueller Bedürfnisse bei der Ausgabe von Suchergebnissen. Interaktions- und Profildaten von Nutzern werden dazu genutzt, individuelle Informationsbedürfnisse besser nachvollziehen zu können. Ziel ist es, künftige Suchkontexte und -intentionen der Nutzer zu antizipieren.
Nach gescheiterten Ansätzen waren personalisierte Suchfunktionen bei Web-Suchdiensten lange Zeit kaum anzutreffen. [2] Heute ist die Personalisierung in Suchdiensten etabliert und vor allem durch die zwei grössten Anbieter Goolge und Yahoo! bekannt geworden. [1]
iGoogle ist der Nachfolger der personalisierten Startseite bei der Suchmaschine Google und wurde am 30. April 2007 veröffentlicht. My Yahoo! ist die personalisierte Suche von Yahoo. Zur Nutzung benötigt man eine Yahoo ID. Mit My Yahoo! können persönlich bevorzugte Resultate gespeichert, nicht bevorzugte Resultate geblockt oder alles Gespeicherte wieder gefunden werden, sortiert nach Titel, Schlüsselwort oder Datum.

Zum Seitenanfang

Folgende Chancen und Risiken gilt es zu beachten: [1]

Chancen

• Verbesserung des Suchdienstes durch eine auf den Nutzer bezogenen Anordnung der Treffermenge

• Suchdienst kann nutzerspezifische Werbung platzieren lassen und die Wahrscheinlichkeit steigt, dass der Nutzer die angezeigte, auf ihn bezogene Werbung anschaut.

• Durch Personalisierung bei Suchdiensten können in Verbindung mit weiteren Internetdiensten umfassende Profile der Nutzer zusammengesetzt werden, z.B. Google mit Gmail und Chrome.

Risiken

• Einschränkung in der Trefferliste, da nur noch die nutzerspezifischen Treffer angezeigt werden, die die obersten Plätze im Ranking belegen.

• Mangelnde Bewertungsfähigkeit der Treffer durch den Nutzer, da er oder sie denkt, dass ein personalisierter Webdienst einem "gut kennt" und die angezeigten Treffer "wahr" sind.

Zum Seitenanfang

SmartWeb

Smart Web soll eine wichtige Stufe bei der Realisierung des Internets der nächsten Generation bilden, welches breitbandige Multimediadienste mobil und individualisiert bereitstellen soll. Durch konkrete Anfragen (über das mobile Internet) sollen konkrete Antworten mittels SmartWeb möglich sein. Etwa: "Wer wurde 2002 Fussball-Weltmeister"? Die Antwort wäre dann "Brasilien". Die Antworten könnten in Text, Bild oder Video auf eine mobile Empfangsstation übermittelt werden. [3] Es bleibt offen, wie weit sich Smartweb durchsetzten wird; momentan sind kaum grösseren Entwicklungen in diese Richtung ersichtlich.