Inhaltlich-Funktionale Evaluation I

Folgende Suchmaschinen wurden mit Hilfe von inhaltlich-funktionalen Methoden untersucht:


BASE

Die Bewertung des Inhalts und der Funktionen der Bielefeld Academic Search Engine BASE ergab folgende Befunde:

Als positiv wurde der grosse Funktionsumfang bewertet. Neben der Recherche wie bei einer klassischen Suchmaschine, ist auch eine gezielte Suche in den strukturierten Metadaten möglich. Die Suchmaschine deckt viele Themenbereiche ab und der Umfang an Daten nimmt laufend zu. Die Qualität der Metadaten ist teilweise unterschiedlich, da BASE die Daten der Repository-Betreiber ohne manuelle Nacherfassung übernimmt.

CiteSeerX

CiteSeerX ist eine Suchmaschine, die sich schwerpunktmässig mit den Themen Informatik und Informationswissenschaften beschäftigt. Bei der Evaluation mit dem Schwerpunkt Usability wurde festgestellt, dass die Treffer grösstenteils sehr relevante Daten ergaben. Die Darstellung ist funktional und bewährt. Sogar Treffer, in denen Tippfehler vorhanden waren, wurden richtig ausgewertet.

Die Treffer können nach Relevanz, Jahr, Anzahl Zitate oder Aktualität sortiert werden, was das wissenschaftliche Suchen erleichtert.

Die Suchmaschine bietet die Möglichkeit anhand von Zitationen durch den Bestand zu browsen. Bringt eine Suche nur unbefriedigende Ergebnisse, kann man sie direkt auf andere Suchmaschinen wie z.B. Google Scholar ausweiten.

CiteSeerX ist ein vollständiges OpenSource-Produkt und bietet nur Artikel an, die im Volltext verfügbar sind.

Google Scholar

Bei der Evaluation wurden die Relevanz der Treffer sowie die Qualität der Trefferbeschreibungen von Google Scholar bewertet.

Die Evaluation der Relevanz der gelieferten Treffer führte zu kaum aussagekräftigen und detaillierten Ergebnissen. Es liessen sich nur in geringem Masse Muster erkennen.

Der Vergleich des Rankings von Google Scholar mit der Relevanzbewertung der Studierenden ergab ein positives Bild. Der Ranking-Algorithmus von Google Scholar scheint hilfreich zu sein bei der Beurteilung der Treffer .

Bei der Qualität der Trefferbeschreibungen wurde bemängelt, dass die automatisch generierten Trefferbeschreibungen von Google Scholar oft zu falschen Annahmen über die Relevanz der Dokumente führt. Dies liegt daran, dass die Trefferbeschreibungen mehrheitlich nicht genügend nutzbare Informationen aufweisen, mit denen die Relevanz des referenzierten Dokuments beurteilt werden könnte.