Geschichte der Suchmaschinen

von Thomas Glaser

Zu den ersten Zeiten des Internets gab es keine Suchmaschinen wie sie heute üblich sind. Es gab Listen mit Internetseiten, diese waren von Menschen zusammengetragen und oft nach Kategorien oder Stichwörten sortiert. Die Grundidee des Internets waren die Links, es sollte davon leben bzw. mit Leben erfüllt werden. Auf Seiten zu einem Thema sollte man Links zu anderen Seiten zu dem Thema finden. Hatte man einmal einen Einstieg gefunden konnte man sich selbst von einer Seite zur nächsten hangeln und so verschiedene Informationen finden.
Das Recherchieren im Internet war allerdings nicht so "einfach" wie heute. Es galt den Einstieg ins Thema zu finden. Die genannten Kataloge, Fachzeitschriften sowie eigene Listen halfen dabei. (ich hatte mir eine eigene kleine Datenbank aufgebaut, in die ich halbautomatisch links und Stichworte aufgenommen hatte)

Ende 1995 ging mit AltaVista die erste große Suchmaschine online, bis 1999 war es die bekannteste Volltextsuchmaschine. 1998 wurde die Betreiberfirma DEC von Compaq übernommen. Daneben gab es z.Bsp. noch HotBot und auf den deutschsprachigen Raum spezialisierte Fireball.

Dann rollte Google das Feld auf und hat fast alle anderen Anbieter verdrängt. Mit dem Werbespruch "Don't be evil", einem sehr einfach gehaltenen Erscheinungsbild und schnellen und umfassenden Suchergebnissen hat Google überzeugt. Heute gibt es im Prinzip nur noch Google und Bing (Microsoft) als eigenständige Suchmaschine. Daneben existieren nur noch einige spezielle Suchmaschinen, Z.Bsp. für die wissenschaftliche Recherche.

Fast alle anderen Anbieter, wie Ecosia, DuckDuckGo, etc. beziehen ihre Suchergebnisse aus den Datenbanken der beiden Branchengrößen. Lediglich Quant und Brave hat wohl eigene Datenbanken. Bei einem Marktanteil von ca. 90% in Deutschland (ca.70% weltweit) hat Google aber herausragende Bedeutung erlangt. Alternativen zu Google sind weiter unten aufgeführt (Die russische Yandex und das chinesische Baidoo habe ich nicht betrachtet).

Funktionsweise der Suchmaschinen

  • Crawler

Am Anfang steht der sogenannte "Crawler", der lebt ebenfalls noch von der ursprünglichen Idee der Links. Ein Crawler sucht nach Links, besucht die verlinkte Seite, liest den enthaltenen Inhalt in eine Datenbank und folgt weiteren Links die auf dieser Seite zu finden waren. Seiten auf die viele Links verweisen werden von den Crawlern schnell gefunden und auch häufiger besucht. Letzteres für dazu, dass die Suchergebnisse aktueller sind.

  • Die Datenbank

Hinter der bzw. den Datenbanken von Google und Bing steckt enorm viel Technik und Knowhow. Die Datenbanken müssen eine enorme Flut an Informationen aufnehmen, dabei ressourcensparend bleiben und schnell durchsuchbar sein. Die komprimierende Speicherung von Daten, das Verhindern der Speicherung redundanter Informationen und ausgefeilte Sortierkriterien sind dazu notwendig. Über die eingesetzten Technologien lassen die beiden Firmen möglichst wenig nach außen dringen. Letztlich fällt es aber in den Bereich "BigData" dessen Techniken auch anderweitig häufig genutzt werden.

  • Der Algorithmus

Sagenumwoben, geheimnisvoll und gut gehütet ist er, der Google-Algorithmus. Er entscheidet was wir auf unsere Suchanfrage zu sehen bekommen, er kann Internetshops in den Ruin treiben, er hat Macht.
Dieses mysteriöse Stück Software ordnet Einträge in der Datenbank einer Suchanfrage zu und bewertet diese nach Relevanz. Sie entscheidet also welche Internetseiten zur Suchanfrage passen und in welcher Reihenfolge diese ausgegeben werden. Seiten auf Seite 3 oder noch weiter hinten landen haben kaum noch eine Chance gefunden zu werden, denn ein großer Teil der Suchenden blättert höchstens bis bis zur zweiten Seite.
Einige von Google und Bing verwendeten Kriterien sind offiziell bekannt, andere ziemlich sicher erforscht und vieles ist Spekulation.

Vor allem die Gewichtung der einzelnen Kriterien ist unbekannt und Thema vielfältiger Spekulationen und Verschwörungstheorien.

  • Kriterien

Folgende Kriterien sind offiziell bekannt bzw, gelten als gesichert (Ein kleiner Teil aller):

  1. Die Anzahl und Gewichtung von Links die zur Seite führen
  2. "Unique Content" also einzigartiger Inhalt. Kopien von anderen Seiten, etc. werden abgewertet. SEOs nutzen Software-Werkzeuge um den Text so zu verändern, dass er für Google einzigartig erscheint ohne dabei den Inhalt zu ändern.
  3. Die Darstellbarkeit der Seiten auf mobilen Geräten (Smartphone, Tablett)
  4. Aktualität (Seiten deren Inhalt sich seit Jahren nicht ändern werden als wenige wichtig erachtet)
  5. Art und Form des Inhalts. Sind Bilder und genügend Text vorhanden, sind die eingesetzten Techniken (der Darstellung) aktuell, ist der Text fehlerfrei, etc.
  6. Stichwort-Gesamttext-Relation. Das gesuchte Stichwort sollte mehrfach im gesamten Text vorkommen aber nicht übermäßig oft. Letzteres deutet eher auf eine übermäßige Optimierung auf Kosten des eigentlichen Inhalts hin.
  7. "Branding" also der Markenbezug die Seiten der großen Markenfirmen
  8. Ist das gesuchte Stichwort in Überschriften oder anderweitig hervorgehoben gibt der Algo diesem mehr Gewicht.
  9. Lokaler Bezug (Land, Region)
  10. Es fließen auch YMYL Inhalte in das Ranking ein. (YML = Your Money Your Life, siehe https://www.seokratie.de/guide/ymyl/).

    Momentan wird spekuliert, dass Google auch die Klicks von Nutzern des Chrome-Browsers in das Ranking einbezieht. Google dementiert dies zwar aber ist das Dementi auch glaubhaft? Von dem Credo "Don't be evil" ist nicht mehr viel übrig. Es ist ein profitorientiertes Unternehmen und solche Leitsätze gelten nur solange sie den Profit nicht schmälern. Für die Platzierung der Werbung setzt Google auf alle möglichen Techniken zum Tracking und Profiling. Denn das ist das Geschäftsmodell: personalisierte, also personenbezogene Werbung. Laut Google ist die Personalisierung ganz anonym - wer darin einen Widerspruch findet darf ihn behalten und unten aufgeführte Alternativen nutzen.

    Ebenso gab es Gerüchte, dass auch Suchergebnisse personalisiert wurden, z.Bsp aufgrund der Kennung von Browser und Betriebssystem.
    Die bisher erhobenen Zensurvorwürfe sind zwiespältig zu sehen. Einerseits findet zwar tatsächlich eine Zensur statt, Diese basiert bei Google auf sogenannten Qualitätsrichtlinien die auch öffentlich kommuniziert werden. (Darunter fallen auch die genannten YML Seiten). Diese Richtlinien betreffen überwiegend allgemein anerkannte Regeln (Kinderporno, Gewaltverherrlichung, Aufruf bzw. Anleitung zu Selbstmord, etc.) Die Umsetzung dieser Richtlinie schießt jedoch manchmal über das Ziel hinaus. Erstens weil die Umsetzung per Software (regelbasierend und per KI) geschehen muss, die Datenflut ist nicht durch Menschenhand zu bewältigen. Diese Software irrt oft und hält z.Bsp. antike Götterstatuen für Kinderpornographie. Zum zweiten werden die Maßstäbe des prüden Amerikas auf die ganze Welt angelegt. Ein nackter Busen landet im Filter, Kinder mit scharfen Schusswaffen jedoch nicht.
    Hundertschaften von SEO-Anbietern versuchen den Algo zu ergründen, zu überlisten und zu ihrem eigenen Zweck bzw. dem ihrer Kunden zu nutzen.

SEO bedeutet "Suchmaschinenoptimierer", diese Personen versuchen die Internetseiten so aufzubereiten, dass diese in den Suchergebnissen ganz vorne dabei sind. Dazu sind Informationen über den Ranking-Algorithmus hilfreich. Deshalb versuchen die SEOs auch diesen zu ergründen. Seiten werden partiell geändert und dann geprüft wie dies sich auf das Ranking auswirkt. Davon schließt man dann auf die zu Grunde liegenden Kriterien.

Seit einiger Zeit beobachte ich, dass bei der Suche nach Informationen zu einem Produkt enorm viele sogenannte "Test-" und "Infoseiten" in den Suchergebnissen auftauchen. Dabei ist dort aber nur etwas BlaBla und Amazon-Affiliate-Links zu finden. Diese nutzlosen Seiten erstrecken sich oft über die ersten beiden Ergebnisseiten.

Alles was hier zu Google steht gilt auch in ähnlicher Weise für Mircosoft und Bing.

Alternative Suchmaschinen

  • DuckDuckGo (kurz: DDG) https://duckduckgo.com/ DDG legt Wert auf Datenschutz und verzichtet auf Tracking Techniken. Die Suchergebnisse kommen über Yahoo von Bing außerdem nutzt DDG auch einen eigenen Crawler.
  • Ecosia - https://www.ecosia.org/ Ecosia verwendet einen Teil der Einnahmen für ökologische Projekte. Die Suchergebnisse kommen von Bing
  • Metager- Metager ist eine Suche die an der Universität Braunschweig entwickelt wurde. Metager ist eine sogenannte Meta-Suchmaschine, sie recht die Anfrage an mehrere andere Suchmaschinen weiter (anonym) und bereitet die Ergebnisse zur Ausgabe auf.
  • Qwant https://www.qwant.com/ Eine Suchmaschine aus Frankreich die kein Tracking einsetzt und keine Anfragen speichert.
  • Brave https://search.brave.com/ Auch Brave setzt auf Privatspähre und Datenschutz. Nach eigenen Angaben nutzt Brave eigenen Datenbanken und Crawler.
  • Weiter sind unter folgendem Link zu finden: https://kinsta.com/de/blog/alternative-suchmaschinen/

Meine Tipps:

  • Nutzen Sie auch andere Suchmaschinen - gerne auch öfters wechselnd
  • Nutzen Sie kein Google-Chrome oder Microsoft Edge als Browser
  • Firefox mit dem Werbe- und Tracking-Blocker uBlock-Origin verwenden. uBlock-Origin kann als Erweiterung im Firefox installiert werden.
  • Verfeinern Sie die Suche in dem Sie mehrere Stichwörter eingeben.