Ich weiß nicht ob ich das verallgemeinern kann, aber ich habe ja eigentlich schon die Erwartung, dass ich etwas finden werde, wenn ich es nur mit Google suche. In meinem Artikel über das Deepweb habe ich allerdings auch schon diverse Gründe angeführt, warum etwas von Suchmaschinen nicht indexiert wird. Mit meinem Blog kann ich mittlerweile … weiterlesen
Schlagwort: Deep Web
Was ist denn dieses Deep Web und wie nutze ich es für OSINT?
Das Deep Web ist das, was von Suchmaschinen nicht indiziert wird. Und es gibt erstaunlich viele Gründe, warum etwas nicht von Suchmaschinen indiziert wird. Robots.txt Jeder Webseitenbetreiber kann in seinen Webroot eine Datei namens robots.txt anlegen. Der Aufruf gestaltet sich immer gleich also http://example.com/robots.txt In der robots.txt wird definiert welche Verzeichnisse der Spider einer Suchmaschine … weiterlesen