Das Deep Web ist das, was von Suchmaschinen nicht indiziert wird. Und es gibt erstaunlich viele Gründe, warum etwas nicht von Suchmaschinen indiziert wird. Robots.txt Jeder Webseitenbetreiber kann in seinen Webroot eine Datei namens robots.txt anlegen. Der Aufruf gestaltet sich immer gleich also http://example.com/robots.txt In der robots.txt wird definiert welche Verzeichnisse der Spider einer Suchmaschine … weiterlesen
Schlagwort: Recherche
Die neue Google Dataset Search
Wie ich bereits in meinem Artikel zu filetype: erwähnt habe, hat Google eine neue Datensatz-Suche veröffentlicht und den filetype:csv abgeschafft. Also habe ich mich in die Google Dokumentation begeben um nähere Informationen zu erhalten. Google schreibt dort: Google möchte das Auffinden von Datensätzen vereinfachen und nutzt daher Schema.org und andere Metadatenstandards, die den Seiten hinzugefügt werden können, … weiterlesen
Was tun, wenn eine Webseite nicht geht?
Egal ob du jetzt statt der Webseite eine HTTP Fehlermeldung wie 404 (die Seite konnte nicht gefunden werden) oder 503 (der Server ist nicht erreichbar) oder die Webseite aus einem anderen Grund nicht angezeigt werden kann. Diese Situation kann einem im Internet immer wieder passieren. In diesem Artikel zeige ich ein paar Möglichkeiten, wie man … weiterlesen
Das Dilemma mit der Suche nach Informationen zu Personen in Europa
Für Einwohner der EU ist es toll, die General Data Protection Regulation (GDPR), auch als Datenschutz-Grundverordnung bekannt, zu haben. Sie sorgt dafür, dass es Regeln für die Speicherung und Verarbeitung von personenbezogenen Daten gibt. Wenn man über den großen Teich blickt ist dies ganz anders. In den USA sind große Datenbanken entstanden, die allerlei Details … weiterlesen
Geolocation von IP-Adressen
Es wäre doch traumhaft, wenn man herausfinden könnte wo genau eine IP-Adresse verwendet wird. Am besten mit dem Pin auf einer Karte. Und huch – es gibt Dienste im Netz, die genau so einen Pin auf einer Karte anzeigen, wenn man eine IP eingibt. Was es damit auf sich hat, will ich in diesem Artikel … weiterlesen
Was ist überhaupt dieses OSINT?
Eigentlich hätte dies, der erste Artikel in diesem Blog sein sollen. Was ist OSINT? Vor einigen Jahren habe ich noch scherzhaft gesagt: Früher nannte man es Internetrecherche. Aber mittlerweile weiß ich, dass das viel zu kurz greift. Der Begriff OSINT wurde durch US-Geheimdienste geprägt und wie Wikipedia erläutert wird er seit 2002 von ihnen wie … weiterlesen
Webseiten vor Besuch prüfen
Gerade wenn es sich um Webseiten handelt, die von der Person/Gruppe betrieben werden, über die man recherchiert, kann es hilfreich sein, diese Webseiten vorab zu prüfen. Sei es nun ein Fakeshop, ein Board oder eine sonstige Webseite, man weiß ja nicht was einen erwartet. Als erstes sollte man aus meiner Sicht prüfen, ob die Webseite … weiterlesen
Accounts in sozialen Netzwerken finden und verknüpfen
Recherchen in Sozialen Netzwerken sind ein wichtiger Bestandteil in OSINT. Die einzelnen Netzwerke haben dabei große Gemeinsamkeiten aber auch Unterschiede. Gemeinsam haben alle, dass man dort Posts absetzen kann. In der Regel sind dies Links, Texte, Bilder und Videos. Diese Posts können wiederum geteilt, geliked und kommentiert werden. Manche Netzwerke erlauben darüber hinaus Gruppen (alle … weiterlesen
Verbindungen zwischen Webseiten aufdecken
Eine interessante Aufgabe, ist der Versuch, Verbindungen zwischen Webseiten zu finden. Natürlich sind Indizien, wie: gleiches Design, wiederkehrende Worthülsen, gleiches Impressum u.ä. die man bei der Analyse einer Webseite feststellen kann, schon ein erster Hinweis. Aber auch tiefer in der Technik können sich entsprechende Daten finden. Google IDs Zum Beispiel verwenden viele Webseiten die Google … weiterlesen