Kategorie: Allgemein

Parkinson ist die zweithäufigste neurodegenerative Krankheit nach Alzheimer, ihre Ursache ist unbekannt, ihr Ursprung auch, wobei die Diagnose schwierig ist, da die Symptome lange nicht bemerkt werden. Eine Forschergruppe der ETH Lausanne ruft nun mit einer Art Gehirn-Stress-Test, Halluzinationen hervor, die auch bei Parkinson auftreten. Das Ziel ist, daraus ein Diagnose-Tool zu entwickeln, mit dem Parkinson früher als bisher diagnostiziert werden kann. Symptome sind vor allem der Verlust der Muskelkontrolle, das kann sich in Zittern, verlangsamten Bewegungen oder Steifheit auswirken, aber machen sich die Symptome bemerkbar, sind die Schäden im Gehirn meist schon weit fortgeschritten, sodass Wissenschaft und Forschung seit Jahren nach einem Bio-Marker sucht, der die Erkrankung anzeigt, bevor sie schon wichtige Hirnstrukturen zerstört hat.

So können früh auch Halluzinationen auftreten, also (Schein-)Wahrnehmungen im peripheren Blickfeld, d. h., die Betroffenen haben den Eindruck, seitlich etwas herunterschweben oder vorbeihuschen zu sehen. In einigen Fällen sind die Störungen so stark, dass der Betroffene das Gefühl hat, jemand stünde hinter oder neben ihm, und sich daher umsieht. Forscher macht sich diesen Umstand zunutze und haben einen Weg gefunden, die Schaltkreise im Gehirn, die diese Halluzinationen erzeugen, künstlich zu aktivieren. Das funktioniere ähnlich wie ein Herz-Stress-Test, wobei der Betroffene mit der Hand regelmässige Bewegungen vollführt, die von einem Roboter kontrolliert werden. Ein anderer Roboter antwortet auf diese Bewegungen mit Berührungssignalen auf dem Rücken. Sind die Reize synchron, passiert nichts, doch verzögert oder beschleunigt man hingegen die Response-Signale, treten die Halluzinationen auf, und zwar auch bei gesunden Patienten, Parkinson-Patienten jedoch reagieren aber stärker.

Dieses medizinisches Verfahren basiert auf Methoden der Robotik, mit dem man eine spezifische Halluzination, nämlich die Anwesenheitshalluzination, in einem Labor oder Spital sicher und unter kontrollierten Bedingungen induzieren kann. Gehirn-Scans zeigen dann die Regionen im Gehirn, die aktiv sind, wenn Halluzinationen auftreten, wobei dieses «Anwesenheitshalluzinations-Netzwerk» drei fronto-temporale cortikale Hirnregionen umfasst, Regionen in der Stirn- und Schläfengegend. Gehirn-Scans erlaubten es dann, bei Parkinson-Patienten den Schweregrad der Symptome vorauszusagen, sodass man damit einen Biomarker für schwerere Formen der Krankheit hätte, die mit Halluzinationen und kognitiven Defiziten einhergehen. Damit soll nun ein diagnostisches Verfahren entwickelt werden, das es erlaubt, das Auftreten von Parkinson früher und präziser zu diagnostizieren.

Ein von Sophia gemaltes Selbstporträt ist für 700.000 Dollar versteigert worden, gekauft hat es ein Digitalkünstler, der unter dem Pseudonym 888 auftritt. Sophia hat das Bild mit einem Pinsel in ihrer mechanischen Hand gemalt. Übrigens hat für das Selbstporträtprojekt auch den Maler Andrea Bonaceto benötigt, denn Sophia malte ihr Bild auf einem zuvor von Bonaceto erstellten Porträt von ihr.

Vor Kurzem wurde auch eine Collage des Digitalkünstlers Beeple für gut 69,3 Millionen Dollar versteigert, wobei alle Werke ein NFT (non-fungible token) besitzen müssen, also so etwas wie ein digitales Echtheitszertifikat, deren Echtheit mit der Blockchain-Datenkette der Krypto-Währung Ethereum abgesichert wird.

Sophia wurde 2016 von der in Hongkong ansässigen Firma Hanson Robotics vorgestellt und war in den vergangenen Jahren auf diversen Konferenzen zu sehen. Der Roboter ist einem Menschen nachempfunden und versucht unter anderem die Mimik bei Sprechen nachzuahmen.

Quelle

https://orf.at/stories/3206953/

In Nürnberg stellten die Bionicum-Leiterin Eva Gebauer und Roboter Nao die neue Video-Serie “Roboter Nao experimentiert” vor. Zwei Schülerinnen haben mit Roboter Nao die Pinguine bei ihren flinken Pirouetten im Becken beobachtet. Anschließend führten die Gymnasiastinnen Strömungsexperimente durch: Kugel, Kegel oder Würfel – welche Form hat den geringsten Wasserwiderstand? Ein kurzes Video zeigt, dass die Kegelform – die auch dem Pinguin am ehesten entspricht – am besten wind- und wasserschlüpfrig ist.

Das Bionicum stellt – zusätzlich zu seinen bisherigen Videos – in seiner neuen Serie “Roboter Nao experimentiert” vier bis sechs Minuten kurze Filme vor, die auf der Website oder dem You-Tube-Kanal der Einrichtung zu finden sind. Die Videos sind speziell auf die Lehrpläne der fünften bis siebten Jahrgangsstufen weiterführender Schulen abgestimmt.

Die Online-Angebote des Bionicums sind leicht in didaktische Lehrformate zu integrieren und bieten jungen Menschen einen hervorragenden Zugang zu den relevanten Themen der Bionik und somit einer bedeutenden Zukunftstechnologie.

Weitere Informationen gibt es unter https://www.youtube.com/c/bionicumnürnberg

Die Bezeichnung Roboter stammt aus dem tschechischen Drama „R. U. R.“, das am 25. Jänner 1921 uraufgeführt wurde, wobei Karel Capeks dystopisches Stück zwei Elemente einführte: den Traum einer Gesellschaft, die durch Technologie arbeitsfrei wird, und die gleichzeitige Angst vor Unterdrückung durch diesen Fortschritt. Der Chemiker Rossum hat in jüngster Vergangenheit eine Möglichkeit gefunden, menschenähnliche, aber als Arbeitskräfte „optimierte“ Maschinen herzustellen. Die Nachfolger Rossums, erfolgsverwöhnte leitende Angestellte der Firma, sind mit der steigenden Nachfrage nach ihren Robotern sichtlich zufrieden. Die Roboter, zu Millionen in der auf einer Insel abgeschotteten Fabrik produziert, lernen problemlos Sprachen, eigenen sich enzyklopädisches Wissen an und dienen den Menschen widerspruchslos als Arbeitskräfte. Sie schaffen damit Wohlstand und sozialen Frieden. Helena, die Tochter eines wichtigen Geschäftspartners, besucht die Produktionsstätte, um mehr über den faszinierenden Fortschritt zu erfahren. Helena allerdings will die Roboter zur Durchsetzung ihrer Rechte motivieren, doch als sie erfährt, dass die Roboter keine Gefühle haben, weder Schmerz noch Freude empfinden können, noch eine Persönlichkeit ausprägen, beginnt sie vor den Robotern gleichzeitig Angst und für diese Mitleid zu empfinden. Sie bleibt auf der Insel und bringt Dr. Gall, den wissenschaftlichen Leiter der Firma im Lauf der Jahre dazu, damit zu experimentieren, den Robotern Gefühle zuzugestehen. Kaum haben die Roboter Persönlichkeit, erheben sie sich zur Revolution. Die Menschheit kann mit der neu gewonnenen Freiheit nicht umgehen, sie setzt die Roboter als Soldaten ein und verliert in ihrem kollektiven Wohlstand selbst die Fähigkeit sich fortzupflanzen. Kaum haben die Roboter durch Galls Experimente eine Persönlichkeit, beginnen sie die Menschen zu verachten und beherrschen zu wollen. Es kommt zur unausweichlichen Revolution. Der Sieg der Roboter führt aber zur Katastrophe: Alle Menschen, mit Ausnahme des Arbeiters Alquist werden getötet, er soll den Robotern dienen. Doch auch für die Roboter – die neue herrschende Klasse – endet ihr Sieg mit einer Katastrophe, denn sie sind für zwanzig Jahre Nutzungsdauer konzipiert. Da ihnen die Aufzeichnungen des Chemikers Rossum – das streng gehütete Betriebsgeheimnis der getöteten leitenden Angestellten – fehlen, können sie keine neuen Roboter mehr produzieren. Auch Alquist, den die Roboter wegen des Geheimnisses beknien, kennt es nicht. Zuletzt entdeckt der lebensmüde letzte Mensch, dass zwei der Roboter nicht nur Gefühle haben, sondern zum heimlichen Paar geworden sind – androide Adam und Eva für eine neue Zivilisation.

Quelle

https://orf.at/stories/3197959/ (21-01-23)

Web-Crawler durchsuchen systematisch das Internet, um Websites zu finden. Aber wie finden sie alle verschiedenen Websites? Und wie finden sie alle Seiten auf einer Website?

Crawling von Links: Web-Crawler folgen Hyperlinks, ähnlich wie wir Menschen es tun, wenn wir selbst im Internet surfen, um von Seite zu Seite zu gelangen – oder von einer Website zur anderen. Dabei kann es sich um interne Links handeln, die von Seite zu Seite auf einer Website führen, oder um Backlinks, die von Website A zu Website B führen.
Crawling von Sitemaps: Web-Crawler werfen auch einen Blick auf die Sitemap einer Website, um alle Seiten zu verstehen, die sie besuchen und indizieren müssen.
Manuelle Anmeldung: Man kann eine Website und eine Liste ihrer Seiten mit Hilfe von Tools wie Google Search Console, Bing Webmaster Tools usw. manuell bei Suchmaschinen anmelden.

Dann kopieren Web-Crawler die Informationen auf den gefundenen Webseiten (Text, HTML, Hyperlinks, Metadaten usw.) und senden sie an ihr Suchmaschinen-Mutterschiff (die Firmenserver der Web-Crawler), die die Webseiten in ihre riesigen Datenbanken herunterladen und die Informationen so organisieren/indizieren, dass sie sehr schnell durchsucht und referenziert werden können. Web-Crawler senden Informationen so in die Datenbank von Google, dass sie für Suchende sehr schnell zugänglich sind.

Wenn Crawler eine Webseite finden, rendern die Systeme der Suchmaschine den Inhalt der Seite und beachten dabei Schlüsselelemente wie Schlüsselwörter und halten alles im Suchindex fest.

Verbessertes Web Crawling, verbesserte Indexierung

Nun aber entwickelt sich Google weiter und ist in der Lage, ein differenzierteres und komplexeres Verständnis von Informationen zu schaffen. Anstatt Informationen auf Webseiten einfach nach Schlüsselwörtern zu ordnen, ist es nun in der Lage, Entitäten zu verstehen – so wie wir Menschen es tun. Zum Beispiel war die Keyword-Phrase “Werner Stangl” einfach eine Folge von 12 Buchstaben, die durch ein Leerzeichen getrennt waren. Jetzt versteht Google mehr über dieses Schlüsselwort, die Gründe, warum Menschen danach suchen, und dass Werner Stangl eine Entität ist – speziell eine Personenentität. Wenn man also nach Nicholas Cage suchen, erhält man mehr Informationen über ihn, als Person.

Kühnlenz et al. (2018) habe mit Hilfe des NAO, der dem menschlichen Aussehen nachempfunden ist, untersucht, wie sich Menschen gegenüber einem Roboter verhalten. Der Roboter arbeitete dabei als Aushilfe in einem Supermarkt und bat die KundInnen des Geschäfts um Hilfe. Sie sollen ihm die Namen von verschiedenen Produkten nennen, die er zum Üben brauche. Dabei wurden vom Roboter NAO zwei unterschiedliche Verhaltensweisen gezeigt: einmal passte sich der Roboter dem Menschen emotional an, beim anderen Mal verhielt er sich neutral. Emotional angepasst bedeutete in diesem Fall, dass er den ProbandInnen vermittelte, er könne ihre Gefühle verstehen, indem er etwa danach fragte, wie sich der Mensch momentan fühle, um dann mit angepasster Wortwahl zu antworten, etwa dass es ihm derzeit genauso gehe.

Es zeigte sich, dass wenn sich der Roboter den Menschen emotional anpasste, dieser auch eher bereit war, ihm zu helfen. Außerdem sprachen die ProbandInnen dem Roboter dann eher menschliche Eigenschaften zu und empfanden ihm gegenüber sogar Empathie. Obwohl NAO seine Bitte nicht durch menschliche Mimik unterstreichen konnte, kamen die ProbandInnen dem Roboter zur Hilfe, jedoch spielte es eine Rolle, ob sie vorher bereits Kontakt zu Robotern gehabt hatten, denn wer mit Robotern vorher nichts zu tun gehabt hatte, verhielt sich deutlich reservierter, und auch die Bildung der ProbandInnen wirkte sich dabei auf ihr Verhalten dem Roboter gegenüber aus.

Literatur

Kühnlenz, Barbara, Busse, Fabian, Förtsch, Pascal, Wolf, Maximilian & Kühnlenz, Koloa (2018). Effect of Explicit Emotional Adaptation on Prosocial Behavior of Humans towards Robots Depends on Prior Robot Experience. Proc. of the Int. Conf. on Robot and Human Interactive Communication.

Maschinelle Übersetzungen spielen im Alltag eine immer größere Rolle, wobei sich die Qualität maschineller Übersetzungen in den letzten Jahren deutlich verbessert hat. Allerdings ist dabei ein Post-Editing maschineller Übersetzungen unabdingbar, denn das spart Zeit, reduziert Fehler, verändert aber die Art der Interaktion mit dem Text.

Post-Editing kombiniert die Vorteile von Künstlicher Intelligenz und menschlicher Intelligenz, verschiebt aber auch den Fokus von Übersetzungsarbeiten, denn anstatt Text zu erzeugen, korrigieren Übersetzer Fehler in ansonsten hilfreichen Vorschlägen in der Zielsprache, wobei häufig wiederkehrende Fehler der maschinellen Übersetzung zu verbessern ermüdend und kognitiv anspruchsvoll ist. Während die künstliche Intelligenz gut darin ist, schnell Übersetzungsentwürfe vorzuschlagen, kann nur ein Mensch mit fundierten Kenntnissen der Ausgangs- und Zielsprache lexikalische und semantische Nuancen analysieren und sicherstellen, dass die Bedeutung der Übersetzung identisch ist.

Post-Editing verändert die kognitive Dimension des Übersetzens, denn es erfordert nicht nur ein Gespür für den Satz in der Originalsprache, sondern auch für die fehleranfällige Ausgabe der maschinellen Übersetzung, den umgebenden Kontext sowie die Leserschaft und deren kulturellen Hintergrund. Robuste Ansätze zur automatischen Abschätzung dieser veränderten kognitiven Belastung (Cognitive Load) beim Post-Editing ermöglichen ein besseres Verständnis dafür, ob und wann maschinelles Übersetzen den Arbeitsprozess eher unterstützt oder behindert. Bei der maschinellen Übersetzung treten nicht nur tatsächliche Fehler auf, die diese trifft mitunter auch immer wieder dieselben lexikalischen oder stilistischen Entscheidungen, mit denen der Übersetzer möglicherweise nicht einverstanden ist, sodass im gesamten Text dann ähnliche Modifikationen erforderlich sind. Eine Möglichkeit ist dabei die Verwendung von Deep-Learning-Architekturen für das automatische Post-Editing, die die Ausgabe jedes Black-Box-Übersetzungs–Systems an eine bestimmte Domäne oder einen bestimmten Stil anpassen können. Anstatt übersetzen zu lernen, lernen solche Systeme aus wiederkehrenden menschlichen Korrekturen und wenden sie auf Vorschläge der maschinellen Übersetzung für neue Texte an.

Literatur

https://idw-online.de/de/news761197 (21-01-15)

Web Crawler – Web Crawling ist ziemlich faszinierend, aber normalerweise super langweilig. Dieser Artikel ist für Nicht-Entwickler, die die Bedeutung verstehen müssen, weil sie wollen, dass ihre Websites eine bessere Sichtbarkeit erhalten, mehr organischen Traffic bekommen und mehr Geld verdienen.

Was sind Web-Crawler?

Beginnen wir mit der Definition von Web Crawler. Web-Crawler (auch “Spider”, “Bots”, “Spiderbots” usw. genannt) sind Software-Anwendungen, deren primäre Lebensaufgabe es ist, im Internet zu navigieren (zu “crawlen”) und Informationen zu sammeln, meist mit dem Ziel, diese Informationen irgendwo zu indexieren. Sie werden “Web-Crawler” genannt, weil “Crawling” eigentlich der Fachbegriff für den automatischen Zugriff auf eine Website ist, um mithilfe von Software Daten zu erhalten. Im Grunde ist ein Crawler so etwas wie ein virtueller Bibliothekar. Er sucht nach Informationen im Internet und sendet diese dann an eine Datenbank, um sie zu organisieren, zu katalogisieren usw., so dass die gecrawlten Informationen bei Bedarf schnell und einfach von Suchmaschinen abgerufen werden können (z. B. wenn Sie eine Suche durchführen).

Spiderbot! Ihre Mission, sollten Sie sie annehmen, ist es, das außerordentlich große (und ständig wachsende) Internet unaufhörlich zu durchstreifen und alle Informationen zu sammeln und in unseren Index aufzunehmen. Und nun gehen Sie los, erwerben und extrahieren Sie! Das ist so ziemlich das, wie es funktioniert. Nun, wer bei klarem Verstand würde das Internet durchforsten und all diese Informationen katalogisieren wollen? Das hört sich an wie die Strafe, die dem größten aller Sünder von Luzifer selbst auferlegt würde.

Googlebot. Das ist der Googlebot: Er ist ein nicht enden wollender Roboter (ein Stück Software), der im Internet herumläuft und alle Ihre Informationen (die Informationen von Ihrer Website, die Informationen, die Sie auf Social-Media-Websites laden, die Informationen, die Sie in Ihren Gmails senden, die Informationen, die Sie in Ihr Google Home sprechen, usw.) aufnimmt und in den Google-Index schickt. So funktioniert eine Suchmaschine. Google ist allerdings nicht der Einzige – andere Suchmaschinenunternehmen (wie Yahoo, Bing usw.) verdienen ihr Geld damit, dass sie uns Menschen, die an unseren Computern und Telefonen kleben und rund um die Uhr nach Dingen suchen, mit Informationen versorgen – aber sie müssen diese Informationen auf irgendeine Weise beschaffen. Das tun sie mit diesen Web Crawlern.

Wie funktionieren Webcrawler?

Das primäre Ziel eines Webcrawlers ist es, einen Index zu erstellen (mehr dazu später) und zu lernen, worum es auf jeder Webseite im Internet geht, so dass die Informationen von Suchmaschinen abgerufen und Ihnen (dem Suchenden) extrem schnell und mit großer Genauigkeit zur Verfügung gestellt werden können – das heißt, Ihnen Ergebnisse zu liefern, die die Suchabsicht dessen beantworten, was Sie in die Suchmaschine eingegeben (oder gesprochen) haben.

Das Internet ist wie eine ständig wachsende Bibliothek mit Milliarden von Büchern (Websites), aber keinem offiziellen/zentralen Ablagesystem. Daher verwenden Suchmaschinenunternehmen internetbasierte Software, die als Web-Crawler bekannt ist, um öffentlich zugängliche Webseiten – wie Ihre Website – zu entdecken.

Der Prozess des Web Crawling

Web-Crawler durchsuchen systematisch das Internet, um Webseiten zu finden. Aber wie finden sie alle verschiedenen Websites? Und wie finden sie alle Seiten auf Ihrer Website? Crawling von Links: Web-Crawler folgen Hyperlinks, ähnlich wie wir Menschen es tun, wenn wir selbst im Internet surfen, um von Seite zu Seite zu gelangen – oder von einer Website zur anderen. Dabei kann es sich um interne Links handeln, die von Seite zu Seite auf einer Website führen, oder um Backlinks, die von Website A zu Website B führen. Crawling von Sitemaps: Web-Crawler werfen auch einen Blick auf die Sitemap Ihrer Website, um alle Seiten zu verstehen, die sie besuchen und indizieren müssen. Manuelle Anmeldung: Sie können Ihre Website und eine Liste ihrer Seiten mit Hilfe von Tools wie Google Search Console, Bing Webmaster Tools usw. manuell bei Suchmaschinen anmelden.

Dann kopieren sie die Informationen auf den gefundenen Webseiten (Text, HTML, Hyperlinks, Metadaten usw.) und senden sie an ihr Suchmaschinen-Mutterschiff (die Firmenserver der Web-Crawler), die die Webseiten in ihre riesigen Datenbanken herunterladen und die Informationen so organisieren/indizieren, dass sie sehr schnell durchsucht und referenziert werden können. War das wirklich zu 100% technisch korrekt? Ich weiß es nicht. Ich bin kein Webentwickler. Aber es ist nahe genug, damit Sie die allgemeine Idee bekommen, wie es funktioniert, ohne dass Sie die Definition 17 Mal neu lesen müssen und trotzdem verwirrt sind.

Wie auch immer – Web-Crawler senden Informationen in die Datenbank von Google, und zwar so, dass sie für Sie (Suchende) sehr schnell zugänglich sind. Wenn Crawler eine Webseite finden, rendern die Systeme der Suchmaschine den Inhalt der Seite und beachten dabei Schlüsselelemente wie Schlüsselwörter und wir halten alles im Suchindex fest. Diese Technologie wird “Indizierung” genannt. In der Vergangenheit basierte der gesamte Suchmaschinen-Index / Algorithmus von Google auf der Verwendung von Schlüsselwörtern, um Seiten zu verstehen, zu indizieren, zu organisieren und auszuliefern (wenn jemand eine Suche durchgeführt hat). Das ist der Grund, warum Google, wenn Sie nach etwas suchen, in weniger als einer halben Sekunde 4.220.000.000 Ergebnisse liefern kann… Absoluter Wahnsinn.

Beachten Sie: Dieser Prozess des Besuchs von Seiten, des Crawlens aller Links, des Herunterladens der Informationen usw. findet alles auf Ihrer Website statt, was bedeutet, dass Ihr Webserver (auch bekannt als Webhoster) derjenige ist, der die Informationen verarbeiten muss, und dass er Ihre Ressourcen verwendet, für die Ihnen der Webhoster Gebühren berechnet. Google lässt Sie also nicht nur Geld ausgeben, um Ihre Informationen zu “stehlen und zu organisieren”, sondern zwingt Sie auch dazu, für Werbung zu bezahlen, wenn Sie möchten, dass Ihre Website ganz oben auf der Suchseite erscheint. Denken Sie eine Sekunde darüber nach… Das ist der Grund, warum wir hier bei SERP Co, SEO Services mit Stolz anbieten – und es als einen Kampf gegen die Giganten sehen. Ein Weg für uns, den kleinen Jungs zu helfen, das zurückzuerobern, was ihnen gehört – organische Suchmaschinen-Immobilien, bei denen man nicht für Klicks bezahlen muss.

Verbessertes Web Crawling, verbesserte Indexierung

Nun entwickelt sich Google jedoch weiter und ist in der Lage, ein ausgefeilteres und komplexeres Verständnis von Informationen zu schaffen. Anstatt Informationen auf Webseiten einfach nach Schlüsselwörtern zu ordnen, ist es nun in der Lage, Entitäten zu verstehen – so wie wir Menschen es tun. Zum Beispiel war die Keyword-Phrase “nicholas cage” einfach eine Folge von 12 Buchstaben, die durch ein Leerzeichen getrennt waren..Jetzt versteht Google mehr über dieses Schlüsselwort, die Gründe, warum Menschen danach suchen, und dass Nicholas Cage eine Entität ist – speziell eine Personenentität. Wenn Sie also nach Nicholas Cage suchen, erhalten Sie mehr Informationen über ihn, als Person.

Web-Crawler-Richtlinien

Da Web Crawler Software sind, folgen sie Regeln, die als Policies bekannt sind. Auswahlrichtlinien – sagen den Crawlern, welche Seiten sie herunterladen sollen und welche nicht. Re-Visit-Policies – sagen den Crawlern, wann sie zurückkehren sollen, um nach Änderungen zu suchen. Höflichkeitsrichtlinien – sagen den Crawlern, wie sie die Überlastung von Websites vermeiden können. Tipp: Sie haben hier eine gewisse Macht, indem Sie ihnen Anweisungen in Ihrer robots.txt-Datei geben.

Die Bedeutung von Webcrawlern für Suchmaschinenoptimierung

Suchmaschinenoptimierung – die Praxis, Inhalte für die Indizierung durch Suchmaschinen vorzubereiten, damit Ihre Website in den SERP-Ergebnissen weiter oben erscheint und Sie mehr Klicks, Traffic, Verkäufe usw. erhalten. Ohne Web-Crawler würde Ihre Website nie gefunden werden und somit nicht in den Suchmaschinen präsentiert werden können.
Selektivität Die meisten Crawler versuchen nicht, das gesamte Internet zu crawlen, denn seien wir ehrlich – einige Websites sind wichtiger als andere, und das Internet ist einfach viel zu groß. Web-Crawler (denken Sie daran, dass es sich um Software handelt) benötigen Ressourcen (aka Geld), um zu laufen, also wollen Unternehmen sicherstellen, dass sie ihre Ressourcen so effizient wie möglich nutzen, also müssen sie selektiv sein. Diese Bots entscheiden anhand von Faktoren, die sie als wichtig erachten, welche Seiten zuerst gecrawlt werden sollen: Wie beliebt ist die Seite? Sie müssen sie immer wieder crawlen, wenn sie wollen, dass die aktualisierten Informationen, die die Site weiterhin veröffentlicht, von einer Suchmaschine abgerufen werden können. Die Popularität wird durch Hunderte von Ranking-Faktoren bestimmt, aber die wichtigsten sind: Traffic, Anzahl der Links auf die Seite, etc.

Crawl-Budget

Das “Crawl-Budget” eines Web-Crawlers ist im Grunde die Menge an Seiten, die er innerhalb eines bestimmten Zeitraums auf einer bestimmten Website crawlen (und indizieren) wird. Was bedeutet das für Sie? Wenn Ihre Website zu langsam ist, zu schwer zu crawlen, als nicht wichtig genug erachtet wird usw., wird Ihr Budget erschöpft sein und der Crawler wird gehen. Er wird es verpassen, Seiten zu finden, und somit werden Ihre Seiten nicht in Suchmaschinen indiziert werden.

• Eine gute Sitemap
• Eine gute Website-Architektur
• Gute Seitengeschwindigkeit
• Viele Backlinks
• Gute interne Verlinkung
• Eine richtig eingerichtete robots.txt-Datei
• Sicherstellen, dass Ihre Website nicht viele defekte Seiten hat (404s, etc.)

robots.txt

Ihre robots.txt-Datei ist eine Datei auf Ihrer Website, in der Crawler nach Richtlinien suchen – Sie können die Spider einladen oder sie fernhalten – Sie haben die Wahl. Sie möchten vielleicht nicht, dass Bots bestimmte Seiten besuchen (maximieren Sie Ihr Crawl-Budget auf Ihre wichtigeren Website-Abschnitte) oder vielleicht möchten Sie einfach bestimmte Bots blockieren.

Gute Bots vs. schlechte Bots

Wir möchten also, dass unsere Website von Google, Bing, Yahoo usw. gefunden wird, damit unser Unternehmen von Kunden gefunden werden und wachsen kann. Großartig! Und jetzt wissen wir, dass wir dafür sorgen müssen, dass diese Crawler-Bots unsere Website finden, damit unsere Website gefunden wird. Prima. Aber nicht alle Web-Crawler sind Programme, die von den Suchmaschinenfirmen entwickelt wurden, und nicht alle Bots werden im Internet eingesetzt, um Inhalte zu INDEXieren – einige sind dazu da, Inhalte zu scrapen.

Was sind Scraper-Bots? Haben Sie jemals Spam-Anrufe oder Spam-E-Mails erhalten? Wie sind diese Leute an Ihre Kontaktinformationen gekommen? Nun, ein Weg war, dass sie von Ihrer Website oder einer anderen Website im Internet abgeschöpft wurden. Haben Sie sich jemals gefragt, wie Ihre geschäftlichen/persönlichen Informationen auf Websites landen, von denen Sie sicher wissen, dass Sie sie nicht hinzugefügt haben? Vielleicht wurden sie abgeschöpft.

Bots können alles auslesen, was öffentlich im Internet veröffentlicht wird. Dazu gehören Texte, Bilder, HTML, CSS, usw. Böswillige Bots können alle möglichen Informationen sammeln, die Hacker/Angreifer für eine Vielzahl von Zwecken nutzen: Textbasierte Inhalte können auf einer anderen Website wiederverwendet werden, um die SERP-Rankings der ersten Website zu stehlen. Angreifer könnten den gesamten HTML- und CSS-Code Ihrer Website verwenden, um ein Duplikat Ihrer Website zu erstellen und zu versuchen, Benutzer zur Eingabe ihrer Benutzernamen, Passwörter, Kreditkarteninformationen usw. zu verleiten usw.

Persönliche Informationen können massenhaft abgegriffen werden, um Datenbanken von Personen einer bestimmten Kohorte zu sammeln und für Marketingzwecke zu verwenden. Zugegeben, dies ist nicht annähernd so bösartig wie die vorherigen Beispiele, aber es verdeutlicht dennoch den Punkt – nicht alle Bots sind dazu da, Ihre Inhalte für Suchmaschinen zu indizieren. Das ist nicht nur eine schwindelerregende Menge an Bot-bezogenen Aktivitäten, sondern hat auch echte Auswirkungen auf Sie als Website-Besitzer. Es wirkt sich auf Ihre Analysen, Ihre Server-Ressourcen usw. aus.

Abschließender Gedanken

Bots sind überall. Web-Crawler machen fast die Hälfte des Internets aus. Als verantwortungsbewusster Geschäftsinhaber, Website-Besitzer, SEO-Berater usw. ist es daher von entscheidender Bedeutung, dass wir sie verstehen und weiterhin lernen, was wir tun können, um die guten Bots hereinzulassen und die bösen Bots draußen zu halten.

Die Schau-Fenster im Innenhof des Linzer Schlossmuseums bieten Einblick in die Gegenstände der aktuellen Ausstellungen und des Depots, und erzählen skurrile und besondere Geschichten, etwa wieso ein Roboter arbeitslos ist.

Der Roboter ist jetzt ein Weihnachtsengel!

[Foto: Gunda Hochfilzer]