Wenn Bots zur Gefahr für Ihre Website werden – und was wir dagegen tun

Immer häufiger beobachten wir: Bots verursachen deutlich mehr Last auf Webseiten als echte Besucherinnen und Besucher. In einigen Fällen können sie Systeme sogar so stark belasten, dass Dienste ausgebremst oder ganz lahmgelegt werden.

Zunächst gilt es, zwischen „guten“ und „schlechten“ Bots zu unterscheiden. Während man Google oder Bing bewusst zulassen möchte, weil sie Inhalte indexieren und die Sichtbarkeit erhöhen, sind andere Bots nicht immer erwünscht. Ein Negativbeispiel war der Claude-Bot zu Jahresbeginn: Er drosselte sich nicht selbst und verursachte in kurzer Zeit eine massive Serverlast.

Was hilft? Ein maßgeschneiderter Ansatz
Bei qwertiko setzen wir auf eine intelligente Kombination technischer Maßnahmen, um unerwünschte Bot-Zugriffe zu erkennen und zu blockieren – ohne dabei legitime Crawler oder echte Nutzer auszusperren. Wir arbeiten unter anderem mit Bot-Fingerprinting und IP-Listen sowie der Erkennung auffälliger Muster, beispielsweise beim Aufruf willkürlicher Links.
Dabei müssen pro Branche und Anwendungsfall jedoch individuelle Regeln beachtet werden. So müssen im B2B-Bereich beispielsweise keine Social-Media-Bots von Plattformen wie TikTok oder Pinterest durchgelassen werden, im Consumer-Segment kann das hingegen relevant sein. Eine Einheitslösung gibt es deshalb nicht.

Nicht jeder Bot gibt sich als Bot zu erkennen
Besonders heimtückisch sind Bots, die sich als normale Nutzer tarnen, etwa durch realistisch wirkende User-Agents. Drei unserer Kunden waren allein in den letzten Monaten davon betroffen. In einem Fall haben wir die Lösung direkt in die Firewall integriert und dem Kunden die Möglichkeit gegeben, False Positives manuell freizugeben. Das spart Zeit und reduziert Frustration im Livebetrieb.

Haben Sie auch Probleme mit Bots oder möchten Sie sich dazu ausführlicher informieren? Dann melden Sie sich gern bei uns.