Hosting¶

Bestimmte Clients (Bots) blockieren¶

Jeder Web-Browser gibt sich mit einer Kennung in der Regel zu erkennen. Auch Bots sollten sich mit einer bestimmten Kennung zu erkennen geben.

Hier im Beispiel werden der SemrushBot, der MJ12bot, und der AI Bot Claude von Anthropic ausgeschlossen:

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} ^.SemrushBot.$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.MJ12bot.$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.ClaudeBot.$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^$ RewriteRule ^.* - [F,L]

Siehe auch https://stackoverflow.com/a/35775449/1632368