AI-crawlerchecker
Controleer met deze AI-crawlerchecker de robots.txt-regels, indexeringssignalen en HTTP-responses. Bekijk geblokkeerde toegang voordat je de regels van je site wijzigt.
Gratis, zonder account of e-mailadres. De controle duurt enkele seconden.
Deze gratis AI-crawlerchecker leest robots.txt, controleert meta robots en X-Robots-Tag-signalen en verstuurt verzoeken met de user agents van AI-crawlers. Elke rij toont de toepasselijke regel en HTTP-response. De resultaten toegestaan, geblokkeerd en onduidelijk beschrijven wat we vanaf onze server hebben waargenomen. Ze bewijzen niet dat een echte crawler dezelfde response krijgt.
Hoe deze controle werkt
- robots.txt
- Het robots.txt-bestand van de site wordt één keer gelezen. Voor elke crawler worden vervolgens de regels voor de pagina toegepast zoals beschreven in RFC 9309: de groep die de crawler bij naam noemt, gaat voor op de groep voor alle crawlers.
- Een verzoek namens elke crawler
- De pagina wordt opgevraagd met de user agent van elke crawler. De tabel toont de HTTP-status, eventuele beveiligingscontrole en de verzonden user-agentstring. Google-Extended en Applebot-Extended zijn controletokens zonder afzonderlijk verzoek. Googlebot en Bingbot worden alleen in robots.txt gecontroleerd.
- Controleverzoek
- De pagina wordt ook opgevraagd alsof het verzoek van een gewone browser komt. Als ook dat verzoek wordt geweigerd, zeggen de crawlerverzoeken niets over crawlers in het bijzonder en beoordelen we alleen robots.txt.
- De beperking
- Onze verzoeken komen vanaf ons adres. Een firewall die de gepubliceerde IP-adressen van een crawler controleert, kan ons verzoek weigeren en de echte crawler toch toelaten. Daarom beoordelen we Googlebot en Bingbot alleen op basis van robots.txt.
Elke crawler in de tabel heeft een eigen pagina in de lijst met AI-crawlers.
Stel een volledig AI robots.txt-bestand samen · Controleer de lengte van je titel en beschrijving
Vragen over AI-crawlers
Ontdek wat assistenten over je zeggen
De gratis scan leest je site, controleert dezelfde crawlers en stelt assistenten de vragen die je potentiële klanten stellen.