AI-crawlerchecker

Controleer met deze AI-crawlerchecker de robots.txt-regels, indexeringssignalen en HTTP-responses. Bekijk geblokkeerde toegang voordat je de regels van je site wijzigt.

Gratis, zonder account of e-mailadres. De controle duurt enkele seconden.

Een homepage of een andere pagina. Alleen die pagina wordt gecontroleerd.

Deze gratis AI-crawlerchecker leest robots.txt, controleert meta robots en X-Robots-Tag-signalen en verstuurt verzoeken met de user agents van AI-crawlers. Elke rij toont de toepasselijke regel en HTTP-response. De resultaten toegestaan, geblokkeerd en onduidelijk beschrijven wat we vanaf onze server hebben waargenomen. Ze bewijzen niet dat een echte crawler dezelfde response krijgt.

Hoe deze controle werkt

robots.txt
Het robots.txt-bestand van de site wordt één keer gelezen. Voor elke crawler worden vervolgens de regels voor de pagina toegepast zoals beschreven in RFC 9309: de groep die de crawler bij naam noemt, gaat voor op de groep voor alle crawlers.
Een verzoek namens elke crawler
De pagina wordt opgevraagd met de user agent van elke crawler. De tabel toont de HTTP-status, eventuele beveiligingscontrole en de verzonden user-agentstring. Google-Extended en Applebot-Extended zijn controletokens zonder afzonderlijk verzoek. Googlebot en Bingbot worden alleen in robots.txt gecontroleerd.
Controleverzoek
De pagina wordt ook opgevraagd alsof het verzoek van een gewone browser komt. Als ook dat verzoek wordt geweigerd, zeggen de crawlerverzoeken niets over crawlers in het bijzonder en beoordelen we alleen robots.txt.
De beperking
Onze verzoeken komen vanaf ons adres. Een firewall die de gepubliceerde IP-adressen van een crawler controleert, kan ons verzoek weigeren en de echte crawler toch toelaten. Daarom beoordelen we Googlebot en Bingbot alleen op basis van robots.txt.

Elke crawler in de tabel heeft een eigen pagina in de lijst met AI-crawlers.

Stel een volledig AI robots.txt-bestand samen · Controleer de lengte van je titel en beschrijving

Vragen over AI-crawlers

Vul je domein of het volledige adres van een pagina in en selecteer Controleer de pagina. Bekijk de status per crawler, de toepasselijke robots.txt-regel en de HTTP-response. Verhelp daarna ongewenste blokkades en controleer opnieuw. Alleen de opgegeven pagina wordt getest. Resultaten kunnen tien minuten in de cache blijven.

Noindex vraagt zoekmachines een pagina niet in hun index op te nemen. Noai en noimageai geven gebruiksvoorkeuren aan, maar de ondersteuning verschilt per beheerder. Geen van deze tags voorkomt een HTTP-verzoek. Deze checker toont de waargenomen signalen apart van robots.txt en firewallresponses.

Zoekcrawlers, zoals OAI-SearchBot, indexeren inhoud voor antwoorden. Gebruikerscrawlers halen pagina's op wanneer iemand erom vraagt. Trainingscrawlers verzamelen inhoud voor de ontwikkeling van modellen. Je kunt je voorkeuren voor training afzonderlijk instellen. Google-Extended regelt ook het gebruik van bronnen voor Gemini-antwoorden, en sommige crawlers die op verzoek van een gebruiker pagina's ophalen, negeren mogelijk robots.txt.

Een CDN, firewall of botbeveiligingsdienst kan verzoeken op basis van de user agent weigeren voordat robots.txt wordt gelezen. Sommige hebben een instelling voor AI-crawlers. De site opent nog wel in een browser, waardoor de blokkade onopgemerkt blijft.

Nee. llms.txt is een voorgesteld bestand met een overzicht van de belangrijkste pagina's van een site voor taalmodellen. Voor de crawlers in deze controle moet robots.txt toegang toestaan en moet de server de pagina leveren. Een llms.txt-bestand verandert aan geen van beide iets.

Nee. Het betekent alleen dat assistenten de pagina kunnen lezen. Of een bedrijf wordt genoemd, hangt af van wat de pagina en andere sites erover zeggen.

Ontdek wat assistenten over je zeggen

De gratis scan leest je site, controleert dezelfde crawlers en stelt assistenten de vragen die je potentiële klanten stellen.