SEO

Vérificateur robots.txt

Récupérez et validez les règles du fichier robots.txt.

Les résultats s'affichent ici. Saisissez un domaine ou une URL, puis sélectionnez Récupérer robots.txt.

Rapport de santé de domaine

Cette page vérifie une chose. Le rapport en vérifie treize — et vous dit quoi corriger en premier.

Un rapport à 14,90 €, livré par email en quelques minutes. Chaque problème est accompagné d'un correctif concret, priorisé.

Enregistrements DNS (A/AAAA)
Serveurs de noms (NS)
Serveurs de messagerie (MX)
Enregistrement et politique SPF
Enregistrement et politique DMARC
Enregistrement DKIM (sélecteurs courants)
Disponibilité HTTPS
Redirection HTTP vers HTTPS
Certificat TLS (émetteur, validité, expiration)
En-têtes de sécurité (HSTS, CSP…)
Enregistrements CAA
Disponibilité du robots.txt
Disponibilité du sitemap.xml

Obtenir le rapport de domaine14,90 € · Paiement unique. Aucun abonnement.

Comment fonctionne la vérification robots.txt

Saisissez un domaine (example.com) ou une URL complète, puis validez le formulaire.
Le serveur FKINFAST requête https://domaine/robots.txt, en suivant jusqu'à 5 redirections, et lit la réponse.
Le résultat affiche le statut HTTP, la taille du fichier, un aperçu du contenu et un classement PASS, WARNING ou UNKNOWN.

La vérification s'exécute depuis le serveur FKINFAST, pas depuis votre navigateur. Le domaine n'est pas conservé et aucune adresse IP résolue n'est renvoyée à cette page.

États du résultat

PASS: Le site a répondu avec un statut 2xx et le contenu du fichier est affiché dans l'aperçu.
WARNING: Aucun robots.txt trouvé (4xx) : les crawlers supposent alors qu'ils peuvent tout explorer.
UNKNOWN: Aucune réponse claire lue : délai dépassé, échec de connexion ou TLS, redirection non suivable, erreur serveur (5xx) ou destination refusée.

Les erreurs de page sont distinctes de ces résultats. Une erreur de validation, une limite de débit, une réponse occupée, un service indisponible ou une panne réseau s'affichent comme une erreur, pas comme un résultat WARNING.

Règles et limites

Saisissez un domaine ou une URL ; le fichier est toujours récupéré à https://domaine/robots.txt sur le port standard.
Les destinations loopback, privées, link-local, multicast et les adresses de métadonnées cloud sont bloquées avant toute connexion.
Jusqu'à 5 redirections suivies, avec un délai global de 15 secondes.
Le fichier est lu jusqu'à 64 Kio ; l'aperçu affiche les 2 048 premiers caractères.
Les chaînes de requête sont omises des URL affichées.
Limité à 10 vérifications par 60 secondes et par adresse IP.

Ce que la vérification ne fait pas

La vérification récupère et prévisualise le fichier uniquement. Elle n'interprète pas les règles pour un crawler précis, ne teste pas si vos pages sont réellement bloquées ou autorisées, et ne vérifie pas la ligne sitemap que le fichier peut référencer.

FAQ du vérificateur robots.txt

Qu'est-ce que robots.txt ?

robots.txt est un fichier texte à la racine d'un site qui indique aux crawlers les chemins qu'ils peuvent ou non explorer. C'est une convention, pas un mécanisme de sécurité — les contenus privés doivent être protégés par authentification, pas par robots.txt.

Pourquoi un robots.txt absent n'est-il qu'un avertissement ?

Les crawlers traitent un fichier absent (ou une réponse 4xx) comme une autorisation d'explorer librement. C'est souvent acceptable pour un site public, d'où l'avertissement plutôt que l'erreur.

Pourquoi l'aperçu est-il tronqué ?

Les robots.txt très volumineux sont rares ; l'aperçu montre les 2 048 premiers caractères pour garder la page rapide, tandis que la taille reflète la réponse complète jusqu'à 64 Kio.

Mon robots.txt doit-il inclure une ligne sitemap ?

Oui — ajouter une ligne Sitemap: https://example.com/sitemap.xml est courant et recommandé pour pointer les crawlers vers votre sitemap. Utilisez le vérificateur de sitemap pour contrôler l'URL référencée.