Robots.txt este un fișier text plasat la rădăcina site-ului care indică crawlerilor (Google, Bing, GPTBot) ce pagini pot sau nu pot accesa și indexa.
Fișierul robots.txt se află la adresa yourdomain.com/robots.txt și conține instrucțiuni pentru roboții web (crawleri). Folosind directivele „User-agent" (identifică crawlerul) și „Disallow" sau „Allow" (specifică ce poate accesa), poți controla care secțiuni ale site-ului sunt accesibile. Important: robots.txt nu garantează că Google nu va indexa paginile blocate dacă există linkuri spre ele — folosește „noindex" pentru a preveni indexarea efectivă. Google recomandă să permiți accesul GPTBot și ClaudeBot pentru a beneficia de vizibilitate în AI.
Un robots.txt configurat greșit poate bloca accidental indexarea întregului site sau a unor secțiuni importante. Este una din primele verificări în orice audit SEO tehnic. Totodată, permițând explicit crawlerele AI (GPTBot, ClaudeBot, PerplexityBot) crești șansele de a fi citat în răspunsurile AI.
Sursă: Google Search Central — Robots.txtSEO tehnic cuprinde optimizările infrastructurii site-ului — crawlabilitate, indexare, viteza de încărcare, HTTPS și structura datelor — care permit Google să găsească și să înțeleagă paginile tale.
Crawlabilitatea este capacitatea roboților Google de a accesa, naviga și citi paginile site-ului tău — o condiție prealabilă esențială pentru indexare și ranking.
Tag-ul canonical (rel="canonical") indică Google care este versiunea principală a unei pagini atunci când există URL-uri similare sau duplicate, prevenind penalizările pentru conținut duplicat.
Sitemap XML este un fișier care listează toate URL-urile importante ale site-ului tău, ajutând Google să le descopere și indexeze mai rapid și complet.