Ce este robots.txt?
Definiție și Exemple SEO

Robots.txt este un fișier text plasat la rădăcina site-ului care indică crawlerilor (Google, Bing, GPTBot) ce pagini pot sau nu pot accesa și indexa.

Autor:Iordache Alexandru·Actualizat 2026-06-13

Definiție Completă: Ce este robots.txt

Fișierul robots.txt se află la adresa yourdomain.com/robots.txt și conține instrucțiuni pentru roboții web (crawleri). Folosind directivele „User-agent" (identifică crawlerul) și „Disallow" sau „Allow" (specifică ce poate accesa), poți controla care secțiuni ale site-ului sunt accesibile. Important: robots.txt nu garantează că Google nu va indexa paginile blocate dacă există linkuri spre ele — folosește „noindex" pentru a preveni indexarea efectivă. Google recomandă să permiți accesul GPTBot și ClaudeBot pentru a beneficia de vizibilitate în AI.

De ce Contează Robots.txt pentru SEO?

Un robots.txt configurat greșit poate bloca accidental indexarea întregului site sau a unor secțiuni importante. Este una din primele verificări în orice audit SEO tehnic. Totodată, permițând explicit crawlerele AI (GPTBot, ClaudeBot, PerplexityBot) crești șansele de a fi citat în răspunsurile AI.

Sursă: Google Search Central — Robots.txt

Cum te ajută RankRO SEO cu Robots.txt

RankRO SEO verifică robots.txt-ul site-ului tău în etapa de onboarding și alertează dacă există directive care blochează indexarea conținutului generat.

Întrebări Frecvente despre Robots.txt

Termeni Înrudiți

SEO Tehnic

Avansat

SEO tehnic cuprinde optimizările infrastructurii site-ului: crawlabilitate, indexare, viteză de încărcare, HTTPS și structură clară a datelor.

Definiție

Crawlabilitate

Intermediar

Crawlabilitate este capacitatea unui site de a fi accesat și explorat de Googlebot; site-ul trebuie să fie rapid și structurat clar pentru un crawling bun.

Definiție