Generator și tester robots.txt

Ce este robots.txt

robots.txt este un fișier text simplu pe care îl așezați la rădăcina site-ului (https://exemplu.ro/robots.txt) pentru a spune roboților de căutare ce părți din site pot solicita. Este organizat în grupuri: fiecare grup începe cu una sau mai multe linii User-agent care numesc roboții vizați, urmate de reguli Disallow și Allow. O cale Disallow blochează accesarea a tot ce începe cu acea cale, iar o cale Allow creează o excepție. Generatorul păstrează grupurile structurate, așa că nu trebuie să rețineți sintaxa exactă, și scrie liniile Sitemap la final, acolo unde le așteaptă motoarele de căutare.

Cum funcționează potrivirea

Google și Bing urmează un algoritm precis, iar testerul de pe această pagină îl reproduce. Mai întâi, robotul alege cel mai specific grup pentru numele său — o potrivire exactă a User-agent are prioritate față de grupul general *, și se aplică doar regulile din acel grup. Apoi, dintre regulile grupului, câștigă cea mai lungă cale care se potrivește; la egalitate de lungime între un Allow și un Disallow, câștigă Allow. Tiparele acceptă * (orice șir de caractere) și un $ final (sfârșitul URL-ului), astfel încât /*.pdf$ blochează orice PDF. Dacă nicio regulă nu se potrivește, calea este permisă implicit. Introduceți o cale și un user-agent în tester ca să vedeți exact regula care decide.

Accesarea nu înseamnă indexare

O capcană frecventă: Disallow oprește robotul din a descărca un URL, dar nu ține în mod sigur acel URL în afara rezultatelor de căutare. Dacă alte pagini trimit către un URL blocat, Google îl poate afișa oricum (fără descriere, deoarece nu a citit pagina). Pentru a ține o pagină în afara indexului, lăsați-o să fie accesată și adăugați un tag meta noindex, sau protejați-o prin autentificare. Folosiți robots.txt pentru bugetul de accesare și pentru a ascunde pagini fără valoare sau duplicate — nu ca măsură de securitate sau confidențialitate. Totul rulează în browserul dumneavoastră.