Robots.txt

Robots.txt este un fisier text care controleaza indexarea propriului site de catre motoarele de cautare. Acesta comunica motoarelor de cautare ce fisiere sa indexeze si ce fisiere sa nu indexeze. Astfel ai posibilitatea sa controlezi botii, spunandu-le ce are voie sa vada pe propriul site si care sunt locurile unde nu poate sa ajunga.

Pentru a realiza acest tip de fisier, se deschide un document nou in notepad si se salveaza sub denumirea robots.txt

acest fisier trebuie uploadat chiar in radacina siteului :

Corect

http://optimizare-promovare.ro/robots.txt

Modele predefinete de robots.txt :
Permite tuturor Robotilor
# Allows all robots

User-agent: *
Disallow:

Interzice toti Roboti

# Disallows all robots

User-agent: *
Disallow: /

Permite tuturor Robotilor tot in afara de cgi-bin, precum si directorul de imagini
# Disallows cgi-bin and images

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

Permite numai motoarelor de cautare cunoscute

# Allows only major search engines and known friendly spiders

# Major Search Engines and Known Friendly Spiders (allowed)

User-agent: Googlebot
Disallow:

User-agent: MSNBot
Disallow:

User-agent: Slurp
Disallow:

User-agent: Teoma
Disallow:

User-agent: Twiceler
Disallow:

User-agent: Gigabot
Disallow:

User-agent: Scrubby
Disallow:

User-agent: Robozilla
Disallow:

# Everyone Else (NOT allowed)

User-agent: *
Disallow: /

* Major Known Spiders / Crawlers

Googlebot (Google), Googlebot-Image (Google Image Search), MSNBot (MSN), Slurp (Yahoo), Yahoo-Blogs, Mozilla/2.0 (compatible; Ask Jeeves/Teoma), Gigabot (Gigablast), Scrubby (Scrub The Web), Robozilla (DMOZ), Twiceler (Cuil)

Explicatii:

Disallow: /abc-
Interzice accesul spre orice folder sau fisier care incepe cu “abc-”.
Atentie ! O regula ca Disallow: /folder va interzice accesul spiderilor in toate paginile sau directoarele care incep cu literele folder. Pentru a face referire la folder-ul a trebuie adaugat la sfarsit un slash: Disallow: /folder/ Se procedeaza la fel pentru orice alt folder care nu vreti sa fie gasit in motoare.