Robots.txt este un fisier text care controleaza indexarea propriului site de catre motoarele de cautare. Acesta comunica motoarelor de cautare ce fisiere sa indexeze si ce fisiere sa nu indexeze. Astfel ai posibilitatea sa controlezi botii, spunandu-le ce are voie sa vada pe propriul site si care sunt...