none
Robots.txt e o crawl RRS feed

  • Pergunta

  • Pessoal, tenho um problema. O robots.txt está desativando o meu servidor de fazer o crawl em fontes externas de conteúdo (ex: http://portal.acm.org/ ).

    Ha alguma maneira de eu transpassar a verificação do robots.txt?
    MCTS 630,631,541
    sexta-feira, 16 de outubro de 2009 15:32

Todas as Respostas