Pessoal, tenho um problema. O robots.txt está desativando o meu servidor de fazer o crawl em fontes externas de conteúdo (ex: http://portal.acm.org/ ).
Ha alguma maneira de eu transpassar a verificação do robots.txt?MCTS 630,631,541
Andre, não é bem isso. O site que tem o robots.txt não está sob o meu comando. O indexador (meu servidor SharePoint) precisa indexar o site da ACM por exemplo, porém a ACM configurou o robots de forma que meu indexador não consegue realizar o trabalho.
Existe alguma forma de transpassar isso?MCTS 630,631,541
