我见过很多类似这样的问题,但不完全是这样。
在我的 robots.txt 中,我想做一些类似的事情:
禁止:/home/[anything]/[anything]/personal/
但允许访问 /home
、home/xxx
、/home/xxx/yyy/
等
其中 *
可以是任何中间目录。上面的例子是我尝试过的,并且有很多变体,但似乎没有任何效果。
*/个人
/home*/个人
几乎所有排列。
这可以通过机器人中有限的通配符来完成吗?如果是这样——怎么办?
robots.txt 上有很多信息,而且很多都是相互冲突的!]
请您参考如下方法:
Google 抓取工具可以理解 robots.txt
中的模式,但请记住并非所有机器人都能理解(或者甚至会遵循 robots.txt)。例如:
Disallow: /*foo.html$
将禁止任何 foo.html
文档。
查看 Robots.txt specification了解更多信息。他们还有一个 test tool验证您的规则是否正常工作。