我见过很多类似这样的问题，但不完全是这样。
在我的 robots.txt 中，我想做一些类似的事情:
禁止:/home/[anything]/[anything]/personal/
但允许访问 /home、home/xxx、/home/xxx/yyy/ 等
其中 * 可以是任何中间目录。上面的例子是我尝试过的，并且有很多变体，但似乎没有任何效果。
*/个人
/home*/个人
几乎所有排列。
这可以通过机器人中有限的通配符来完成吗？如果是这样——怎么办？
robots.txt 上有很多信息，而且很多都是相互冲突的!]
请您参考如下方法:
Google 抓取工具可以理解 robots.txt 中的模式，但请记住并非所有机器人都能理解(或者甚至会遵循 robots.txt)。例如:
Disallow: /*foo.html$
将禁止任何 foo.html 文档。
查看 Robots.txt specification了解更多信息。他们还有一个 test tool验证您的规则是否正常工作。