我想知道 - 爬虫可以完全用 javascript 编写吗？这样，爬虫仅在用户需要信息时被调用，一切都从单个用户的计算机上运行。
如果爬虫是写在服务器端的——那不也有 IP 被封的风险吗？
请您参考如下方法:
首先，在谈论细节之前，您必须了解爬行非常慢。如果您正在查看一个站点，则获取任何类型的有意义的 Web 索引都需要几分钟，如果您正在查看多个来源(通常是数周、数月或数年)，则至少需要数天。通过实时抓取来提供搜索服务根本不可行。
至于细节，没有什么能阻止人们用 Javascript 编写爬虫。但是，在浏览器嵌入式 javascript 中不行，至少在没有服务器端代理的情况下，由于跨源策略。