Skip to main content
 首页 » 编程设计

javascript之爬虫可以完全用javascript写吗

2023年07月11日95oomusou

我想知道 - 爬虫可以完全用 javascript 编写吗?这样,爬虫仅在用户需要信息时被调用,一切都从单个用户的计算机上运行。

如果爬虫是写在服务器端的——那不也有 IP 被封的风险吗?

请您参考如下方法:

首先,在谈论细节之前,您必须了解爬行非常慢。如果您正在查看一个站点,则获取任何类型的有意义的 Web 索引都需要几分钟,如果您正在查看多个来源(通常是数周、数月或数年),则至少需要数天。通过实时抓取来提供搜索服务根本不可行。

至于细节,没有什么能阻止人们用 Javascript 编写爬虫。但是,在浏览器嵌入式 javascript 中不行,至少在没有服务器端代理的情况下,由于跨源策略。