Skip to main content
 首页 » 编程设计

c++之爬虫存储系统所需的建议

2023年11月01日71dudu

我打算用 C++ 编写一个网络爬虫,每天爬取 N 个页面。主要问题是我对存储系统感到困惑。所以我需要一个分布式数据库来有效地存储我的爬网数据。谁能建议我满足条件的数据库?

请您参考如下方法:

MongoDB 可能是一个不错的选择,因为它以直接高效的方式支持几乎所有需求(包括一个不错的查询 API)。分发是通过“分片”完成的。

不要要求比较数据库(经常讨论包括 stackoverflow )。