我打算用 C++ 编写一个网络爬虫,每天爬取 N 个页面。主要问题是我对存储系统感到困惑。所以我需要一个分布式数据库来有效地存储我的爬网数据。谁能建议我满足条件的数据库?
请您参考如下方法:
MongoDB 可能是一个不错的选择,因为它以直接高效的方式支持几乎所有需求(包括一个不错的查询 API)。分发是通过“分片”完成的。
不要要求比较数据库(经常讨论包括 stackoverflow )。
我打算用 C++ 编写一个网络爬虫,每天爬取 N 个页面。主要问题是我对存储系统感到困惑。所以我需要一个分布式数据库来有效地存储我的爬网数据。谁能建议我满足条件的数据库?
请您参考如下方法:
MongoDB 可能是一个不错的选择,因为它以直接高效的方式支持几乎所有需求(包括一个不错的查询 API)。分发是通过“分片”完成的。
不要要求比较数据库(经常讨论包括 stackoverflow )。