База данных для обработки огромного количества данных

Я оцениваю базу данных для моего следующего проекта. Я хочу хранить все города мира (2,5 миллиона) и каждый день сохранять прогноз погоды для каждого города. Таким образом, вы можете себе представить, что набор данных будет довольно быстро увеличиваться.

Мне также нужно выполнить гео-запросы — получить город и температуру за этот день в этой ограничивающей рамке.

До сих пор я смотрел на hbase и Couchdb. Hbase выглядел интересно, но требования к оборудованию для производства слишком дороги для меня (в презентации говорилось, что вам нужно 5 отдельных серверов).

Я хотел бы сохранить расходы как можно ниже, это мой личный проект.

Итак, какие еще варианты у меня есть? Сможет ли монго справиться с таким объемом данных? Что-нибудь еще?

TL;DR Требования:

  • Большой объем данных
  • Быстрые запросы ограничивающей рамки
  • Низкие/дешевые требования к оборудованию
  • Оптимизирован для чтения, но должен обрабатывать вставку 2,5 миллионов записей в день.

person egze    schedule 05.07.2011    source источник
comment
Сколько данных вы на самом деле добавляете? Мне кажется не много. При правильной нормализации вы могли видеть добавление 2,5M * 15 байт данных каждый день. ~ 50 МБ. около 30 дней приема данных 1G. Годовая стоимость превысит 12G, возьмите 15G для приближений и прочего. MySQL может справиться с этим (для школьного проекта достаточно 1 года, верно?).   -  person Jai    schedule 05.07.2011


Ответы (1)


Да, вы можете использовать mongodb. MongoDB был разработан для масштабирования (шардинг, репликация). Кроме того, mongodb поддерживает геопространственный поиск.

person Andrew Orsich    schedule 05.07.2011