передовой опыт работы с базами данных/витринами данных

Я разработал приложение Grails, которое хранит большой объем информации. В настоящее время, когда я хочу провести анализ больших наборов данных, это может занять довольно много времени. Чтобы ускорить процесс, я решил переместить все рассчитанные и агрегированные данные в «киоск данных». Таким образом, можно запустить процесс, возможно, с помощью задания cron, для работы со всеми записями, извлечения всей запрошенной информации и сохранения рассчитанных и запрошенных данных в отдельных таблицах.

Мои вопросы: во-первых, кажется ли это лучшим способом решения проблемы? Если это так, я пытаюсь найти лучший способ управления новыми классами предметной области. Должен ли я хранить их в одной папке проекта домена или можно создать новую папку? Мои классы предметной области кажутся очень загроможденными, и я бы предпочел способ отделить реляционные таблицы от таблиц витрин данных. Любые предложения по лучшему структурированию были бы замечательными.

Я использую groovy на базе данных Grails и MySQL.

спасибо Джейсон


person jason    schedule 02.02.2012    source источник


Ответы (1)


Похоже, то, что вы делаете, — довольно хорошая идея. Вы заметите, что в стеке приложений также есть процессы агрегации данных, которые выполняются каждый день (рейтинги), каждые несколько дней (вычисления значков) и т. д.

Вы можете создать новый пакет для всех необходимых классов 'datamart', чтобы сохранить его отдельно.

Если вам ничего не нужно в текущем приложении, вы даже можете создать новый проект. Имейте в виду, что если вам нужно извлечь все данные из ваших таблиц, спящий режим может быть не лучшим решением. Если возможно, используйте свою базу данных для выполнения расчетов за вас.

person hvgotcodes    schedule 02.02.2012
comment
Спасибо за отзыв. Как работает создание нового пакета? - person jason; 02.02.2012
comment
@jason en.wikipedia.org/wiki/Java_package -- это для java, но идея одинаковый. Вы должны использовать пакеты для всех приложений, кроме самых простых.... - person hvgotcodes; 02.02.2012
comment
Спасибо! Вкратце я искал что-нибудь о пакетах в Grails, но пока мало что видел. любые указатели? - person jason; 02.02.2012
comment
это то же самое, что и в java. Если вы используете IDE, она может создать для вас пакет. Если вы используете инструменты командной строки grails, вы можете указать пакеты при создании различных артефактов.... - person hvgotcodes; 02.02.2012