Czy hurtownia danych to dobre rozwiązanie do udostępniania danych klientów w różnych technologiach?

Chcę móc udostępniać dane we wszystkich obszarach naszej działalności w sposób, który zmniejsza ogólną złożoność naszej infrastruktury.

Problem

Naszym problemem jest to, że obecnie mamy 4 główne aplikacje, które wszystkie łączą się z naszą aplikacją CRM (Microsoft Dynamics 2011):

Decydenci w naszej firmie chcą obecnie aktualizować nasz CRM do najnowszej wersji, a następnie być na bieżąco w miarę pojawiania się nowych aktualizacji (co 2-3 lata). Prawie wszystkie nasze aplikacje są sztywno zintegrowane z Microsoft Dynamics, więc każda aktualizacja jest bardzo kosztowna i ryzykowna. Chcę zaprojektować inne podejście, które zmniejszy ten koszt i ryzyko.

Badania

W 2006 roku Roger Sessions napisał artykuł zatytułowany Lepsza ścieżka do architektury korporacyjnej (tutaj), który przedstawia sposoby ulepszania biznesowych systemów IT. Jednym z głównych tematów jego dyskusji jest zmniejszenie złożoności, a poprzez rozmieszczenie matryc na różne sposoby, pokazuje, że można wykładniczo zmniejszyć złożoność systemów, dzieląc technologie na segmenty, zamiast pozwolić jakiejkolwiek technologii połączyć się z jakąkolwiek inną technologią. Jeanne Ross również ma świetną prezentację na ten temat (tutaj) i mówi o posiadaniu cyfrowej platformy do udostępniania podstawowych danych i usług między obszarami działalności w celu zmniejszenia złożoności całego systemu i zwiększenia elastyczności w reagowaniu na obecne i przyszłe potrzeby biznesowe.

Wnioski

Kiedy zastanawiam się nad lekcjami z Sessions i Ross, jestem przekonany, że musimy wynieść Microsoft Dynamics z centrum naszej architektury, jeśli chcemy zmieniać technologię co 2-3 lata. Musimy tylko zastąpić go czymś, co umożliwi udostępnianie naszych podstawowych danych (głównie danych klientów) między aplikacjami. Wiem, że hurtownie danych są często wykorzystywane do agregowania danych w całej organizacji. Czy to zadziała?

Rozumiem, że hurtownie danych służą głównie do raportowania, więc nie wiem, czy posiadanie bezpośrednich połączeń z hurtownią danych byłoby idealne. Jednak każda aplikacja nie potrzebowałaby możliwości aktualizacji jakichkolwiek danych w hurtowni danych. Potrzebują tylko możliwości pobrania swoich identyfikatorów, aby skonfigurować relacje między globalnymi jednostkami hurtowni danych (klientami) i różnymi jednostkami specyficznymi dla jednostek w bazie danych każdej aplikacji.

Pytania

Która z tych trzech opcji spełniłaby moje potrzeby: (1) hurtownia danych, z którą wszystkie aplikacje łączą się bezpośrednio, (2) hurtownia danych, która dostarcza dane do każdej bazy danych specyficznej dla aplikacji poprzez nocne aktualizacje, czy (3) coś innego?

Dziękuję

Zach Allen 03.08.2015 źródło

Odpowiedzi (1)

arrow_upward
3
arrow_downward

To, czego szukasz, to architektura integracji danych — niekoniecznie oznacza to hurtownię danych. Wzorzec, który opisujesz, nazywa się „piasta i szprycha” i jest bardzo powszechny – powiedziałbym, że zdecydowanie jesteś na dobrej drodze do rozwiązania problemu integracji, który opisujesz.

Ta strona zajmuje się tym problemem i wzorcem znacznie bardziej szczegółowo, a także zawiera sekcję dotyczącą różnic między hurtownią danych a integracją danych. Zauważyłeś, że zdajesz sobie sprawę, że hurtownie danych są powszechnie używane do raportowania — to prawda, a także są intensywnie wykorzystywane do analiz, jak omówiono w łączu. Tradycyjnie są one źródłem danych na potrzeby analizy biznesowej. Może to oznaczać, że nie zawsze koncentrują się na rodzaju danych, którymi jesteś zainteresowany – tj. danych operacyjnych, których systemy potrzebują do działania, ale które mogą nie być interesujące do celów sprawozdawczych lub analitycznych. Mogą też nie działać w sposób, który jest pomocny dla Twoich potrzeb — na przykład tradycyjne nocne obciążenia ETL mogą nie być najlepszym rozwiązaniem, jeśli chcesz, aby Twoje aplikacje były szybciej aktualizowane.

Wszystko to oznacza, że hurtownie danych z pewnością mogą być używane jako centrum danych - EDW staje się źródłem "danych podstawowych", wszelkie procesy jakości danych, które są potrzebne, działają na danych EDW, a procesy ETL uruchamiają poprawione dane z powrotem do różnych źródeł - ale prawdopodobnie lepiej będzie ci przysłużyć się zbadanie tematu integracji danych niż tematu hurtowni danych, nawet jeśli obie strony mają wiele podobieństw i mogą się nakładać.

Jeśli utworzysz hurtownię danych bez żadnych wymagań dotyczących analizy biznesowej, może ona nie działać zbyt dobrze jako hurtownia danych. Bardzo odpowiednie rozwiązanie do integracji danych/danych głównych może nie rozwiązać wszystkich przyszłych wymagań dotyczących hurtowni danych. Podobnie, jeśli po zapoznaniu się z najlepszymi praktykami hurtowni danych utworzysz tradycyjną hurtownię danych, może ona nie spełniać wymagań dotyczących integracji danych lub spełniać je w najlepszy sposób. Jak sugeruje łącze, rozdziel te dwie koncepcje: rozwiąż problem z integracją danych, a jeśli chcesz mieć w przyszłości hurtownię danych, możesz użyć rozwiązania do integracji danych, aby ułatwić jej wypełnienie.

Jo Douglass 03.08.2015