Taką definicję podano w poprzednim artykule „Systemy informacyjne przedsiębiorstwa cz. 1 – ogólna”. Podejrzewam jednak, że niewiele zbliżyło to Czytelników do tego, po co właściwie wydaje się sporo pieniędzy i poświęca dużo pracy na utworzenie czegoś, co informatycy nazywają hurtownią danych.
W niniejszym artykule postaram się odpowiedzieć na to dość proste pytanie – po co nam hurtownia danych.
Wprowadzając w zagadnienie chciałbym wyjaśnić, że hurtowania danych przeważnie nie przechowuje danych najbardziej aktualnych. Najczęściej ładowanie danych do hurtowni odbywa się w nocy, po zakończeniu dnia roboczego. Taka procedura jest podyktowana tym, że przetwarzanie tak dużej ilości danych, jakie znajduje się zwykle w hurtowni, jest operacją znacząco obciążającą system transakcyjny. Dane w hurtowni zatem są opóźnione na ogół o jeden dzień.
Hurtownia danych służy zasadniczo do tego, aby w jednej spójnej postaci zebrać wszystkie dane wymagające analizy. Przypomina to nieco zebranie luźnych kartek ze wszystkich biurek w firmie i poukładanie ich w odpowiednio opisanych segregatorach. Segregatory zaś układane są w szafie z opisanymi półkami itd. Porządki, jak wiadomo, są bardzo pracochłonne. Korzyści jednak wynikające z uporządkowanych dokumentów są tak duże, że raczej nikogo nie trzeba do tego przekonywać. Podobnie rzecz się ma z danymi przechowywanymi w pamięci komputerów. Szybkie i wydajne przeglądanie danych, ich przetwarzanie i analizowanie wymaga porządku. Bez porządku jest to bardzo trudne, czasem niemożliwe.
Oto najważniejsze przesłanki przemawiające za potrzebą utworzenia hurtowni danych.
1. Oddzielenie od systemu transakcyjnego.
Hurtownia danych powinna być umieszczona na oddzielnym serwerze w sensie sprzętowym w stosunku do systemu transakcyjnego. A praktycznie musi być w odrębnej bazie danych.
Bardzo często dzieje się tak, że system analityczny (wykonujący jakiś raport) pobiera dane na wyłączność do analizy. Oczywiście nie na cały czas, w których dane są wyświetlane na ekranie. Jedynie na czas ich przetwarzania. Kiedy jednak analizuje się dużą ilość danych , np analiza rentowności sprzedaży za cały rok, ich przetwarzania na komputerze morze trwać klika minut. Trudno sobie wyobrazić, by dział sprzedaży przez ten czas czekał na możliwość wystawienia faktury sprzedaży lub przyjęcia zamówienia od Klienta.
2. Przyśpieszenie analizy
Typowa baza danych systemu transakcyjnego zawiera sporo danych potrzebnych do prawidłowego działania systemu. Są to dane dotyczące ustawień systemu np uprawnienia użytkowników lub ograniczenia sprzedaży związane z limitami kredytowymi. Dane to są potrzebne w czasie wystawiania dokumentu sprzedaży, nie mają zaś większego znaczenia w czasie ich analizy. Kiedy dokonuje się analizy kosztów działalności firmy w danym roku w rozbiciu na realizowane projekty, dane o uprawnieniach użytkowników nie mają już znaczenia. Hurtownia danych przechowuje wyłącznie te dane, które są istotne z punktu widzenia ich analizy. To w znaczący sposób przyśpiesza działanie systemu analitycznego.
Ponadto, jak to już zostało wcześniej powiedziane, hurtownia danych zbiera w jednej spójnej strukturze różne dane, nawet te, które znajdują się poza typowym systemem transakcyjnym np pliki Excell itp. Niejednokrotnie analiza danych nie ma kompletnie sensu bez tych dodatkowych danych z plików Excell. Zawierają one bowiem informacje wyjątkowo istotne. W jednej z firm, dla których tworzyłem hurtownię danych, w plikach Excell przechowywano karty pracy pracowników. Pracownicy w kartach pracy zapisywali ilość czasu poświęconego na realizację poszczególnych projektów firmy. Jeśli uświadomimy sobie, że w przypadku realizacji projektów usługowych, w których koszt pracy stanowi średnio ok. 80% kosztów, analiza rentowności poszczególnych projektów bez uwzględnienia kart pracy po prostu nie ma sensu. Hurtownia danych umożliwia zebranie wszystkich istotnych danych do jednej spójnej struktury i analizowanie ich w sposób szybki i jednoznaczny.
Na zakończenie posłużę się przykładami.
W pewnej firmie typowe comiesięczne zestawienie wymagane dla Zarządu firmy było przetwarzane na kilku komputerach przez cały weekend. Po zebraniu wygenerowanych zestawień od czasu do czasu okazywało się, że konieczne jest wprowadzenie pewnych korekt. W takich przypadkach czas oczekiwania na dane był kompletnie nieakceptowalny. Wdrożenie hurtowni danych skróciło czas generowania zestawień do kilku minut.
W innej firmie typowe codzienne zestawienie dostarczane dla Zarządu firmy było zbierane pracowicie przez cały sześcioosobowy dział finansowy. Trwało to przeważnie 3 – 4 godz. Po wdrożeniu hurtowni danych Zarząd otrzymywał najważniejsze dane w postaci komunikatu SMS. Dane były generowane automatycznie w ciągu kilku sekund.
W niniejszym artykule postaram się odpowiedzieć na to dość proste pytanie – po co nam hurtownia danych.
Wprowadzając w zagadnienie chciałbym wyjaśnić, że hurtowania danych przeważnie nie przechowuje danych najbardziej aktualnych. Najczęściej ładowanie danych do hurtowni odbywa się w nocy, po zakończeniu dnia roboczego. Taka procedura jest podyktowana tym, że przetwarzanie tak dużej ilości danych, jakie znajduje się zwykle w hurtowni, jest operacją znacząco obciążającą system transakcyjny. Dane w hurtowni zatem są opóźnione na ogół o jeden dzień.
Hurtownia danych służy zasadniczo do tego, aby w jednej spójnej postaci zebrać wszystkie dane wymagające analizy. Przypomina to nieco zebranie luźnych kartek ze wszystkich biurek w firmie i poukładanie ich w odpowiednio opisanych segregatorach. Segregatory zaś układane są w szafie z opisanymi półkami itd. Porządki, jak wiadomo, są bardzo pracochłonne. Korzyści jednak wynikające z uporządkowanych dokumentów są tak duże, że raczej nikogo nie trzeba do tego przekonywać. Podobnie rzecz się ma z danymi przechowywanymi w pamięci komputerów. Szybkie i wydajne przeglądanie danych, ich przetwarzanie i analizowanie wymaga porządku. Bez porządku jest to bardzo trudne, czasem niemożliwe.
Oto najważniejsze przesłanki przemawiające za potrzebą utworzenia hurtowni danych.
1. Oddzielenie od systemu transakcyjnego.
Hurtownia danych powinna być umieszczona na oddzielnym serwerze w sensie sprzętowym w stosunku do systemu transakcyjnego. A praktycznie musi być w odrębnej bazie danych.
Bardzo często dzieje się tak, że system analityczny (wykonujący jakiś raport) pobiera dane na wyłączność do analizy. Oczywiście nie na cały czas, w których dane są wyświetlane na ekranie. Jedynie na czas ich przetwarzania. Kiedy jednak analizuje się dużą ilość danych , np analiza rentowności sprzedaży za cały rok, ich przetwarzania na komputerze morze trwać klika minut. Trudno sobie wyobrazić, by dział sprzedaży przez ten czas czekał na możliwość wystawienia faktury sprzedaży lub przyjęcia zamówienia od Klienta.
2. Przyśpieszenie analizy
Typowa baza danych systemu transakcyjnego zawiera sporo danych potrzebnych do prawidłowego działania systemu. Są to dane dotyczące ustawień systemu np uprawnienia użytkowników lub ograniczenia sprzedaży związane z limitami kredytowymi. Dane to są potrzebne w czasie wystawiania dokumentu sprzedaży, nie mają zaś większego znaczenia w czasie ich analizy. Kiedy dokonuje się analizy kosztów działalności firmy w danym roku w rozbiciu na realizowane projekty, dane o uprawnieniach użytkowników nie mają już znaczenia. Hurtownia danych przechowuje wyłącznie te dane, które są istotne z punktu widzenia ich analizy. To w znaczący sposób przyśpiesza działanie systemu analitycznego.
Ponadto, jak to już zostało wcześniej powiedziane, hurtownia danych zbiera w jednej spójnej strukturze różne dane, nawet te, które znajdują się poza typowym systemem transakcyjnym np pliki Excell itp. Niejednokrotnie analiza danych nie ma kompletnie sensu bez tych dodatkowych danych z plików Excell. Zawierają one bowiem informacje wyjątkowo istotne. W jednej z firm, dla których tworzyłem hurtownię danych, w plikach Excell przechowywano karty pracy pracowników. Pracownicy w kartach pracy zapisywali ilość czasu poświęconego na realizację poszczególnych projektów firmy. Jeśli uświadomimy sobie, że w przypadku realizacji projektów usługowych, w których koszt pracy stanowi średnio ok. 80% kosztów, analiza rentowności poszczególnych projektów bez uwzględnienia kart pracy po prostu nie ma sensu. Hurtownia danych umożliwia zebranie wszystkich istotnych danych do jednej spójnej struktury i analizowanie ich w sposób szybki i jednoznaczny.
Na zakończenie posłużę się przykładami.
W pewnej firmie typowe comiesięczne zestawienie wymagane dla Zarządu firmy było przetwarzane na kilku komputerach przez cały weekend. Po zebraniu wygenerowanych zestawień od czasu do czasu okazywało się, że konieczne jest wprowadzenie pewnych korekt. W takich przypadkach czas oczekiwania na dane był kompletnie nieakceptowalny. Wdrożenie hurtowni danych skróciło czas generowania zestawień do kilku minut.
W innej firmie typowe codzienne zestawienie dostarczane dla Zarządu firmy było zbierane pracowicie przez cały sześcioosobowy dział finansowy. Trwało to przeważnie 3 – 4 godz. Po wdrożeniu hurtowni danych Zarząd otrzymywał najważniejsze dane w postaci komunikatu SMS. Dane były generowane automatycznie w ciągu kilku sekund.
Licencja: Creative Commons
