O hurtowniach danych ludzkim głosem – Budujemy hurtownię w środowisku Oracle

by:
Czas trwania 5 dni
Średnia ocena kursu 4.86/5 Ocena pochodzi z ankiet

Najbliższe terminy tego szkolenia

Cena szkolenia 3500 PLN (netto)

Standardy JSystems

  1. Wszyscy nasi trenerzy muszą być praktykami i osiągać średnią z ankiet minimum 4.75 na 5. Nie ma wśród nas trenerów-teoretyków. Każdy trener JSystems ma bogate doświadczenie komercyjne w zakresie tematów z których prowadzi szkolenia.
  2. Wszystkie szkolenia mają format warszatowy. Każde zagadnienie teoretyczne jest poparte rzędem warsztatów w ściśle określonym formacie.
  3. Terminy gwarantowane na 100%. Jeśli jakiś termin jest oznaczony jako gwarantowany, oznacza to że odbędzie się nawet jeśli część grupy wycofa się z udziału. Ryzyko ponosimy my jako organizator.
Zapisz się
Program szkolenia


Dzień 1


Teoria: Szerokie omówienie hurtowni danych, celu ich budowania, sposobów ich projektowania i tworzenia, charakterystyki i budowy. Podstawa teoretyczna niezbędna do zrozumienia hurtowni danych, pozwalająca na świadome wykorzystanie technik i narzędzi wykorzystywanych w dalszej części kursu.

Praktyka: Uczestnicy otrzymują surowe dane które docelowo mają znaleźć się w naszej hurtowni danych. Omawiamy ich strukturę, planujemy sposób ich wykorzystania. Planujemy cele wykorzystania naszej hurtowni. Następnie rozrysowujemy model logiczny i planujemy konstrukcję tworzonej hurtowni danych. Wyłania się nam pierwszy zarys docelowego systemu.


  1. Cele i harmonogram kursu

  2. Czym jest hurtownia danych i do czego służy?

    1. Hurtownia danych vs. baza operacyjna

    2. Terminologia związana z hurtowniami danych

    3. Zastosowania hurtowni danych

  3. Struktury w hurtowniach danych

    1. Model wielowymiarowy

    2. Schemat typu Star

    3. Schemat typu Snowflake

    4. Charakterystyka tabeli faktu i tabel wymiarów

    5. Ziarnistość w tabelach faktów

    6. Struktura tabeli faktów i tabel wymiarów

    7. Hierarchia wymiarów

    8. Trzecia postać normalna

    9. Stosowanie mostów

  4. Modelowanie biznesowe,logiczne i fizyczne

    1. Definiowanie modelu biznesowego

    2. Definiowanie modelu logicznego

    3. Definiowanie modelu fizycznego

    4. Typowe komponenty hurtowni danych



Dzień 2


Teoria: Dane które będziemy przetwarzać w hurtowni skądś się biorą. Mogą znajdować się w plikach płaskich czy innych bazach danych. Ponadto dane te mogą zawierać błędy, być niepełne, mogą pojawiać się duplikaty. Jeśli będziemy długo odczytywać dane, mogą one ulec zmianie w systemie źródłowym w efekcie czego dane w hurtowni mogą być niespójne. Jak sobie z tym radzić? Jak ładować te dane z różnych miejsc? Jak zadbać o ich spójność? Odpowiedzi na te pytania będą przedmiotem rozmów tego dnia ( i pewnie kilka suchych żartów też ;) ).

Praktyka: Uczestnicy otrzymują dostęp do zdalnej operacyjnej bazy danych, w której dane podlegają ciągłym zmianom. Dostają też część danych w plikach CSV. Całość musimy załadować do hurtowni w taki sposób by dane te były spójne.


  1. Przygotowanie do procesów ETL

    1. Definicje ekstrakcji, transformacji i ładowania

    2. Czemu służą te procesy?

    3. Strategia ładowania i odświeżania danych

    4. Wykorzystanie pakietu dbms_scheduler do automatyzacji procesów ETL

    5. Wykorzystanie SQL i PL/SQL w procesach ETL

  2. Procesy ETL – Ekstrakcja

    1. Czym jest ekstrakcja?

    2. Łączenie z innymi bazami danych z użyciem linków bazodanowych

    3. External Tables – Select po pliku CSV

    4. Ładowanie danych z użyciem SQL Loadera

    5. Narzędzia Exp i Imp

    6. Data Pump

    7. Problemy wynikające z utraty spójności danych podczas ekstrakcji – czyli co się stanie gdy ktoś zmienia dane które czytamy i jak sobie z tym radzić?

    8. Poziomy izolacji

    9. Tryb Serializable

    10. Tryb Flashback



Dzień 3


Teoria: Dane które poprzedniego dnia załadowaliśmy do hurtowni zawierają duplikaty i błędy, a ponadto nie są w takiej postaci w jakiej byśmy ich oczekiwali na potrzeby analiz biznesowych. W jaki sposób je przetworzyć? Jak pozbyć się duplikatów? Jak znaleźć i wyeliminować błędne dane? Czy musimy ładować wszystko? Może dodajmy tylko nowe dane i podmieńmy te które uległy zmianie w systemach źródłowych? No właśnie... jeśli jakieś dane zostały zmienione w systemie źródłowym np. zmieniono adres klienta to w hurtowni chcemy mieć stary czy nowy adres? A może oba na potrzeby analiz opartych przykładowo o rejonizację? Tego dnia będziemy musieli dobrze przemyśleć te kwestie. Tutaj nie ma miejsca na pomyłki, bo później trudno je będzie naprawić. Omówione zostaną techniki wykorzystywane przy transformacji danych z użyciem SQL i PL/SQL. Poświęcimy trochę czasu na burzę mózgów, wymienimy się doświadczeniami i pomysłami, wreszcie opracujemy wspólnie plan przetwarzania danych źródłowych i ładowania ich do hurtowni. A gdy już emocje ochłoną, wypijemy kawę i zjemy ciastko, zabierzemy się za to na co wszyscy czekają czyli....

Praktyka: czyli zrealizujemy plan w praktyce! Zaczniemy od omówienia i przećwiczenia nowych zagadnień z zakresu SQL i PL/SQL które wykorzystywane są na potrzeby transformacji – to znaczy dla każdego takiego tematu zrobimy po małym ćwiczeniu. Gdy wszyscy uczestnicy będą już przygotowani od strony technicznej, skupimy się na stronie merytorycznej. Załadowane poprzedniego dnia dane przetworzymy do postaci takiej jaka jest potrzebna w hurtowni danych. Zadbamy też o to, aby owo przetwarzanie odbywało się możliwie szybko.


  1. Procesy ETL – Transformacja

    1. Czym jest transformacja?

    2. Jakość danych

    3. Anomalie danych

    4. Duplikaty i ich eliminacja

    5. Techniki i narzędzia transformacji

    6. Obszar przejściowy

    7. Struktury fizyczne w obszarze przejściowym

    8. Zastosowanie tabel tymczasowych

    9. Stosowanie agregacji

    10. Klauzula Rollup

    11. Klauzula Cube

    12. Operator Grouping sets

    13. Operator Grouping

    14. Operator Case

    15. Stosowanie klauzuli Pivot

    16. Stosowanie podzapytań z użyciem Exists i Not Exists

    17. Wykorzystanie merge

    18. Wykorzystanie funkcji analitycznych

    19. Tworzenie funkcji strumieniowych

    20. Operacje na tablicach

    21. Operacje masowe

    22. Wykorzystanie własności pakietów PL/SQL

    23. Zmienność danych w czasie i metody radzenia sobie z problemami wynikającymi ze zmienności.



Dzień 4


Teoria: Już jesteśmy niedaleko celu. Skoro przetworzyliśmy dane do postaci docelowej, to trzeba je będzie teraz załadować do tabel w hurtowni. Omówimy więc jak to się robi, oraz jak robić to wydajnie. Porozmawiamy o zastosowaniu widoków zmaterializowanych. Przebrniemy też przez podstawowe techniki optymalizacji w hurtowniach danych. Jeśli już mamy na hurtowni robić jakąś analitykę, to wyniki chcielibyśmy otrzymywać możliwie szybko. Prawda? Uczestnicy dowiedzą się od czego zależy czas wykonywania zapytania i jak go skrócić. Porozmawiamy na temat technik które wykorzystywane są w zasadzie tylko w hurtowniach danych. Istotnym problemem może być dla uczestnika brak wymaganej do wykorzystania jakieś funkcjonalności licencji (np. Enterprise), więc zajmiemy się również metodami alternatywnymi – tj. jak osiągnąć zbliżony efekt bez podnoszenia licencji i pakowania się w koszty.

Praktyka: Skoro już znamy techniki ładowania i podstawy optymalizacji to czas to wykorzystać w praktyce! Zajmiemy się ostatnim etapem procesów ETL - ładowaniem. Nasze dane już przetworzone poprzedniego dnia wylądują wreszcie w tabelach docelowych, po czym przystąpimy do optymalizacji ich przetwarzania. Zrobimy testy wydajnościowe przed i po optymalizacji. Wyciśniemy ostatnie poty z podstawowych technik optymalizacji aby uzyskać satysfakcjonujący efekt.

  1. Procesy ETL – Ładowanie

    1. Czym jest ładowanie danych?

    2. Metody ładowania danych

    3. Modele odświeżania danych

    4. Określanie które dane uległy zmianie na potrzeby ładowania i odświeżania

    5. Zastosowanie widoków zmaterializowanych

    6. Ograniczenia widoków zmaterializowanych

    7. Rodzaje odświeżania widoków zmaterializowanych

    8. Stosowanie wyzwalaczy bazodanowych w ładowaniu i odświeżaniu

  2. Metody optymalizacji w hurtowniach danych

    1. Zasada działania optymalizatora kosztowego

    2. Rodzaje indeksów stosowanych w hurtowniach danych

    3. Indeksy B-Tree

    4. Indeksy bitmapowe

    5. Indeksy połączeniowe

    6. Indeksy a nulle

    7. Indeksy oparte o funkcje

    8. Opóźnienia ładowania danych wynikające z istnienia indeksów na tabelach. Sposoby radzenia sobie z tym problemem.

    9. Metody dostępu do danych

    10. Sposoby przetwarzania tabel i indeksów

    11. Algorytmy łączenia zbiorów

    12. Statystyki

    13. Histogramy



Dzień 5


Teoria: Dalsza część technik optymalizacyjnych. Duża część z nich będzie wymagała licencji Enterprise, więc na wszelki wypadek omówimy też techniki alternatywne, które przy nieco większym wysiłku pozwolą uzyskać poprawę wydajności na wersji Standard bez wykupywania droższej licencji Oracle Enterprise. Gdy już Nasza hurtownia działa a raporty wykonują się szybko, warto zadbać o jakiś interfejs. Oczywiście można zastosować komercyjne i zazwyczaj baaaardzo drogie oprogramowanie, ale można też zrobić całkiem ładną aplikację z użyciem bezpłatnego Oracle Apex czyli środowiska w którym jesteśmy w stanie stworzyć całkiem ładną aplikację WEB-ową znając wyłącznie SQL! Zaprezentowane zostanie wdrożenie i posługiwanie się Oracle Apex po to by ….

Praktyka: ….każdy z uczestników wdrożył Apex'a w swojej hurtowni którą tworzyliśmy ostatnie kilka dni i „wyklikał” aplikację analityczną posiadającą eleganckie tabelki z raportami, wykresy i wszystko inne co cieszy oko. Taka wisienka na torcie ;)


    1. Stosowanie podpowiedzi optymalizatora kosztowego

    2. Partycjonowanie tabel

    3. Partycje zakresowe

    4. Partycje wg wartości

    5. Partycje hashowe

    6. Partycje a optymalizator kosztowy

    7. Star Transformation

    8. Jakie operacje mogą być zrównoleglone?

    9. Stosowanie parallelizmu

    10. Wykorzystanie Query Rewrite

  1. Prosty interfejs WEB-owy do hurtowni – mini system analityczny oparty o Oracle Apex

    1. Wdrożenie Oracle Apex na serwerze

    2. Konfiguracja środowiska pracy

    3. Tworzenie aplikacji

    4. Raporty

    5. Wykresy

    6. Nawigacja w aplikacji





Opis szkolenia

Szkolenie odbywa się na żywo z udziałem trenera. Nie jest to forma kursu video!
To nie jest szkolenie dla leniwych. Tu dużo się dzieje. Trener wyjaśnia niezbędną teorię, ale głównym celem jest tego szkolenia stworzenie i wdrożenie działającej hurtowni danych podczas tego szkolenia. To oznacza, że każdego dnia każdy uczestnik pisze dziesiątki linii kodu. To szkolenie ma na celu pomóc uczestnikowi zrozumieć hurtownie danych, ale przede wszystkim nauczyć wykorzystywania nowo nabytej wiedzy w praktyce. Przez 5 dni zgłębiamy kolejne meandry zagadnień związanych z hurtowniami danych, każdego dnia rozbudowując (każdy swoją) hurtownię tworzoną od zera. Zaczniemy od omówienia podstaw teoretycznych, przejdziemy przez procesy ekstrakcji, transformacji i ładowania danych aby na końcu nasze hurtownie zoptymalizować i dorobić do nich wygodny interfejs na potrzeby raportów analitycznych! W trakcie kursu uczestnicy poznają również techniki z zakresu SQL i PL/SQL wykorzystywane często podczas procesów ETL. Każdy uczestnik powinien więc znać przynajmniej podstawy zarówno SQL, jak i PL/SQL. Jeśli ktoś chciałby swoją wiedzę w tym zakresie odświeżyć może zapoznać się z materiałami z tego zakresu dostępnymi tutaj:

http://jsystems.pl/storage/sqlplsql.pdf

Gdybyś chciał przed tym szkoleniem przećwiczyć podstawy SQL i PL/SQL w praktyce lub poznać je od podstaw zapraszamy Cię na szkolenie „Podstawy SQL i PL/SQL”  za 50% ceny przy zapisywaniu się na oba szkolenia naraz.
Terminy gwarantowane

Gdy na jakiś termin zgłosi się minimalna liczba osób, termin oznaczamy jako gwarantowany.

Jeśli jakiś termin oznaczony jest jako gwarantowany to oznacza to, że na 100% się odbędzie we wskazanym czasie i miejscu.

Nawet gdyby część takiej grupy zrezygnowała lub przeniosła się na inny termin, raz ustalony termin gwarantowany takim pozostaje. Ewentualne ryzyko ponosimy my jako organizator.

Przejdź do terminów tego szkolenia

Szkolenia online Szkolenia online odbywają się na żywo z udziałem trenera. Uczestniczy łączą się na szkolenie za pomocą platfomy ZOOM. Informacje o wymaganym niezbędnym oprogramowaniu oraz informacje organizacyjne uczestnicy otrzymują na 7 dni przed datą rozpoczęcia szkolenia.
Inne szkolenia tej kategorii Sprawdź pozostałe    szkolenia Usuniete!

Sprawdź, co mówią o nas ci, którzy nam zaufali

  • 4.78/5

    O hurtowniach danych ludzkim głosem – Budujemy hurtownię w środowisku Oracle

    01-02-2018 Szkolenie ciekawe, prowadzący ma dużą wiedzę, polecam. Joanna Mitłaszewska, CGI Information Systems and Management Consultants (POLSKA) Sp. z o.o.
  • 4.92/5

    O hurtowniach danych ludzkim głosem – Budujemy hurtownię w środowisku Oracle

    01-02-2018 Bardzo fajne szkolenie. Same konkrety w pigułce. Polecam. Dariusz Poziarski, Accenture Services Sp. z.o.o

Trenerzy kategorii Usuniete

Maciej Krajewski
Paweł Adamski
Marcin Dzierżak
Piotr Kośka
Mateusz Henicz
Mateusz Zimoch
Dariusz Mydlarz
Kajetan Duszyński
Kacper Sieradziński
Mateusz Kulesza
Paweł Stasiński
Michał Bieniek
Arkadiusz Karasiński
Michał Gellert
Wojciech Grzybek
Tomasz Bauer
Julia Kraśnicka (孔振鹭)
Sebastian Stasiak
Mateusz Lewandowski
Łukasz Tomczyk
Monika Lewandowska
Kamil Będkowski
Przemysław Starosta
Mateusz Bartosz
Krystian Brożek
Sławomir Juruś
Michał Schielmann
Marcin Kujawski
Rafał Nowakowski
Aleksander Lisiecki
Kamil Czornyj
Mateusz Gul
Jakub Muszyński
Sebastian Koziatek
Marcin Chrost
Artur Zięba-Kozarzewski
Artur Markiewicz
Bartosz Świekatowski
Łukasz Przeździęk
Dariusz Górski
Marcin Nowak
Jacek Januszewski
Elżbieta Jakubowska
Michał Podbielski
Tomasz Woźniak
Patryk Sikora
Piotr Mućko
Sławek Kutka
Paweł Biesiada
Tomasz Wojnarowski
Krzysztof Własiuk
Marcin Karpezo
Agata Malec-Sromek
Zapisz się

Masz jakieś pytania? Skontaktuj się z nami!

Odpowiadamy na telefony i maile w godzinach 9:00-17:00 od poniedziałku do piątku.

Telefon 22 299 53 69
Napisz do nas

Potrzebujesz więcej informacji?

Wiadomość wysłana

Przyjęliśmy Twoją wiadomość i skontaktujemy się z Tobą w tej sprawie

Klikając OK wrócisz do formularza

Nasza strona korzysta z plików cookie. Możesz zmienić zasady ich używania lub zablokować pliki cookie w ustawieniach przeglądarki. Więcej informacji można znaleźć w Polityce prywatności. Kontynuując korzystanie ze strony, wyrażasz zgodę na używanie plików cookie.