Solutii de DataWarehouse pentru volum mare de date

A+ A A-

Solutii de DataWarehouse pentru volum mare de date

Atunci când se vorbește despre sisteme DWh foarte mari, există câteva aspecte importante care trebuie avute în vedere, pe lângă cele standard legate de arhitectură, metodologii de implementare, model de date.
Metodologia de implementare
Odată cu definirea și formalizarea cerințelor de business, cu analiza sistemelor sursă și cu definirea modelelor logice și fizice de date, se pot defini procesele ETL. Recomandăm în acest sens o abordare etapizată. Fiecare proces va adresa o tabelă sau un cluster de tabele, în funcție de cerințele de business.
Metodologia de implementare furnizează un set de bune practici în ceea ce privește implementarea de proiecte de DWh. Pe lângă aceste bune practici, mai furnizează livrabile specifice fiecărei faze din implementarea unui astfel de proiect (analiză, design, dezvoltare, testare, trecere în producție).
Model de date
În decursul anilor și pe baza cunoștințelor acumulate în decursul implementării proiectelor de DWh, a apărut necesitatea de asigura implementări cu un anumit grad de repetitivitate, bazate pe standarde de industrie si pesonalizate pentru tipuri de domenii de activitate (verticale de industrie). Astfel, au apărut modele de date pentru zona bancară, pentru comunicații, sectorul public șamd, care asigură un grad sporit de implementare cu succes a unei soluții DWh. În cazul implementării unor sisteme DWh de dimensiuni mari, se recomandă utilizarea unui astfel de model de date bazat pe industrie.
Arhitectură
Urmatoarea diagramă ilustrează arhitectura specifică unei soluții de tip Data Warehouse/ Business Intelligence.


 
O soluție DWh de dimensiuni mari are cerințe specifice de stocare a datelor. Pentru disponibilitate full-time și performanță corespunzătoare, trebuie avute  în vedere aspecte cum ar fi soluții de stocare, putere de procesare, canale I/O, procesare multi paralelă.
Platforma hardware este un factor important în definirea arhitecturii soluției. Serverele implicate trebuie să asigure accesarea rapidă a informației procesate și stocate în DWh. Uzual, sistemele UNIX sau Windows pot avea un număr limitat de canale I/O, pentru acestea fiind nevoie de array-uri de stocare pentru a furniza volumul necesar. Dacă se optează pentru un model centralizad al DWh, se poate opta pentru o astfel de soluție. Dar dacă se optează pentru un model cu un warehouse și datamarturi multiple, se poate opta pentru un sistem de stocare centralizat care să aibă un singur punct de management.
Disponibilitatea datelor este o problemă centrală pentru un DWh. În multe din organizații, spre exemplu, departamentele de relații cu clienții accesează full-time DWh-ul, astfel ca disponibilitatea soluției devine critică. Volumul de date pe care-l gestionează DWh-ul poate ajunge rapid la dimensiuni de terrabiți. Pentru a asigura această capabilitate, de cele  mai multe ori se foloseste un număr ridicat de hard-disk-uri.  Pentru a asigura disponibilitatea ridicată este nevoie de sisteme care să asigure redundanță, viteză ridicată de access.
Echipa BION are competențele necesare pentru a recomanda soluții optime care să corespundă cerințelor unor astfel de sisteme DWh.

www.bion-team.ro - Template Design - ITNet