Μενού

Tutorial Data Mart - Τύποι, παραδείγματα & υλοποίηση του Data Mart

  • Κύριος
  • Αλλα
  • Tutorial Data Mart - Τύποι, παραδείγματα & υλοποίηση του Data Mart

data mart tutorial types

Δοκιμάστε Το Όργανο Μας Για Την Εξάλειψη Των Προβλημάτων

Αυτό το σεμινάριο εξηγεί τις έννοιες του Data Mart που περιλαμβάνουν την υλοποίηση του Data Mart, τους τύπους, τη δομή καθώς και τις διαφορές μεταξύ της Data Warehouse Vs Data Mart:

Σε αυτό Πλήρης σειρά εκπαιδευτικών αποθηκών δεδομένων , ρίξαμε μια ματιά στα διάφορα Σχήματα αποθήκης δεδομένων λεπτομερώς.

Αυτό το σεμινάριο θα σας βοηθήσει να μάθετε τις έννοιες του Data Mart λεπτομερώς μαζί με απλά παραδείγματα.

Θα δούμε τι είναι ένα mart data; Πότε χρειαζόμαστε ένα data mart; Οικονομικά αποσιωπημένα δεδομένα, Κόστος μαρκαρίσματος δεδομένων, Τύποι μαρκαρίσματος δεδομένων, Βήματα υλοποίησης ενός μαρτύρου δεδομένων, Δομή ενός μαρτύρου δεδομένων, Πότε είναι χρήσιμο ένα πιλοτικό Data Mart; Μειονεκτήματα Datamart και οι διαφορές μεταξύ Data Warehouse έναντι Data Mart.

Data Mart στο ETL

Στοχευμένο κοινό

  • Προγραμματιστές και υπεύθυνοι δοκιμής αποθήκης δεδομένων / ETL.
  • Επαγγελματίες βάσης δεδομένων με βασικές γνώσεις εννοιών βάσης δεδομένων.
  • Διαχειριστές βάσεων δεδομένων / Μεγάλοι ειδικοί δεδομένων που θέλουν να κατανοήσουν τις έννοιες της αποθήκης δεδομένων / ETL.
  • Απόφοιτοι κολεγίου / Φρεσκάροντα που αναζητούν θέσεις εργασίας στην αποθήκη δεδομένων.

Τι θα μάθετε:

Τι είναι το Data Mart;

Το data mart είναι ένα μικρό μέρος της αποθήκης δεδομένων που σχετίζεται κυρίως με έναν συγκεκριμένο επιχειρηματικό τομέα όπως οι πωλήσεις μάρκετινγκ (ή) κ.λπ.

Τα δεδομένα που αποθηκεύονται στο σύστημα DW είναι τεράστια και ως εκ τούτου τα δεδομένα mart έχουν σχεδιαστεί με ένα υποσύνολο δεδομένων που ανήκουν σε μεμονωμένα τμήματα. Έτσι, μια συγκεκριμένη ομάδα χρηστών μπορεί εύκολα να χρησιμοποιήσει αυτά τα δεδομένα για την ανάλυσή τους.

Σε αντίθεση με μια αποθήκη δεδομένων που έχει πολλούς συνδυασμούς χρηστών, κάθε data mart θα έχει ένα συγκεκριμένο σύνολο τελικών χρηστών. Ο μικρότερος αριθμός τελικών χρηστών οδηγεί σε καλύτερο χρόνο απόκρισης.

Τα δεδομένα mart είναι επίσης προσβάσιμα σε εργαλεία επιχειρηματικής ευφυΐας (BI). Τα δεδομένα mart δεν περιέχουν διπλά (ή) αχρησιμοποίητα δεδομένα. Ενημερώνονται σε τακτά χρονικά διαστήματα. Είναι αντικειμενικές και ευέλικτες βάσεις δεδομένων. Κάθε ομάδα έχει το δικαίωμα να αναπτύξει και να συντηρήσει τα δεδομένα της χωρίς να τροποποιήσει την αποθήκη δεδομένων (ή) άλλα δεδομένα της μάρκας δεδομένων.

με τι μπορώ να ανοίξω ένα αρχείο eps

Το data mart είναι πιο κατάλληλο για μικρές επιχειρήσεις καθώς κοστίζει πολύ λιγότερο από ένα σύστημα αποθήκης δεδομένων. Ο χρόνος που απαιτείται για την κατασκευή ενός data mart είναι επίσης μικρότερος από τον χρόνο που απαιτείται για την κατασκευή μιας αποθήκης δεδομένων.

Εικονική αναπαράσταση πολλαπλών μαρκών δεδομένων:

Πολλαπλά δεδομένα Μάρτιος

Πότε χρειαζόμαστε το Data Mart;

Με βάση την αναγκαιότητα, σχεδιάστε και σχεδιάστε ένα data mart για το τμήμα σας με τη συμμετοχή των ενδιαφερομένων, επειδή το λειτουργικό κόστος του data mart μπορεί να είναι υψηλό μερικές φορές.

Εξετάστε τους παρακάτω λόγους για να δημιουργήσετε ένα mart data:

σελήνιο webdriver tutorial java eclipse pdf
  • Εάν θέλετε να διαχωρίσετε τα δεδομένα με ένα σύνολο στρατηγικής ελέγχου πρόσβασης χρήστη.
  • Εάν ένα συγκεκριμένο τμήμα θέλει να δει τα αποτελέσματα του ερωτήματος πολύ πιο γρήγορα αντί να σαρώσει τεράστια δεδομένα DW.
  • Εάν ένα τμήμα επιθυμεί τη δημιουργία δεδομένων σε άλλες πλατφόρμες λογισμικού υλικού (ή).
  • Εάν ένα τμήμα θέλει τα δεδομένα να σχεδιαστούν με τρόπο κατάλληλο για τα εργαλεία του.

Οικονομικά αποδοτικό Data Mart

Ένα οικονομικό σύστημα δεδομένων μπορεί να δημιουργηθεί με τα ακόλουθα βήματα:

  • Προσδιορίστε τους λειτουργικούς διαχωρισμούς: Χωρίστε τα δεδομένα οργάνωσης σε κάθε δεδομένα δεδομένων (τμήματος) για να ικανοποιήσετε τις απαιτήσεις του, χωρίς περαιτέρω οργανωτική εξάρτηση.
  • Προσδιορίστε τις απαιτήσεις εργαλείου πρόσβασης χρήστη: Μπορεί να υπάρχουν διαφορετικά εργαλεία πρόσβασης χρηστών στην αγορά που χρειάζονται διαφορετικές δομές δεδομένων. Τα δεδομένα mart χρησιμοποιούνται για την υποστήριξη όλων αυτών των εσωτερικών δομών χωρίς να διαταράσσονται τα δεδομένα DW. Ένα data mart μπορεί να συσχετιστεί με ένα εργαλείο σύμφωνα με τις ανάγκες του χρήστη. Τα δεδομένα mart μπορούν επίσης να παρέχουν ενημερωμένα δεδομένα σε τέτοια εργαλεία καθημερινά.
  • Προσδιορίστε ζητήματα ελέγχου πρόσβασης: Εάν διαφορετικά τμήματα δεδομένων σε ένα σύστημα DW χρειάζονται απόρρητο και πρέπει να έχουν πρόσβαση από ένα σύνολο εξουσιοδοτημένων χρηστών, τότε όλα αυτά τα δεδομένα μπορούν να μετακινηθούν σε δεδομένα mart.

Κόστος δεδομένων Mart

Το κόστος του data mart μπορεί να εκτιμηθεί ως εξής:

  • Κόστος υλικού και λογισμικού: Οποιαδήποτε νέα προσθήκη δεδομένων ενδέχεται να χρειαστεί επιπλέον υλικό, λογισμικό, ισχύ επεξεργασίας, δίκτυο και χώρο αποθήκευσης δίσκου για να εργαστεί σε ερωτήματα που ζητούνται από τους τελικούς χρήστες. Αυτό καθιστά την καταγραφή δεδομένων μια ακριβή στρατηγική. Ως εκ τούτου, ο προϋπολογισμός πρέπει να προγραμματιστεί με ακρίβεια.
  • Πρόσβαση στο δίκτυο: Εάν η τοποθεσία του data mart είναι διαφορετική από εκείνη της αποθήκης δεδομένων, τότε όλα τα δεδομένα πρέπει να μεταφερθούν με τη διαδικασία φόρτωσης δεδομένων. Συνεπώς, πρέπει να παρέχεται ένα δίκτυο για τη μεταφορά τεράστιων όγκων δεδομένων που μπορεί να είναι ακριβό.
  • Περιορισμοί χρονικού παραθύρου: Ο χρόνος που απαιτείται για τη διαδικασία φόρτωσης δεδομένων εξαρτάται από διάφορους παράγοντες, όπως η πολυπλοκότητα και ο όγκος των δεδομένων, η χωρητικότητα του δικτύου, οι μηχανισμοί μεταφοράς δεδομένων κ.λπ.

Σύγκριση Data Warehouse Vs Data Mart

ΝΟ Αποθήκη δεδομένων Δεδομένα Mart
έναςΠολύπλοκο και κοστίζει περισσότερο για εφαρμογή.Απλό και φθηνότερο για εφαρμογή.
δύοΛειτουργεί σε επίπεδο οργανισμού για ολόκληρη την επιχείρηση.Το πεδίο περιορίζεται σε ένα συγκεκριμένο τμήμα.
3Το ερώτημα του DW είναι δύσκολο για τους επιχειρηματικούς χρήστες λόγω των τεράστιων εξαρτήσεων δεδομένων.Το ερώτημα του mart δεδομένων είναι εύκολο για τους επιχειρηματικούς χρήστες λόγω περιορισμένων δεδομένων.
4Ο χρόνος υλοποίησης είναι περισσότερο μπορεί να είναι σε μήνες ή χρόνια.Ο χρόνος εφαρμογής είναι μικρότερος μπορεί να είναι σε ημέρες, εβδομάδες ή μήνες.
5Συγκεντρώνει δεδομένα από διάφορα εξωτερικά συστήματα πηγής.Συγκεντρώνει δεδομένα από μερικά κεντρικά DW (ή) εσωτερικά (ή) εξωτερικά συστήματα πηγής.
6Μπορούν να ληφθούν στρατηγικές αποφάσεις.Μπορούν να ληφθούν επιχειρηματικές αποφάσεις.

Τύποι μαρκών δεδομένων

Τα μαρκαρίσματα δεδομένων ταξινομούνται σε τρεις τύπους, δηλαδή εξαρτώμενοι, ανεξάρτητοι και υβριδικοί. Αυτή η ταξινόμηση βασίζεται στον τρόπο με τον οποίο έχουν συμπληρωθεί, δηλαδή είτε από αποθήκη δεδομένων (ή) από άλλες πηγές δεδομένων.

Η εξαγωγή, ο μετασχηματισμός και η μεταφορά (ETT) είναι η διαδικασία που χρησιμοποιείται για τη συμπλήρωση δεδομένων mart δεδομένων από οποιοδήποτε σύστημα προέλευσης.

Ας ρίξουμε μια ματιά σε κάθε τύπο λεπτομερώς !!

# 1) Εξαρτημένο Data Mart

Σε ένα εξαρτημένο mart data, τα δεδομένα προέρχονται από την ίδια την υπάρχουσα αποθήκη δεδομένων. Αυτή είναι μια προσέγγιση από πάνω προς τα κάτω επειδή το τμήμα των αναδιαρθρωμένων δεδομένων στο data mart εξάγεται από την κεντρική αποθήκη δεδομένων.

Ένα data mart μπορεί να χρησιμοποιεί δεδομένα DW είτε λογικά είτε φυσικά όπως φαίνεται παρακάτω:

  • Λογική προβολή: Σε αυτό το σενάριο, τα δεδομένα του mart δεν διαχωρίζονται φυσικά από το DW. Αναφέρεται σε δεδομένα DW μέσω εικονικών πινάκων (ή) πινάκων λογικά.
  • Φυσικό υποσύνολο: Σε αυτό το σενάριο, τα δεδομένα του mart data διαχωρίζονται φυσικά από το DW.

Μόλις αναπτυχθούν ένα ή περισσότερα δεδομένα καταγραφής δεδομένων, μπορείτε να επιτρέψετε στους χρήστες να έχουν πρόσβαση μόνο στα δεδομένα καταγραφής δεδομένων (ή) για να έχουν πρόσβαση τόσο στις καταγραφές δεδομένων όσο και στις αποθήκες δεδομένων.

Το ETT είναι μια απλοποιημένη διαδικασία στην περίπτωση εξαρτημένων μαρκών δεδομένων, επειδή τα χρησιμοποιήσιμα δεδομένα υπάρχουν ήδη στο κεντρικό DW. Το ακριβές σύνολο συνοπτικών δεδομένων πρέπει να μετακινηθεί στα αντίστοιχα δεδομένα.

Παρακάτω εμφανίζεται μια εικόνα του Dependent Data Mart :

Εξαρτημένη Data Mart

# 2) Ανεξάρτητη Data Mart

Ένα ανεξάρτητο data mart είναι το καλύτερο κατάλληλο για μικρά τμήματα ενός οργανισμού. Εδώ τα δεδομένα δεν προέρχονται από την υπάρχουσα αποθήκη δεδομένων. Το Independent data mart δεν εξαρτάται ούτε από την εταιρική DW ούτε από άλλα δεδομένα.

Τα ανεξάρτητα δεδομένα mart είναι αυτόνομα συστήματα όπου τα δεδομένα εξάγονται, μετασχηματίζονται και φορτώνονται από εξωτερικές (ή) εσωτερικές πηγές δεδομένων. Αυτά είναι εύκολο να σχεδιαστούν και να συντηρηθούν έως ότου υποστηρίζει απλές επιχειρηματικές ανάγκες.

Πρέπει να εργαστείτε με κάθε φάση της διαδικασίας ETT σε περίπτωση ανεξάρτητων μαρκών δεδομένων με παρόμοιο τρόπο με τον τρόπο επεξεργασίας των δεδομένων σε κεντρικό DW. Ωστόσο, ο αριθμός των πηγών και τα δεδομένα που συγκεντρώνονται στα δεδομένα mart ενδέχεται να είναι μικρότερα.

Εικονογραφική αναπαράσταση ενός ανεξάρτητου Data Mart :

Ανεξάρτητο Datamart

# 3) Υβριδικά δεδομένα Mart

Σε ένα υβριδικό data mart, τα δεδομένα ενσωματώνονται τόσο από το DW όσο και από άλλα λειτουργικά συστήματα. Τα υβριδικά δεδομένα μαρκών είναι ευέλικτα με μεγάλες δομές αποθήκευσης. Μπορεί επίσης να αναφέρεται σε άλλα δεδομένα μαρκών δεδομένων.

Εικονική αναπαράσταση ενός υβριδικού Data Mart:

Υβριδικά δεδομένα mart

Βήματα εφαρμογής ενός Data Mart

Η εφαρμογή του Data Mart που θεωρείται λίγο περίπλοκη εξηγείται στα παρακάτω βήματα:

  • Σχέδιο: Από τη στιγμή που οι επιχειρηματικοί χρήστες ζητούν μαρτυρία δεδομένων, η φάση σχεδιασμού περιλαμβάνει τη συλλογή απαιτήσεων, τη δημιουργία κατάλληλων δεδομένων από τις αντίστοιχες πηγές δεδομένων, τη δημιουργία των λογικών και φυσικών δομών δεδομένων και διαγραμμάτων ER.
  • Κατασκευή: Η ομάδα θα σχεδιάσει όλους τους πίνακες, προβολές, ευρετήρια, κ.λπ., στο σύστημα δεδομένων mart.
  • Πληθυσμός: Τα δεδομένα θα εξαχθούν, θα μετασχηματιστούν και θα φορτωθούν σε δεδομένα mart μαζί με μεταδεδομένα.
  • Πρόσβαση: Τα δεδομένα Data Mart είναι διαθέσιμα για πρόσβαση από τους τελικούς χρήστες. Μπορούν να ζητήσουν τα δεδομένα για την ανάλυση και τις αναφορές τους.
  • Διαχείριση: Αυτό περιλαμβάνει διάφορες διαχειριστικές εργασίες, όπως ελέγχους πρόσβασης χρηστών, βελτιστοποίηση απόδοσης δεδομένων mart, διατήρηση υπαρχόντων δεδομένων και δημιουργία σεναρίων ανάκτησης δεδομένων σε περίπτωση αποτυχίας του συστήματος.

Δομή ενός Data Mart

Η δομή κάθε δεδομένων mart δημιουργείται σύμφωνα με την απαίτηση. Οι δομές Data Mart ονομάζονται Star jins. Αυτή η δομή θα διαφέρει από το ένα μαρκάρισμα δεδομένων στο άλλο.

Οι συνδέσεις Star είναι πολυδιάστατες δομές που σχηματίζονται με πίνακες πραγματικών και διαστάσεων για την υποστήριξη μεγάλων ποσοτήτων δεδομένων. Το Star join θα έχει έναν πίνακα γεγονότων στο κέντρο που περιβάλλεται από τους πίνακες διαστάσεων.

Τα δεδομένα του αντίστοιχου πίνακα στοιχείων σχετίζονται με δεδομένα πινάκων διαστάσεων με μια αναφορά ξένου κλειδιού. Ένας πίνακας πληροφοριών μπορεί να περιβάλλεται από πίνακες διαστάσεων 20-30.

Παρόμοιο με το σύστημα DW, και στις συνδέσεις αστεριών, οι πίνακες γεγονότων περιέχουν μόνο αριθμητικά δεδομένα και τα αντίστοιχα δεδομένα κειμένου μπορούν να περιγραφούν σε πίνακες διαστάσεων. Αυτή η δομή μοιάζει με ένα σχήμα αστεριού στο DW.

Εικονική αναπαράσταση μιας δομής σύνδεσης αστεριών.

Δομή συμμετοχής με αστέρι

ερωτήσεις και απαντήσεις συνέντευξης τεχνικής υποστήριξης pdf

Ωστόσο, τα κοκκώδη δεδομένα από το κεντρικό DW είναι η βάση για οποιαδήποτε δεδομένα του mart data. Πολλοί υπολογισμοί θα πραγματοποιηθούν στα κανονικοποιημένα δεδομένα DW για να τα μετατρέψουν σε πολυδιάστατα δεδομένα μαρκών δεδομένων που αποθηκεύονται με τη μορφή κύβων.

Αυτό λειτουργεί παρόμοια ως προς τον τρόπο με τον οποίο τα δεδομένα από τα παλαιά συστήματα προέλευσης μετατρέπονται σε κανονικοποιημένα δεδομένα DW.

Πότε είναι χρήσιμο ένα πιλοτικό Data Mart;

Ένας πιλότος μπορεί να αναπτυχθεί σε ένα μικρό περιβάλλον με περιορισμένο αριθμό χρηστών για να διασφαλίσει εάν η ανάπτυξη είναι επιτυχής πριν από την πλήρη ανάπτυξη. Ωστόσο, αυτό δεν είναι απαραίτητο όλη την ώρα. Οι πιλοτικές αναπτύξεις δεν θα είναι χρήσιμες όταν επιτευχθεί ο σκοπός.

Πρέπει να λάβετε υπόψη τα παρακάτω σενάρια που προτείνουν την πιλοτική ανάπτυξη:

  • Εάν οι τελικοί χρήστες είναι νέοι στο σύστημα αποθήκης δεδομένων.
  • Εάν οι τελικοί χρήστες θέλουν να αισθάνονται άνετα να ανακτήσουν δεδομένα / αναφορές μόνοι τους πριν ξεκινήσουν την παραγωγή.
  • Εάν οι τελικοί χρήστες θέλουν πρακτική χρήση με τα πιο πρόσφατα εργαλεία (ή) τεχνολογίες.
  • Εάν η διοίκηση θέλει να δει τα οφέλη ως απόδειξη της ιδέας πριν το κάνει ως μεγάλη κυκλοφορία.
  • Εάν η ομάδα θέλει να διασφαλίσει εάν όλα τα στοιχεία ETL (ή) τα στοιχεία υποδομής λειτουργούν πολύ πριν από την κυκλοφορία.

Μειονεκτήματα της Data Mart

Αν και τα δεδομένα mart έχουν κάποια οφέλη έναντι του DW, έχουν επίσης κάποια μειονεκτήματα όπως εξηγείται παρακάτω:

  • Τα ανεπιθύμητα δεδομένα που έχουν δημιουργηθεί είναι δύσκολο να διατηρηθούν.
  • Οι μάρκες δεδομένων προορίζονται για μικρές επιχειρήσεις. Η αύξηση του μεγέθους των δεδομένων mart θα μειώσει την απόδοσή του.
  • Εάν δημιουργείτε μεγαλύτερο αριθμό μαρκών δεδομένων, τότε η διεύθυνση θα πρέπει να φροντίζει σωστά την έκδοση, την ασφάλεια και την απόδοσή τους.
  • Τα μαρκαρίσματα δεδομένων ενδέχεται να περιέχουν ιστορικά (ή) συνοπτικά (ή) λεπτομερή δεδομένα. Ωστόσο, ενδέχεται να μην πραγματοποιούνται ταυτόχρονα ενημερώσεις για δεδομένα DW και δεδομένα mart δεδομένων λόγω ζητημάτων ασυνέπειας δεδομένων.

συμπέρασμα

Πολλοί οργανισμοί στρέφονται προς τα δεδομένα από μια προοπτική εξοικονόμησης κόστους. Ως εκ τούτου, αυτό το σεμινάριο επικεντρώθηκε στις τεχνικές πτυχές των μαρκών δεδομένων στο σύστημα αποθήκης δεδομένων.

Τα μεταδεδομένα στο ETL εξηγούνται λεπτομερώς στο επερχόμενο σεμινάριό μας.

=> Επισκεφθείτε εδώ για να δείτε τη σειρά προπόνησης αποθήκευσης δεδομένων για όλους.

Συνιστώμενη ανάγνωση

^