Oracle Data Warehouse: Αρχιτεκτονική Data Warehouse & περισσότερα

oracle data warehouse

Οδηγός αποθήκης δεδομένων της Oracle με οφέλη, αρχιτεκτονική, κινδύνους και σύγκριση με το σύστημα OLTP (Online Transaction Processing):

Στο προηγούμενο σεμινάριο του Πλήρης οδηγός για την Oracle , έχουμε μάθει για τα προϊόντα και τις υπηρεσίες της Oracle σε διάφορους τομείς όπως εφαρμογές, βάσεις δεδομένων, λειτουργικό σύστημα κ.λπ. Αυτό το άρθρο θα παρέχει σε βάθος γνώση της αποθήκευσης δεδομένων της Oracle. Αλλά πριν από αυτό ας καταλάβουμε πρώτα την έννοια της Επιχειρηματικής Ευφυΐας (BI).

Επιχειρηματική ευφυΐα

Το Business Intelligence είναι ένας τομέας λογισμικού που ενσωματώνει συγκεκριμένες μεθόδους, τεχνολογίες, εργαλεία και εφαρμογές που βοηθούν στη δόμηση, τη βελτίωση και τη μετατροπή μαζικών δεδομένων σε μια έξυπνη και κατανοητή μορφή που μπορεί να χρησιμοποιηθεί από τους πελάτες για τη δημιουργία προσαρμοσμένων αναφορών και επίσης βοηθά στην ανάληψη επιχειρηματικών δραστηριοτήτων αποφάσεις.

Διατίθενται διάφορες επιλογές για την εξυπηρέτηση αυτής της ανάγκης, όπως Data Warehousing, OLAP (Online Transaction Processing), Data Mining, Data Integration, Decision Engineering, Spreadsheets κ.λπ.

Το Enterprise Data Warehousing (EDW) είναι ένα από τα βασικά συστατικά του BI που εξυπηρετεί τις αναλυτικές ανάγκες και τις ανάγκες αναφοράς των επιχειρήσεων. Η Data Warehouse είναι ένα Relational Database Management System (RDBMS), το οποίο διατηρεί συγκεντρωτικά δεδομένα που λαμβάνονται από πολλές πηγές για μελλοντική χρήση.

dot net συνεντεύξεις ερωτήσεις και απαντήσεις για έμπειρους

Τι θα μάθετε:

• Επισκόπηση της Oracle Data Warehouse
  • Σκοπός κατοχής αποθήκης δεδομένων
  • Οφέλη από την αποθήκευση δεδομένων
  • Κίνδυνοι που εμπλέκονται στη χρήση της αποθήκης δεδομένων
• Σύγκριση αποθήκης δεδομένων OLTP Vs
• Data Warehouse και Data Mart με αντίθεση
• Επισκόπηση της διαδικασίας ETL
• Αρχιτεκτονική αποθήκης δεδομένων
  • Αποθήκευση δεδομένων Cloud
• συμπέρασμα
  • Συνιστώμενη ανάγνωση

Επισκόπηση της Oracle Data Warehouse

Γιατί ονομάζεται «Data Warehouse»;

Ας προσπαθήσουμε να υπενθυμίσουμε την έννοια της λέξης «αποθήκη» προκειμένου να συσχετιστούμε με τον όρο «Αποθήκη δεδομένων».

Η φυσική αποθήκη είναι ένα αποθετήριο που χρησιμοποιείται για την αποθήκευση αγαθών που λαμβάνονται από διάφορες πηγές, οι οποίες μπορούν αργότερα να παραδοθούν στον πελάτη με βάση τις ανάγκες τους.

(εικόνα πηγή )

Ομοίως, η αποθήκη δεδομένων είναι ένα αποθετήριο δεδομένων που λαμβάνονται από διάφορα συστήματα προέλευσης. Αυτές οι πηγές θα μπορούσαν να είναι οποιαδήποτε συστήματα αποθήκευσης όπως μαρκαρίσματα δεδομένων, επίπεδα αρχεία ή συσκευές αποθήκευσης πολυμέσων που περιέχουν δεδομένα για διαφορετικούς τομείς επιχείρησης, όπως HR, Πωλήσεις, Λειτουργίες, Διαχείριση πόρων και Μάρκετινγκ κ.λπ.

Σκοπός κατοχής αποθήκης δεδομένων

Μια επιχείρηση μπορεί να έχει ακούσει για την έννοια της αποθήκης δεδομένων, αλλά μπορεί να είναι αβέβαιη εάν πρέπει να συμπεριλάβει αυτήν στην επιχείρησή της. Ακόμα, θα υπήρχε πάντα η ανάγκη απόρριψης δεδομένων από διαφορετικές πηγές σε κοινό έδαφος και αρχειοθέτησή τους, έτσι ώστε ο χώρος αποθήκευσης να μπορεί να απελευθερωθεί από συστήματα συναλλαγών. Εδώ είναι όπου το σύστημα αποθήκευσης δεδομένων γίνεται επιχειρηματική απαίτηση.

Για να αναπτυχθεί στην αγορά, η διοίκηση πρέπει να είναι καλή στη λήψη αποφάσεων που μπορεί να γίνει μόνο αφού μελετήσει διεξοδικά τις προηγούμενες τάσεις ενός οργανισμού. Ως εκ τούτου, αυτά τα αρχειοθετημένα δεδομένα διατηρούνται στην αποθήκη δεδομένων σε καλά οργανωμένη και υπολογισμένη μορφή, έτσι ώστε να μπορεί να παραπεμφθεί για επιχειρηματική ανάλυση στο μέλλον.

Οφέλη από την αποθήκευση δεδομένων

Η αποθήκη δεδομένων εάν εφαρμοστεί με επιτυχία θα μπορούσε να είναι επωφελής με τους ακόλουθους τρόπους:

# 1) Έχει απλοποιήσει τις εργασίες των αναλυτών παρέχοντας μια βελτιωμένη έκδοση λύσεων επιχειρηματικής ευφυΐας. Εξάγει δεδομένα από πολλαπλά συστήματα προέλευσης, μετασχηματίζει και αποθηκεύει τα οποία μπορούν να υποβληθούν σε απευθείας ερώτηση από την επιχείρηση για ανάλυση.

Προσφέρει επίσης διάφορα εργαλεία που υποστηρίζουν τα εξής:

• Δημιουργία εξατομικευμένων επιχειρηματικών αναφορών.
• Διαδραστικοί πίνακες ελέγχου που εμφανίζουν τις απαιτούμενες πληροφορίες.
• Δυνατότητα διερεύνησης μέσω ταμπλό μόνο για να λάβετε τις λεπτομέρειες.
• Ανάλυση δεδομένων & Ανάλυση τάσεων.

#δύο) Ακόμη και μετά τη λήψη δεδομένων από διάφορα συστήματα προέλευσης, τα δεδομένα σε μια αποθήκη δεδομένων παραμένουν συνεπή ως αποτέλεσμα μετασχηματισμών που σημειώθηκαν κατά τη διάρκεια της διαδικασίας ETL. Τα συνεπή δεδομένα παρέχουν εμπιστοσύνη στον υπεύθυνο λήψης αποφάσεων όσον αφορά την ακρίβεια.

# 3) Οι αποθήκες δεδομένων ορίζονται επίσης ως εξοικονόμηση χρόνου ως κρίσιμα δεδομένα που απαιτούνται από τα ενδιαφερόμενα μέρη για τη λήψη επιχειρηματικών αποφάσεων, είναι διαθέσιμα σε μία τοποθεσία και μπορούν να ανακτηθούν εύκολα.

# 4) Αυτά έχουν σχεδιαστεί για να διατηρούν ιστορικά δεδομένα και ως εκ τούτου μπορούν να ερωτηθούν για τη μελέτη τάσεων σε διαφορετικές χρονικές περιόδους. Βοηθά επίσης τους ενδιαφερόμενους να αντλήσουν τη μελλοντική πορεία ανάπτυξης.

Κίνδυνοι που εμπλέκονται στη χρήση της αποθήκης δεδομένων

Μαζί με τα οφέλη, κάθε νέα εφαρμογή περιλαμβάνει και ένα σύνολο κινδύνων που πρέπει να ληφθούν υπόψη.

Παρατίθενται παρακάτω μερικοί από τους κινδύνους που ενέχονται:

1. Η μη συμβατότητα των συστημάτων προέλευσης με το σύστημα αποθήκευσης δεδομένων μπορεί να καταλήξει να κάνει πολλή χειροκίνητη εργασία.
2. Η εσφαλμένη εκτίμηση του χρόνου της διαδικασίας ETL μπορεί να οδηγήσει σε διακοπή της εργασίας.
3. Αυτά είναι πολύ υψηλής ποιότητας συστήματα αποθήκευσης και συνεπώς χρειάζονται υψηλή συντήρηση. Οποιαδήποτε αλλαγή ροής εργασίας ή επιχείρησης μπορεί να κοστίσει πολύ υψηλό.
4. Η δημιουργία μιας αποθήκης δεδομένων είναι χρονοβόρα διαδικασία καθώς χρειάζεται πολύ χρόνο για να κατανοήσουμε τις επιχειρηματικές ροές και να προσδιορίσουμε τις δυνατότητες ενοποίησης για να σχεδιάσουμε μια αποθήκη.
5. Η ασφάλεια δεδομένων είναι πάντα ένας κίνδυνος εδώ, καθώς διατηρεί ιστορικά δεδομένα που, αν διαρρεύσουν, μπορούν να επηρεάσουν την επιχείρηση.

Σύγκριση αποθήκης δεδομένων OLTP Vs

Οι διαφορές μεταξύ OLTP και Data Warehouse μπορούν να γίνουν κατανοητές από τον παρακάτω πίνακα.

Data Warehouse και Data Mart με αντίθεση

Η Data Warehouse και η DataMart, δεν είναι και οι δύο όροι παρόμοιοι και φαίνεται ότι σχετίζονται με την αποθήκευση δεδομένων.

Ναι, σχετίζονται και τα δύο χρησιμοποιούνται για την αποθήκευση δεδομένων. Η κύρια διαφορά μεταξύ των δύο είναι η ικανότητα κράτησης των δεδομένων και αυτή η διαφορά βοηθά τους τελικούς χρήστες να επιλέξουν τη σωστή μονάδα αποθήκευσης για τα συστήματά τους.

Η Data Mart έχει λιγότερη ικανότητα κράτησης δεδομένων σε σύγκριση με την αποθήκη δεδομένων και ως εκ τούτου μπορεί να θεωρηθεί ως υποσύνολο αυτής. Τα δεδομένα mart συνήθως αναγνωρίζονται για την αποθήκευση περιορισμένων δεδομένων που θα μπορούσαν να ανήκουν σε ένα συγκεκριμένο τμήμα ή έναν κλάδο επιχειρήσεων, ενώ οι αποθήκες δεδομένων μπορούν να χρησιμοποιηθούν για τη συγκράτηση των ενοποιημένων δεδομένων για όλους.

Ας πάρουμε ένα παράδειγμα ιστότοπου ηλεκτρονικού εμπορίου με διάφορες κατηγορίες εμπορευμάτων όπως Μόδα, Αξεσουάρ, Οικιακά Είδη, Βιβλία και Σχολικά, Ηλεκτρονικές Συσκευές κ.λπ.

Έτσι, τα Data marts μπορούν να σχεδιαστούν έτσι ώστε να αποθηκεύουν την κατηγορία δεδομένων προϊόντων, ενώ οι αποθήκες δεδομένων μπορούν να χρησιμοποιηθούν για την αποθήκευση πλήρων δεδομένων ιστότοπου, συμπεριλαμβανομένου του ιστορικού σε ένα μέρος.

Τα δεδομένα mart είναι μικρότερα σε μέγεθος, μπορούν να δημιουργηθούν πολύ πιο γρήγορα χωρίς πολλή ανάλυση, όπως απαιτείται για το σχεδιασμό μιας αποθήκης δεδομένων. Ωστόσο, χρειάζεται πολλή προσπάθεια για να διατηρηθούν συγχρονισμένα πολλά δεδομένα ώστε να διατηρηθεί η συνοχή των δεδομένων.

Επισκόπηση της διαδικασίας ETL

Το ETL (Εξαγωγή, Μετασχηματισμός και Φόρτωση) είναι μια διαδικασία εξαγωγής δεδομένων από διαφορετικά συστήματα προέλευσης, μετατροπής και φόρτωσής τους στο σύστημα Data Warehouse. Πρόκειται για μια πολύπλοκη διαδικασία που πρέπει να αλληλεπιδράσει με μια ποικιλία συστημάτων προέλευσης για την εξαγωγή δεδομένων και ως εκ τούτου τεχνικά απαιτητική.

Ο μετασχηματισμός χρειάζεται πάλι πολλή ανάλυση για να κατανοήσει τη μορφή των συστημάτων προέλευσης και να φέρει δεδομένα στην κοινή μορφή, έτσι ώστε τα ίδια δεδομένα να μπορούν να αποθηκευτούν στην αποθήκη δεδομένων.

Η διαδικασία ETL είναι μια επαναλαμβανόμενη εργασία που μπορεί να εκτελείται καθημερινά, εβδομαδιαία ή ακόμα και μηνιαία, ανάλογα με τις επιχειρηματικές απαιτήσεις.

Αρχιτεκτονική αποθήκης δεδομένων

Ας κατανοήσουμε την αρχιτεκτονική μιας αποθήκης δεδομένων που έχει σχεδιαστεί κυρίως για την αποθήκευση εξευγενισμένων δεδομένων για προκαθορισμένες επιχειρηματικές απαιτήσεις. Η αρχιτεκτονική αποτελείται από 5 στοιχεία με ροή δεδομένων από πάνω προς τα κάτω.

Τα συστατικά έχουν ως εξής:

• Πηγές δεδομένων
• Σταδιοποίηση δεδομένων
• Αποθήκη δεδομένων (Αποθήκευση δεδομένων)
• Δεδομένα Μάρτιος (Αποθήκευση δεδομένων)
• Παρουσίαση δεδομένων

ποια είναι τα βασικά του προγραμματισμού υπολογιστών

Ας καταλάβουμε όλα τα στάδια που αναφέρονται παραπάνω ένα προς ένα.

# 1) Πηγές δεδομένων

Υπάρχουν διαφορετικά συστήματα πηγής που λειτουργούν ως είσοδος σε συστήματα αποθήκης δεδομένων.

Αυτά τα συστήματα πηγής μπορούν να είναι:

• Σχετικές βάσεις δεδομένων όπως Oracle, DB2, MySQL, MS Access κ.λπ., οι οποίες μπορούν να χρησιμοποιηθούν για την καταγραφή καθημερινών συναλλαγών οποιουδήποτε οργανισμού. Αυτές οι καθημερινές επιχειρηματικές συναλλαγές θα μπορούσαν να σχετίζονται με ERP, CRM, Πωλήσεις, Χρηματοοικονομικά και Μάρκετινγκ κ.λπ.
• Επίπεδα αρχεία
• υπηρεσίες διαδικτύου
• Τροφοδοσίες RSS και παρόμοιες πηγές.

# 2) Σταδιοποίηση δεδομένων

Μόλις οι πηγές δεδομένων είναι στη θέση τους, το επόμενο βήμα θα ήταν να εξαγάγετε αυτά τα δεδομένα από τα συστήματα προέλευσης στην περιοχή στάσης της αποθήκης.

Καθώς τα δεδομένα έχουν ανακτηθεί από διαφορετικά συστήματα που ακολουθούν διαφορετικές μορφές αποθήκευσης, απαιτείται η αναδιάρθρωση των δεδομένων έτσι ώστε να τα φέρουν σε κοινή μορφή. Ως εκ τούτου, ο μετασχηματισμός δεδομένων πραγματοποιείται ως επόμενο βήμα.

Κατά τη διάρκεια του μετασχηματισμού, πραγματοποιείται καθαρισμός δεδομένων που περιλαμβάνει την εφαρμογή επιχειρηματικών κανόνων, φιλτραρίσματος δεδομένων, απομάκρυνσης απολύσεων, μορφοποίησης δεδομένων, ταξινόμησης δεδομένων κ.λπ.

# 3) Αποθήκη δεδομένων (Αποθήκευση δεδομένων)

Μόλις τα δεδομένα εξαχθούν και μετασχηματιστούν, θα φορτωθούν σε ένα πολυδιάστατο περιβάλλον, δηλαδή Data Warehouse. Τώρα, αυτά τα επεξεργασμένα δεδομένα μπορούν να χρησιμοποιηθούν για ανάλυση και άλλους σκοπούς από τους τελικούς χρήστες.

# 4) Data Marts (αποθήκευση δεδομένων)

Όπως αναφέρθηκε παραπάνω, τα δεδομένα είναι πλέον έτοιμα για κατανάλωση από τους τελικούς χρήστες, υπάρχει μια προαιρετική διαδικασία δημιουργίας Data Marts ως επόμενο βήμα. Αυτά τα δεδομένα mart μπορούν να χρησιμοποιηθούν για την αποθήκευση συνοπτικών δεδομένων ενός συγκεκριμένου τμήματος ή μιας επιχείρησης για αποκλειστική χρήση.

Για παράδειγμα, μπορούν να προστεθούν ξεχωριστά στοιχεία δεδομένων για τμήματα όπως οι πωλήσεις, τα χρηματοοικονομικά και το μάρκετινγκ κ.λπ. ως ένα επόμενο βήμα που θα περιέχει συγκεκριμένα δεδομένα και επιτρέπει σε έναν αναλυτή να εκτελεί λεπτομερή ερωτήματα για επιχειρηματικές ανάγκες. Αποτρέπει επίσης κάθε άλλον τελικό χρήστη να έχει πρόσβαση στην πλήρη αποθήκη και επομένως καθιστά τα δεδομένα ασφαλή.

# 5) Εργαλεία πρόσβασης δεδομένων (Παρουσίαση δεδομένων)

Υπάρχει ένας αριθμός προκαθορισμένων εργαλείων Business Intelligence που μπορούν να χρησιμοποιηθούν από τους χρήστες για πρόσβαση σε αποθήκες δεδομένων ή σε μάρκες δεδομένων. Αυτά τα εργαλεία front-end έχουν σχεδιαστεί με εξαιρετικά φιλικό προς τον χρήστη τρόπο, δίνοντας στους χρήστες μια ποικιλία επιλογών για πρόσβαση σε δεδομένα.

Οι επιλογές αναφέρονται παρακάτω:

• Εφαρμόζοντας το ερώτημα στο Oracle ή σε άλλες βάσεις δεδομένων απευθείας μέσω SQL.
• Δημιουργία αναφορών.
• Ανάπτυξη εφαρμογής.
• Χρήση εργαλείων εξόρυξης δεδομένων κ.λπ.

Λίγα δημοφιλή εργαλεία αποθήκευσης που διατίθενται στην αγορά είναι:

• Αναλυτικό DS
• Amazon Redshift
• Λογισμικό Ab Initio
• Code Futures
• Ολιστική διαχείριση δεδομένων
• Εταιρεία Πληροφορικής

Αποθήκευση δεδομένων Cloud

Οι αποθήκες δεδομένων αναγνωρίζονται υπερβολικά από τον κόσμο. Το επόμενο ερώτημα που προκύπτει: Χρησιμοποιούμε μια βελτιστοποιημένη προσέγγιση για την ανάπτυξη Data Warehouses;

Στη συνέχεια, παρουσιάστηκε το Cloud Data Warehousing, το οποίο υπερισχύει του Enterprise Data Warehousing (EDW). Η ιδέα της Data Warehouses που βασίζεται στο Cloud έχει προσφέρει διάφορα πλεονεκτήματα.

Αυτά είναι τα εξής:

(i) Επεκτασιμότητα: Τα δεδομένα σε συστήματα cloud είναι εύκολα επεκτάσιμα πάνω και κάτω χωρίς προβλήματα, ενώ καταναλώνει πολύ χρόνο και πόρους για την εκτέλεση κλιμάκωσης σε παραδοσιακές αποθήκες δεδομένων.

(ii) Εξοικονόμηση κόστους: Οι αποθήκες δεδομένων που βασίζονται σε σύννεφο έχουν κάνει μια αξιοσημείωτη διαφορά στην επένδυση που απαιτείται για την εγκατάσταση μιας αποθήκης. Έχουν μειώσει το χύμα αρχικό κόστος, εξαλείφοντας το κόστος

• • Συντήρηση δωματίων υλικού / διακομιστών.
  • Απαιτείται προσωπικό για συντήρηση.
  • Λοιπές λειτουργικές δαπάνες.

(iii) Απόδοση: Η απόδοση είναι ένας άλλος παράγοντας που επέτρεψε στα συστήματα που βασίζονται σε σύννεφο να κυριαρχούν σε σχέση με τα παραδοσιακά. Εάν η επιχείρηση επεκταθεί παγκοσμίως και πρέπει να έχετε πρόσβαση σε δεδομένα από διάφορα μέρη του κόσμου με ταχύτερη ανάκαμψη, οι αποθήκες που βασίζονται σε σύννεφο είναι οι καλύτερες στη χρήση.

πώς να βρείτε αρχεία apk σε τηλέφωνο Android

Το Massively Parallel Processing (MPP) είναι μια από τις συνεργατικές μεθόδους επεξεργασίας που χρησιμοποιούν οι αποθήκες για να επιτύχουν το ίδιο.

(iv) Συνδεσιμότητα: Όπως αναφέρθηκε παραπάνω, εάν τα δεδομένα πρέπει να έχουν πρόσβαση από πολλές γεωγραφικές τοποθεσίες, οι χρήστες χρειάζονται εξαιρετική σύνδεση με αυτές τις αποθήκες και η αποθήκη που βασίζεται σε σύννεφο προσφέρει το ίδιο.

συμπέρασμα

Ελπίζουμε όλοι να έχετε μια δίκαιη ιδέα για το σύστημα Oracle Data Warehousing αφού διαβάσετε το παραπάνω άρθρο. Ενημερώστε μας εάν χρειάζεστε πληροφορίες σχετικά με ένα συγκεκριμένο θέμα σχετικά με την αποθήκευση δεδομένων, έτσι ώστε να μπορούμε να καλύψουμε το ίδιο σε προσεχή μαθήματα.

Εκπαιδευτικό πρόγραμμα PREV | ΕΠΟΜΕΝΟ Φροντιστήριο

Συνιστώμενη ανάγνωση

• Τι είναι μια λίμνη δεδομένων | Data Warehouse εναντίον Data Lake
• Εκμάθηση δοκιμών αποθήκης δεδομένων με παραδείγματα | Οδηγός δοκιμών ETL
• Κορυφαία 10 δημοφιλή εργαλεία αποθήκευσης δεδομένων και τεχνολογίες δοκιμών
• Διαστατικό μοντέλο δεδομένων στην αποθήκη δεδομένων - Εκμάθηση με παραδείγματα
• Τα μεταδεδομένα στην αποθήκη δεδομένων (ETL) εξηγούνται με παραδείγματα
• Εκπαιδευτικός Οδηγός ETL Testing Data Warehouse Testing (Ένας πλήρης οδηγός)
• Τύποι σχήματος στη μοντελοποίηση αποθήκης δεδομένων - Σχήμα Star & SnowFlake
• Τι είναι η διαδικασία ETL (Extract, Transform, Load) στην αποθήκη δεδομένων;