Μενού

Εκμάθηση δοκιμών αποθήκης δεδομένων με παραδείγματα | Οδηγός δοκιμών ETL

  • Κύριος
  • Αλλα
  • Εκμάθηση δοκιμών αποθήκης δεδομένων με παραδείγματα | Οδηγός δοκιμών ETL

data warehouse testing tutorial with examples etl testing guide

Δοκιμάστε Το Όργανο Μας Για Την Εξάλειψη Των Προβλημάτων

Αυτό το σεμινάριο καλύπτει τους στόχους και τη σημασία των δοκιμών αποθήκης δεδομένων, των ευθυνών δοκιμής ETL, των σφαλμάτων στην ανάπτυξη DW και ETL:

Σε αυτό Εκπαιδευτική σειρά αποθήκης δεδομένων βάθους , ρίξαμε μια ματιά στο Τι είναι το ET Διαδικασία L στην αποθήκη δεδομένων στο λεπτομέρεια στο προηγούμενο σεμινάριό μας.

Αυτό το σεμινάριο θα σας δώσει μια κατανόηση του τρόπου με τον οποίο μπορεί να πραγματοποιηθεί η δοκιμή αποθήκης δεδομένων σε έναν οργανισμό. Θα μάθετε επίσης για τους στόχους της δοκιμής DW, πώς και τι είδους δοκιμές μπορούν να πραγματοποιηθούν στο backend, οι οποίοι συμμετέχουν όλοι σε αυτήν τη διαδικασία, τα σφάλματα DW και την ανάπτυξη ETL λεπτομερώς.

=> Ελέγξτε ΟΛΑ τα Εκπαιδευτικά Αποθήκευση Δεδομένων εδώ.

Δοκιμές δεδομένων Warehouse ETL

Στοχευμένο κοινό

  • Προγραμματιστές και υπεύθυνοι δοκιμής Data Warehouse / ETL.
  • Επαγγελματίες βάσης δεδομένων με βασικές γνώσεις εννοιών βάσης δεδομένων.
  • Διαχειριστές βάσεων δεδομένων / Μεγάλοι ειδικοί δεδομένων που θέλουν να κατανοήσουν τις έννοιες Data Warehouse / ETL.
  • Απόφοιτοι κολεγίου / Φρεσκάροντα που αναζητούν θέσεις εργασίας Data Warehouse.

Τι θα μάθετε:

Δοκιμές Data Warehouse (ETL)

Ποια είναι η σημασία του ελέγχου των συστημάτων Data Warehouse και Business Intelligence;

Η δοκιμή παίζει καθοριστικό ρόλο στην επιτυχία οποιουδήποτε από τα παραπάνω δύο συστήματα, διασφαλίζοντας την ορθότητα των δεδομένων που ενισχύουν την πίστη των τελικών χρηστών.

Σε γενικές γραμμές, ένα ελάττωμα που βρέθηκε στα μεταγενέστερα στάδια του κύκλου ζωής ανάπτυξης λογισμικού κοστίζει περισσότερο για να διορθωθεί αυτό το ελάττωμα. Αυτή η κατάσταση στο DW μπορεί να επιδεινωθεί επειδή τα λάθος δεδομένα που βρέθηκαν στα μεταγενέστερα στάδια μπορεί να είχαν χρησιμοποιηθεί σε σημαντικές επιχειρηματικές αποφάσεις μέχρι τότε.

Έτσι, η επιδιόρθωση στο DW είναι πιο ακριβή από την άποψη της διαδικασίας, των ανθρώπων και των τεχνολογικών αλλαγών. Μπορείτε να ξεκινήσετε τη δοκιμή DW απευθείας από τη φάση συγκέντρωσης απαιτήσεων.

Ένας πίνακας απαίτησης ιχνηλασιμότητας προετοιμάζεται και αναθεωρείται, και αυτό χαρτογραφεί κυρίως τις δυνατότητες DW με τις αντίστοιχες επιχειρηματικές απαιτήσεις. Η μήτρα ιχνηλασιμότητας λειτουργεί ως είσοδος στο σχέδιο δοκιμών DW που προετοιμάζεται από τους δοκιμαστές. Το σχέδιο δοκιμών περιγράφει τις δοκιμές που πρέπει να εκτελεστούν για την επικύρωση του συστήματος DW.

Περιγράφει επίσης τους τύπους δοκιμών που θα πραγματοποιηθούν στο σύστημα. Αφού το σχέδιο δοκιμής είναι έτοιμο, όλες οι λεπτομερείς δοκιμές θα προετοιμαστούν για διάφορα σενάρια DW. Στη συνέχεια, όλες οι δοκιμαστικές περιπτώσεις θα εκτελεστούν και τα ελαττώματα θα καταγραφούν.

Υπάρχει ένα πρότυπο στον επιχειρησιακό κόσμο που διατηρεί διαφορετικά περιβάλλοντα για ανάπτυξη, δοκιμές και παραγωγή. Στον κόσμο της DW, τόσο οι προγραμματιστές όσο και οι δοκιμαστές θα διασφαλίσουν ότι τα περιβάλλοντα ανάπτυξης και δοκιμών είναι διαθέσιμα με το αντίγραφο των δεδομένων παραγωγής πριν ξεκινήσουν τη δουλειά τους.

Αυτό αντιγράφεται για μια λίστα πινάκων με περιορισμένα ή πλήρη δεδομένα ανάλογα με τις ανάγκες του έργου, καθώς τα δεδομένα παραγωγής είναι πραγματικά μεγάλα. Οι προγραμματιστές αναπτύσσουν τον κωδικό τους στο περιβάλλον του προγραμματιστή και τον παραδίδουν στους υπεύθυνους δοκιμών.

Οι δοκιμαστές θα δοκιμάσουν τον κωδικό που παραδίδεται στα περιβάλλοντα δοκιμών για να διασφαλίσουν εάν λειτουργούν όλα τα συστήματα. Τότε ο κωδικός θα δημοσιευτεί στα περιβάλλοντα παραγωγής. Ο κωδικός DW διατηρείται επίσης σε διαφορετικές εκδόσεις βάσει των ελαττωμάτων που διορθώνονται σε κάθε έκδοση. Η διατήρηση πολλών περιβαλλόντων και εκδόσεων κώδικα βοηθά στη δημιουργία ενός συστήματος καλής ποιότητας.

δωρεάν μετατροπέας youtube σε mp4 χωρίς λήψη

Δοκιμή στόχων δεδομένων αποθήκης (ETL)

Ας ρίξουμε μια ματιά στο Goals Of Data Warehouse Testing.

# 1) Πληρότητα δεδομένων: Βεβαιωθείτε ότι όλα τα δεδομένα από διάφορες πηγές έχουν φορτωθεί σε μια αποθήκη δεδομένων. Η ομάδα δοκιμών επικυρώνει εάν έχουν φορτωθεί όλες οι εγγραφές DW, στη βάση δεδομένων προέλευσης και τα επίπεδα αρχεία ακολουθώντας τις παρακάτω στρατηγικές δείγματος.

  • Ο συνολικός αριθμός εγγραφών που μεταφορτώθηκαν από το σύστημα προέλευσης πρέπει να αντιστοιχεί στον συνολικό αριθμό εγγραφών που φορτώθηκαν στο DW. Εάν υπάρχει διαφορά, τότε μπορείτε να σκεφτείτε τους δίσκους που απορρίφθηκαν.
  • Συγκρίνετε τα δεδομένα που φορτώνονται σε κάθε πεδίο του DW με τα πεδία δεδομένων του συστήματος προέλευσης. Αυτό θα αναδείξει τα σφάλματα δεδομένων εάν υπάρχουν.

# 2) Μετασχηματισμός δεδομένων: Κατά τη μεταφόρτωση των δεδομένων προέλευσης στην αποθήκη δεδομένων, λίγα πεδία μπορούν να φορτωθούν απευθείας με τα δεδομένα προέλευσης, αλλά λίγα πεδία θα φορτωθούν με τα δεδομένα που μετασχηματίζονται σύμφωνα με τη λογική της επιχείρησης. Αυτό είναι το περίπλοκο τμήμα της δοκιμής DW (ETL).

Ακολουθούν τα δείγματα στρατηγικών για τη δοκιμή αυτού:

  • Μπορείτε να δοκιμάσετε δημιουργώντας και συγκρίνοντας δεδομένα σε υπολογιστικά φύλλα. Φορτώστε τα μετασχηματισμένα δεδομένα προέλευσης και τα δεδομένα DW σε υπολογιστικά φύλλα και κάντε μια σύγκριση. Δεν πρέπει να υπάρχει αναντιστοιχία.
  • Οι δοκιμαστές θα πρέπει να γράψουν τα ερωτήματα σύμφωνα με τη λογική του μετασχηματισμού για να συγκρίνουν τα δεδομένα DW με τα δεδομένα προέλευσης. Η εκτέλεση ερωτήματος θα εγγυηθεί ότι δεν λείπει η επικύρωση δεδομένων για οποιοδήποτε από τα πεδία.

# 3) Ποιότητα δεδομένων: Το σύστημα αποθήκης δεδομένων (ETL) πρέπει να διασφαλίζει την ποιότητα των δεδομένων που φορτώνονται σε αυτό απορρίπτοντας (ή) διορθώνοντας τα δεδομένα.

Ο DW μπορεί απορρίπτω μερικά από τα δεδομένα του συστήματος προέλευσης βασίζονται στη λογική των επιχειρησιακών απαιτήσεων. Για παράδειγμα, απορρίψτε μια εγγραφή εάν ένα συγκεκριμένο πεδίο έχει μη αριθμητικά δεδομένα. Όλες οι απορριφθείσες εγγραφές φορτώνονται στον πίνακα απόρριψης για αναφορά.

Τα απορριφθέντα δεδομένα αναφέρονται στους πελάτες επειδή δεν υπάρχει πιθανότητα να ενημερωθούν για αυτά τα χαμένα δεδομένα, καθώς δεν θα φορτωθούν στο σύστημα DW. Ο DW μπορεί σωστός τα δεδομένα φορτώνοντας μηδέν στη θέση των μηδενικών τιμών κ.λπ.

# 4) Επεκτασιμότητα και απόδοση: Η αποθήκη δεδομένων πρέπει να διασφαλίζει την επεκτασιμότητα του συστήματος με αυξανόμενα φορτία. Με αυτό, δεν πρέπει να υπάρχει υποβάθμιση της απόδοσης κατά την εκτέλεση των ερωτημάτων, με αναμενόμενα αποτελέσματα σε συγκεκριμένα χρονικά διαστήματα. Έτσι, ο έλεγχος απόδοσης αποκαλύπτει τυχόν προβλήματα και τα διορθώνει πριν από την παραγωγή.

Ακολουθούν δείγματα στρατηγικών για δοκιμές απόδοσης και κλιμάκωσης:

  • Κάντε τον έλεγχο απόδοσης φορτώνοντας όγκους παραγωγής δεδομένων και βεβαιωθείτε ότι δεν χάνονται τα χρονικά πλαίσια.
  • Επικυρώστε την απόδοση κάθε ερωτήματος με μαζικά δεδομένα. Δοκιμάστε την απόδοση χρησιμοποιώντας απλές συνδέσεις και πολλαπλές συνδέσεις.
  • Φορτώστε διπλά (ή) τριπλάσια στους όγκους δεδομένων που αναμένεται να υπολογίσουν περίπου την χωρητικότητα του συστήματος.
  • Δοκιμάστε εκτελώντας εργασίες για όλες τις αναφερόμενες αναφορές ταυτόχρονα.

# 5) Δοκιμή ολοκλήρωσης: Η αποθήκη δεδομένων πρέπει να εκτελεί Έλεγχο ενοποίησης με άλλες εφαρμογές ανάντη και κατάντη. Εάν είναι δυνατόν, είναι καλύτερο να αντιγράψετε τα δεδομένα παραγωγής στο περιβάλλον δοκιμών για Integration Testing.

Όλες οι ομάδες συστημάτων θα πρέπει να συμμετέχουν σε αυτήν τη φάση για να γεφυρώσουν τα κενά ενώ κατανοούν και δοκιμάζουν όλα τα συστήματα μαζί.

# 6) Δοκιμή μονάδας: Αυτό γίνεται από τους μεμονωμένους προγραμματιστές στα παραδοτέα τους. Οι προγραμματιστές θα προετοιμάσουν σενάρια δοκιμής μονάδας με βάση την κατανόηση των απαιτήσεων, θα εκτελέσουν τις δοκιμές μονάδας και θα τεκμηριώσουν τα αποτελέσματα. Αυτό βοηθά τους προγραμματιστές να διορθώσουν τυχόν σφάλματα εάν εντοπιστούν, προτού παραδώσουν τον κώδικα στην ομάδα δοκιμών.

# 7) Δοκιμή παλινδρόμησης: Επικυρώνει ότι το σύστημα DW δεν παρουσιάζει δυσλειτουργία μετά την επιδιόρθωση τυχόν ελαττωμάτων. Αυτό εκτελείται πολλές φορές με κάθε νέα αλλαγή κώδικα.

# 8) Δοκιμή αποδοχής χρήστη: Αυτός ο έλεγχος πραγματοποιείται από επιχειρηματικούς χρήστες για την επικύρωση της λειτουργικότητας του συστήματος. Το περιβάλλον UAT είναι διαφορετικό από το περιβάλλον QA. Η έξοδος από το UAT σημαίνει ότι είμαστε έτοιμοι να μεταφέρουμε τον κώδικα στην παραγωγή.

πού μπορώ να βρω το κλειδί ασφαλείας δικτύου

Από την άποψη του συστήματος Warehouse Data και Business Intelligence, οι επιχειρηματικοί χρήστες μπορούν να επικυρώσουν διάφορες αναφορές μέσω διεπαφής χρήστη (UI). Μπορούν να επικυρώσουν τις προδιαγραφές αναφοράς σε σχέση με τις απαιτήσεις, να επικυρώσουν την ορθότητα των δεδομένων στις αναφορές, να επιβεβαιώσουν πόσο γρήγορα το σύστημα επιστρέφει τα αποτελέσματα κ.λπ.

Διάγραμμα ροής δοκιμής DW:

Διάγραμμα ροής δοκιμής αποθήκης δεδομένων

Ευθύνες δοκιμής αποθήκης δεδομένων

Παρατίθενται παρακάτω οι διάφορες ομάδες που συμμετέχουν στην παροχή ενός επιτυχημένου συστήματος DW:

  • Επιχειρηματικοί αναλυτές: Συγκεντρώστε όλες τις επιχειρηματικές απαιτήσεις για το σύστημα και τεκμηρίψτε αυτές για τις προτιμήσεις όλων.
  • Ομάδα υποδομής: Ρυθμίστε διάφορα περιβάλλοντα όπως απαιτείται τόσο για προγραμματιστές όσο και για υπεύθυνους δοκιμών.
  • Προγραμματιστές: Αναπτύξτε τον κωδικό ETL σύμφωνα με τις απαιτήσεις και πραγματοποιήστε δοκιμές μονάδας.
  • QA (Διασφάλιση ποιότητας) / Δοκιμαστές: Αναπτύξτε σχέδιο δοκιμών, περιπτώσεις δοκιμών κ.λπ. Προσδιορίζει ελαττώματα στο σύστημα εκτελώντας τις δοκιμαστικές περιπτώσεις. Εκτελέστε διάφορα επίπεδα δοκιμών.
  • DBA: Οι DBA αναλαμβάνουν τη μετατροπή λογικών σεναρίων βάσεων δεδομένων ETL σε φυσικά σενάρια βάσεων δεδομένων ETL και επίσης συμμετέχουν στη δοκιμή απόδοσης.
  • Χρήστες επιχειρήσεων: Συμμετοχή στον Έλεγχο αποδοχής χρήστη, εκτέλεση ερωτημάτων και αναφορών σε πίνακες DW.

Σφάλματα στην αποθήκη δεδομένων

Όταν εξάγετε, μετασχηματίζετε και φορτώνετε (ETL) δεδομένα από πολλές πηγές, υπάρχει πιθανότητα να λάβετε κακά δεδομένα που ενδέχεται να ακυρώσουν τις μακροχρόνιες εργασίες.

Ακολουθούν οι βασικές αιτίες αποτυχίας στο σύστημα DW:

# 1) Παραβιάσεις επιχειρηματικών κανόνων (Λογικά σφάλματα): Λογικά λανθασμένα δεδομένα παραβιάζουν τους επιχειρηματικούς κανόνες. Τέτοια δεδομένα μπορούν να αντιμετωπιστούν κατά τη διάρκεια των φάσεων μετατροπής ή φόρτωσης.

# 2) Παραβιάσεις κανόνα δεδομένων (Σφάλματα δεδομένων): Σφάλματα δεδομένων συμβαίνουν μέσα στο σύστημα βάσης δεδομένων DW όπως αναντιστοιχίες τύπου δεδομένων, αστοχίες περιορισμού δεδομένων κ.λπ.

Ανάπτυξη ETL

Αυτή είναι η φάση όπου πραγματοποιούνται όλες οι προσπάθειές σας. Όλα τα έγγραφα υποστήριξης της παραγωγής πρέπει να προετοιμάζονται.

Η τεκμηρίωση θα ενημερώσει τους άλλους για τη σειρά των εργασιών που θα εκτελεστούν, τα σενάρια αποκατάστασης αποτυχίας, το εκπαιδευτικό υλικό στις ομάδες υποστήριξης της DW για την παρακολούθηση του συστήματος μετά την ανάπτυξη και στην ομάδα διοικητικής υποστήριξης για την εκτέλεση των αναφορών.

συμπέρασμα

Μάθαμε για τους στόχους της δοκιμής αποθήκης δεδομένων, τις ευθύνες δοκιμών ETL, τα σφάλματα στην ανάπτυξη DW και την ανάπτυξη ETL λεπτομερώς σε αυτό το σεμινάριο.

Ελπίζουμε να έχετε μια ιδέα για το πώς μπορούν να γίνουν λεπτομερείς δοκιμές σε ένα Σύστημα Αποθήκης Δεδομένων (ETL).

=> Επισκεφθείτε εδώ για να μάθετε την αποθήκευση δεδομένων από το μηδέν.

Συνιστώμενη ανάγνωση

^