Μενού

Εκπαιδευτικός Οδηγός ETL Testing Data Warehouse Testing (Ένας πλήρης οδηγός)

etl testing data warehouse testing tutorial

Δοκιμάστε Το Όργανο Μας Για Την Εξάλειψη Των Προβλημάτων

Διαδικασία δοκιμών / δοκιμών ETL / Αποθήκη δεδομένων:

Σήμερα, επιτρέψτε μου να αφιερώσω λίγο χρόνο και να εξηγήσω την αδελφότητα των δοκιμών μου σχετικά με μία από τις πολύ απαιτούμενες και επερχόμενες δεξιότητες για τους δοκιμαστικούς φίλους μου, δηλαδή δοκιμές ETL (Extract, Transform και Load)

Αυτό το σεμινάριο θα σας παρουσιάσει μια πλήρη ιδέα σχετικά με τη δοκιμή ETL και τι κάνουμε για τη δοκιμή της διαδικασίας ETL.

Πλήρης κατάλογος σεμιναρίων σε αυτήν τη σειρά:

  • Εκμάθηση # 1 : Οδηγός εισαγωγής ETL Testing Data Warehouse Testing
  • Εκμάθηση # 2 : Δοκιμή ETL με χρήση του εργαλείου Informatica PowerCenter
  • Εκμάθηση # 3 : Δοκιμή ETL εναντίον DB
  • Εκμάθηση # 4 : Δοκιμή επιχειρησιακής νοημοσύνης (BI): Τρόπος δοκιμής επιχειρηματικών δεδομένων
  • Εκμάθηση # 5 : Κορυφαία 10 εργαλεία δοκιμής ETL

Έχει παρατηρηθεί ότι η Ανεξάρτητη Επαλήθευση και Επικύρωση αποκτά τεράστιο δυναμικό αγοράς και πολλές εταιρείες το βλέπουν τώρα ως πιθανό επιχειρηματικό κέρδος.

Δοκιμή ETL _ Δοκιμή αποθήκης δεδομένων - Συμβουλές, τεχνικές, διαδικασία και προκλήσεις

Στους πελάτες προσφέρθηκε μια διαφορετική γκάμα προϊόντων όσον αφορά τις προσφορές υπηρεσιών, που διανέμονται σε πολλούς τομείς με βάση την τεχνολογία, τη διαδικασία και τις λύσεις. Το ETL ή η αποθήκη δεδομένων είναι μία από τις προσφορές που αναπτύσσονται γρήγορα και με επιτυχία.

Διαδικασία ETL

Μέσω της διαδικασίας ETL, τα δεδομένα συλλέγονται από τα συστήματα προέλευσης, μεταμορφώνονται σύμφωνα με τους επιχειρηματικούς κανόνες και τελικά φορτώνονται στο σύστημα προορισμού (αποθήκη δεδομένων). Η αποθήκη δεδομένων είναι ένα κατάστημα για όλη την επιχείρηση που περιέχει ολοκληρωμένα δεδομένα που βοηθούν στη διαδικασία λήψης επιχειρηματικών αποφάσεων. Είναι μέρος της επιχειρηματικής ευφυΐας.

Τι θα μάθετε:

Γιατί οι οργανισμοί χρειάζονται Data Warehouse;

Οι οργανισμοί με οργανωμένες πρακτικές πληροφορικής προσβλέπουν στη δημιουργία του επόμενου επιπέδου μετασχηματισμού τεχνολογίας. Τώρα προσπαθούν να κάνουν τον εαυτό τους πολύ πιο λειτουργικό με εύχρηστα και διαλειτουργικά δεδομένα.

Έχοντας πει ότι τα δεδομένα είναι το πιο σημαντικό μέρος κάθε οργανισμού, μπορεί να είναι καθημερινά δεδομένα ή ιστορικά δεδομένα. Τα δεδομένα αποτελούν τη ραχοκοκαλιά κάθε αναφοράς και οι αναφορές αποτελούν τη βάση για την οποία λαμβάνονται όλες οι ζωτικές αποφάσεις διαχείρισης.

Οι περισσότερες από τις εταιρείες κάνουν ένα βήμα μπροστά για την κατασκευή της αποθήκης δεδομένων τους για την αποθήκευση και την παρακολούθηση δεδομένων σε πραγματικό χρόνο καθώς και ιστορικών δεδομένων. Η δημιουργία μιας αποτελεσματικής αποθήκης δεδομένων δεν είναι εύκολη δουλειά. Πολλοί οργανισμοί έχουν διανείμει τμήματα με διαφορετικές εφαρμογές που λειτουργούν σε κατανεμημένη τεχνολογία.

Το εργαλείο ETL χρησιμοποιείται για να κάνει μια άψογη ολοκλήρωση μεταξύ διαφορετικών πηγών δεδομένων από διαφορετικά τμήματα. Το εργαλείο ETL θα λειτουργεί ως ολοκληρωτής, εξάγοντας δεδομένα από διαφορετικές πηγές. μετατρέποντάς το στην προτιμώμενη μορφή με βάση τους κανόνες μετασχηματισμού των επιχειρήσεων και τη φόρτωσή του σε συνεκτικό DB γνωστό είναι Data Warehouse.

Το καλά σχεδιασμένο, καλά καθορισμένο και αποτελεσματικό πεδίο δοκιμών εγγυάται την ομαλή μετατροπή του έργου στην παραγωγή. Μια επιχείρηση αποκτά την πραγματική άνωση μόλις οι διαδικασίες ETL επαληθευτούν και επικυρωθούν από μια ανεξάρτητη ομάδα εμπειρογνωμόνων για να βεβαιωθείτε ότι η αποθήκη δεδομένων είναι συγκεκριμένη και ανθεκτική.

Οι δοκιμές ETL ή Data warehouse κατηγοριοποιούνται σε τέσσερις διαφορετικές δεσμεύσεις ανεξάρτητα από την τεχνολογία ή τα εργαλεία ETL που χρησιμοποιούνται:

  • Νέες δοκιμές αποθήκης δεδομένων - Το νέο DW έχει δημιουργηθεί και επαληθευτεί από το μηδέν. Η εισαγωγή δεδομένων λαμβάνεται από τις απαιτήσεις των πελατών και από διαφορετικές πηγές δεδομένων και δημιουργείται και επαληθεύεται νέα αποθήκη δεδομένων με τη βοήθεια εργαλείων ETL.
  • Δοκιμή μετανάστευσης - Σε αυτόν τον τύπο έργου, ο πελάτης θα έχει έναν υπάρχοντα DW και ETL που εκτελεί τη δουλειά, αλλά ψάχνει να τοποθετήσει νέο εργαλείο για να βελτιώσει την αποδοτικότητα.
  • Αλλαγή αιτήματος - Σε αυτόν τον τύπο έργου προστίθενται νέα δεδομένα από διαφορετικές πηγές σε υπάρχον DW. Επίσης, μπορεί να υπάρχει μια κατάσταση όπου ο πελάτης πρέπει να αλλάξει τον υπάρχοντα επιχειρηματικό κανόνα ή να ενσωματώσει τον νέο κανόνα.
  • Αναφορά δοκιμών - Η αναφορά είναι το τελικό αποτέλεσμα οποιασδήποτε αποθήκης δεδομένων και η βασική πρόταση για την οποία δημιουργεί η DW. Η αναφορά πρέπει να ελεγχθεί επικυρώνοντας τη διάταξη, τα δεδομένα στην αναφορά και τον υπολογισμό.

Διαδικασία ETL

( Σημείωση : Κάντε κλικ στην εικόνα για μεγέθυνση)

Δοκιμή ETL

Τεχνικές δοκιμών ETL

1) Δοκιμή μετασχηματισμού δεδομένων : Βεβαιωθείτε ότι τα δεδομένα μεταμορφώνονται σωστά σύμφωνα με διάφορες επιχειρηματικές απαιτήσεις και κανόνες.

2) Δοκιμή πηγής προς μέτρηση στόχου : Βεβαιωθείτε ότι ο αριθμός των εγγραφών που φορτώνονται στο στόχο ταιριάζει με τον αναμενόμενο αριθμό.

3) Πηγή σε δοκιμή δεδομένων στόχου : Βεβαιωθείτε ότι όλα τα προβλεπόμενα δεδομένα έχουν φορτωθεί στην αποθήκη δεδομένων χωρίς απώλεια δεδομένων και περικοπή.

4) Δοκιμή ποιότητας δεδομένων : Βεβαιωθείτε ότι η εφαρμογή ETL απορρίπτει κατάλληλα, αντικαθιστά με προεπιλεγμένες τιμές και αναφέρει μη έγκυρα δεδομένα.

5) Δοκιμή απόδοσης : Βεβαιωθείτε ότι τα δεδομένα φορτώνονται στην αποθήκη δεδομένων εντός των καθορισμένων και αναμενόμενων χρονικών πλαισίων για να επιβεβαιώσετε βελτιωμένη απόδοση και επεκτασιμότητα.

κυκλική σειρά ουράς c ++

6) Δοκιμή επικύρωσης παραγωγής: Επικυρώστε τα δεδομένα στο σύστημα παραγωγής και συγκρίνετέ τα με τα δεδομένα προέλευσης.

7) Δοκιμή ενοποίησης δεδομένων : Βεβαιωθείτε ότι τα δεδομένα από διάφορες πηγές έχουν φορτωθεί σωστά στο σύστημα προορισμού και ότι έχουν ελεγχθεί όλες οι τιμές κατωφλίου.

8) Δοκιμή μετεγκατάστασης εφαρμογών : Σε αυτήν τη δοκιμή, διασφαλίζεται ότι η εφαρμογή ETL λειτουργεί καλά για τη μετάβαση σε νέο πλαίσιο ή πλατφόρμα.

9) Έλεγχος δεδομένων και περιορισμών : Ο τύπος δεδομένων, το μήκος, το ευρετήριο, οι περιορισμοί κ.λπ. δοκιμάζονται σε αυτήν την περίπτωση.

10) Διπλότυπος έλεγχος δεδομένων : Ελέγξτε εάν υπάρχουν διπλά δεδομένα που υπάρχουν στα συστήματα προορισμού. Τα διπλά δεδομένα μπορούν να οδηγήσουν σε λανθασμένες αναλυτικές αναφορές.

Εκτός από τις παραπάνω μεθόδους δοκιμών ETL, άλλες μέθοδοι δοκιμής, όπως δοκιμή ενοποίησης συστήματος, δοκιμές αποδοχής χρηστών, επαυξητικές δοκιμές, δοκιμές παλινδρόμησης, δοκιμές και δοκιμές πλοήγησης πραγματοποιούνται επίσης για να βεβαιωθείτε ότι όλα είναι ομαλά και αξιόπιστα.

ETL / Αποθήκη δεδομένων Διαδικασία δοκιμής

Παρόμοια με οποιαδήποτε άλλη δοκιμή που βρίσκεται στην Ανεξάρτητη Επαλήθευση και Επικύρωση, το ETL περνά επίσης στην ίδια φάση.

  • Κατανόηση απαιτήσεων
  • Επικύρωση
  • Εκτίμηση δοκιμής με βάση έναν αριθμό πινάκων, την πολυπλοκότητα των κανόνων, τον όγκο των δεδομένων και την απόδοση μιας εργασίας.
  • Σχεδιασμός δοκιμών με βάση τις εισροές από την εκτίμηση δοκιμών και τις επιχειρησιακές απαιτήσεις. Πρέπει να αναγνωρίσουμε εδώ ότι αυτό που εμπίπτει και τι είναι εκτός πεδίου. Αναζητούμε επίσης εξαρτήσεις, κινδύνους και σχέδια μετριασμού σε αυτήν τη φάση.
  • Σχεδιασμός δοκιμαστικών περιπτώσεων και δοκιμάστε σενάρια από όλες τις διαθέσιμες εισόδους. Πρέπει επίσης να σχεδιάσουμε χαρτογράφηση εγγράφων και σενάρια SQL.
  • Μόλις όλες οι δοκιμαστικές περιπτώσεις είναι έτοιμες και εγκριθούν, η ομάδα δοκιμών προχωρά στον έλεγχο πριν από την εκτέλεση και προετοιμασία δεδομένων δοκιμής για δοκιμή
  • Τέλος, η εκτέλεση εκτελείται έως ότου πληρούνται τα κριτήρια εξόδου. Έτσι, η φάση εκτέλεσης περιλαμβάνει την εκτέλεση εργασιών ETL, την παρακολούθηση εργασιών εκτέλεσης, την εκτέλεση σεναρίων SQL, την καταγραφή ελαττωμάτων, την επανεξέταση ελαττωμάτων και τον έλεγχο παλινδρόμησης.
  • Μετά την επιτυχή ολοκλήρωση, προετοιμάζεται μια συνοπτική έκθεση και ολοκληρώνεται η διαδικασία κλεισίματος. Σε αυτήν τη φάση, αποσυνδέεται για την προώθηση της εργασίας ή του κώδικα στην επόμενη φάση.

Οι δύο πρώτες φάσεις, δηλαδή η κατανόηση και η επικύρωση της απαίτησης μπορούν να θεωρηθούν ως προ-βήματα της διαδικασίας δοκιμής ETL.

Έτσι, η κύρια διαδικασία μπορεί να αναπαρασταθεί ως εξής:

κύρια διαδικασία

Είναι απαραίτητο να καθοριστεί μια στρατηγική δοκιμών που θα πρέπει να είναι αμοιβαία αποδεκτή από τους ενδιαφερόμενους πριν ξεκινήσουν την πραγματική δοκιμή. Μια καλά καθορισμένη στρατηγική δοκιμών θα διασφαλίσει ότι έχει ακολουθηθεί η σωστή προσέγγιση που ικανοποιεί τη φιλοδοξία της δοκιμής.

Οι δοκιμές ETL / Data Warehouse ενδέχεται να απαιτούν εκτεταμένη σύνταξη δηλώσεων SQL από την ομάδα δοκιμών ή ίσως να προσαρμόσουν την SQL που παρέχεται από την ομάδα ανάπτυξης. Σε κάθε περίπτωση, μια ομάδα δοκιμών πρέπει να γνωρίζει τα αποτελέσματα που προσπαθούν να χρησιμοποιήσουν αυτές τις δηλώσεις SQL.

Διαφορά μεταξύ βάσης δεδομένων και δοκιμών αποθήκης δεδομένων

Υπάρχει μια δημοφιλής παρανόηση ότι η δοκιμή βάσης δεδομένων και αποθήκη δεδομένων είναι παρόμοιο, ενώ το γεγονός είναι ότι και οι δύο έχουν διαφορετική κατεύθυνση στις δοκιμές.

  • Ο έλεγχος βάσης δεδομένων πραγματοποιείται χρησιμοποιώντας μια μικρότερη κλίμακα δεδομένων κανονικά με τον τύπο βάσεων δεδομένων OLTP (Online transaksi processing), ενώ ο έλεγχος αποθήκης δεδομένων γίνεται με μεγάλο όγκο με δεδομένα που περιλαμβάνουν βάσεις δεδομένων OLAP (online αναλυτική επεξεργασία).
  • Στη δοκιμή βάσεων δεδομένων, τα δεδομένα εισάγονται με συνέπεια από ομοιόμορφες πηγές, ενώ στη δοκιμή αποθήκης δεδομένων τα περισσότερα από δεδομένα προέρχονται από διαφορετικό είδος πηγών δεδομένων που είναι διαδοχικά ασυνεπείς.
  • Γενικά εκτελούμε τη μόνη λειτουργία CRUD (Δημιουργία, ανάγνωση, ενημέρωση και διαγραφή) στη δοκιμή βάσης δεδομένων, ενώ στη δοκιμή αποθήκης δεδομένων χρησιμοποιούμε λειτουργία μόνο για ανάγνωση (Επιλογή).
  • Οι κανονικοποιημένες βάσεις δεδομένων χρησιμοποιούνται στη δοκιμή DB, ενώ η αποπροσαρμοσμένη βάση DB χρησιμοποιείται σε δοκιμές αποθήκης δεδομένων.

Υπάρχει ένας αριθμός καθολικών επαληθεύσεων που πρέπει να πραγματοποιηθούν για κάθε είδους δοκιμή αποθήκης δεδομένων.

Ακολουθεί η λίστα των αντικειμένων που θεωρούνται απαραίτητα για επικύρωση σε αυτόν τον έλεγχο:

  • Επαληθεύστε ότι ο μετασχηματισμός δεδομένων από πηγή σε προορισμό λειτουργεί όπως αναμένεται
  • Βεβαιωθείτε ότι τα αναμενόμενα δεδομένα προστίθενται στο σύστημα προορισμού
  • Βεβαιωθείτε ότι όλα τα πεδία DB και τα δεδομένα πεδίου φορτώνονται χωρίς περικοπή
  • Επαληθεύστε το άθροισμα δεδομένων για την αντιστοίχιση μέτρησης ρεκόρ
  • Βεβαιωθείτε ότι για απορριφθέντα δεδομένα δημιουργούνται σωστά αρχεία καταγραφής σφαλμάτων με όλες τις λεπτομέρειες
  • Επαληθεύστε τα πεδία τιμών NULL
  • Βεβαιωθείτε ότι δεν έχουν φορτωθεί διπλά δεδομένα
  • Επαληθεύστε την ακεραιότητα των δεδομένων

=> Γνωρίστε το διαφορά μεταξύ δοκιμών αποθήκης ETL / δεδομένων & δοκιμών βάσεων δεδομένων .

Προκλήσεις δοκιμών ETL

Αυτή η δοκιμή είναι πολύ διαφορετική από τις συμβατικές δοκιμές. Υπάρχουν πολλές προκλήσεις που αντιμετωπίσαμε κατά την εκτέλεση δοκιμών αποθήκης δεδομένων.

Εδώ είναι μερικές προκλήσεις που βίωσα στο έργο μου:

  • Μη συμβατά και διπλά δεδομένα
  • Απώλεια δεδομένων κατά τη διαδικασία ETL
  • Μη διαθεσιμότητα του inclusive testbed
  • Οι υπεύθυνοι δοκιμών δεν έχουν προνόμια να εκτελούν εργασίες ETL από μόνες τους
  • Ο όγκος και η πολυπλοκότητα των δεδομένων είναι πολύ τεράστια
  • Βλάβη στην επιχειρηματική διαδικασία και διαδικασίες
  • Πρόβλημα απόκτησης και δημιουργίας δεδομένων δοκιμών
  • Ασταθές περιβάλλον δοκιμών
  • Λείπουν πληροφορίες ροής επιχείρησης

Τα δεδομένα είναι σημαντικά για τις επιχειρήσεις να λαμβάνουν τις κρίσιμες επιχειρηματικές αποφάσεις. Η δοκιμή ETL παίζει σημαντικό ρόλο στην επικύρωση και τη διασφάλιση ότι οι πληροφορίες της επιχείρησης είναι ακριβείς, συνεπείς και αξιόπιστες. Επίσης, ελαχιστοποιεί τον κίνδυνο απώλειας δεδομένων στην παραγωγή.

Ελπίζω αυτές οι συμβουλές να σας βοηθήσουν να διασφαλίσετε ότι η διαδικασία ETL σας είναι ακριβής και η κατασκευή της αποθήκης δεδομένων από αυτό αποτελεί ανταγωνιστικό πλεονέκτημα για την επιχείρησή σας.

Πλήρης κατάλογος εκπαιδευτικών μαθημάτων ETL:

  • Εκμάθηση # 1 : Οδηγός εισαγωγής ETL Testing Data Warehouse Testing
  • Εκμάθηση # 2 : Δοκιμή ETL με χρήση του εργαλείου Informatica PowerCenter
  • Εκμάθηση # 3 : Δοκιμή ETL εναντίον DB
  • Εκμάθηση # 4 : Δοκιμή επιχειρησιακής νοημοσύνης (BI): Τρόπος δοκιμής επιχειρηματικών δεδομένων
  • Εκμάθηση # 5 : Κορυφαία 10 εργαλεία δοκιμής ETL

Αυτή είναι μια θέση επισκεπτών από τον Vishal Chhaperia, ο οποίος εργάζεται σε ένα MNC σε ρόλο διαχείρισης δοκιμών. Διαθέτει εκτεταμένη εμπειρία στη διαχείριση έργων, διαδικασιών και ομάδων πολλαπλών τεχνολογιών QA.

Έχετε εργαστεί στις δοκιμές ETL; Μοιραστείτε τις παρακάτω συμβουλές και προκλήσεις δοκιμών ETL / DW.

Συνιστώμενη ανάγνωση

^