Κανόνες εκμάθησης Neural Network - Εκμάθηση Perceptron & Hebbian

neural network learning rules perceptron hebbian learning

Αυτό το σε βάθος σεμινάριο για τους κανόνες εκμάθησης νευρωνικών δικτύων εξηγεί τον αλγόριθμο εκμάθησης Hebbian και Perceptron Learning με παραδείγματα:

Στο προηγούμενο σεμινάριό μας συζητήσαμε για Τεχνητό νευρωνικό δίκτυο που είναι μια αρχιτεκτονική ενός μεγάλου αριθμού διασυνδεδεμένων στοιχείων που ονομάζονται νευρώνες.

Αυτοί οι νευρώνες επεξεργάζονται την εισερχόμενη είσοδο για να δώσουν την επιθυμητή έξοδο. Οι κόμβοι ή οι νευρώνες συνδέονται με εισόδους, βάρη σύνδεσης και λειτουργίες ενεργοποίησης.

Το κύριο χαρακτηριστικό ενός νευρικού δικτύου είναι η ικανότητά του να μαθαίνει. Τα νευρικά δίκτυα εκπαιδεύονται με γνωστά παραδείγματα. Μόλις εκπαιδευτεί το δίκτυο, μπορεί να χρησιμοποιηθεί για την επίλυση των άγνωστων τιμών του προβλήματος.

=> Διαβάστε ολόκληρη τη σειρά εκπαίδευσης μηχανικής εκμάθησης

Το Νευρωνικό Δίκτυο μαθαίνει μέσω διαφόρων προγραμμάτων μάθησης που κατηγοριοποιούνται ως εποπτευόμενη ή μη εποπτευόμενη μάθηση.

Στους εποπτευόμενους αλγόριθμους μάθησης, οι τιμές-στόχοι είναι γνωστές στο δίκτυο. Προσπαθεί να μειώσει το σφάλμα μεταξύ της επιθυμητής εξόδου (στόχος) και της πραγματικής εξόδου για βέλτιστη απόδοση. Σε αλγορίθμους μάθησης χωρίς επίβλεψη, οι τιμές-στόχοι είναι άγνωστες και το δίκτυο μαθαίνει από μόνο του προσδιορίζοντας τα κρυμμένα μοτίβα στην είσοδο σχηματίζοντας συστάδες κ.λπ.

Ένα ANN αποτελείται από 3 μέρη, δηλαδή είσοδο, κρυφό στρώμα και επίπεδο εξόδου. Υπάρχει ένα μόνο επίπεδο εισόδου και επίπεδο εξόδου, ενώ ενδέχεται να μην υπάρχει κρυφό επίπεδο ή 1 ή περισσότερα κρυφά στρώματα που ενδέχεται να υπάρχουν στο δίκτυο. Με βάση αυτή τη δομή, το ANN ταξινομείται σε δίκτυα ενός επιπέδου, πολλαπλών επιπέδων, τροφοδοσίας ή επαναλαμβανόμενων δικτύων.

Τι θα μάθετε:

πού χρησιμοποιείται σήμερα το c ++

• Σημαντική ορολογία ANN
• Σύγκριση κανόνων εκμάθησης νευρωνικών δικτύων
  • Ταξινόμηση αλγορίθμων εποπτευόμενης μάθησης
    • # 1) Εκμάθηση κλίσης κλίσης
    • # 2) Στοχαστική μάθηση
  • Ταξινόμηση αλγορίθμων μάθησης χωρίς επίβλεψη
    • # 1) Εκμάθηση Hebbian
    • # 2) Ανταγωνιστική μάθηση
  • Mc Culloch-Pitts Neuron
  • Αλγόριθμος εκμάθησης Hebbian
    • Παράδειγμα κανόνα εκμάθησης Hebbian
  • Αλγόριθμος εκμάθησης Perceptron
    • Παράδειγμα κανόνα εκμάθησης Perceptron
  • Widrow Hoff Learning Αλγόριθμος
• συμπέρασμα
  • Συνιστώμενη ανάγνωση

Σημαντική ορολογία ANN

Πριν ταξινομήσουμε τους διάφορους κανόνες μάθησης στο ANN, ας καταλάβουμε ορισμένες σημαντικές ορολογίες που σχετίζονται με το ANN.

# 1) Βάρη: Σε ένα ANN, κάθε νευρώνας συνδέεται με τους άλλους νευρώνες μέσω συνδέσμων σύνδεσης. Αυτοί οι σύνδεσμοι έχουν βάρος. Το βάρος έχει πληροφορίες σχετικά με το σήμα εισόδου στον νευρώνα. Τα βάρη και το σήμα εισόδου χρησιμοποιούνται για τη λήψη εξόδου. Τα βάρη μπορούν να δηλωθούν σε μορφή μήτρας που ονομάζεται επίσης μήτρα σύνδεσης.

Κάθε νευρώνας συνδέεται με κάθε άλλο νευρώνα του επόμενου στρώματος με βάρη σύνδεσης. Επομένως, εάν υπάρχουν κόμβοι 'n' και κάθε κόμβος έχει βάρη 'm', τότε η μήτρα βάρους θα είναι:

Το W1 αντιπροσωπεύει τον φορέα βάρους ξεκινώντας από τον κόμβο 1. Το W11 αντιπροσωπεύει τον φορέα βάρους από το 1^αγκόμβος του προηγούμενου στρώματος στο 1^αγκόμβος του επόμενου επιπέδου. Παρομοίως, το wij αντιπροσωπεύει τον φορέα βάρους από το στοιχείο επεξεργασίας 'ith' (νευρώνας) έως το στοιχείο επεξεργασίας 'jth' του επόμενου στρώματος.

# 2) προκατάληψη : Η προκατάληψη προστίθεται στο δίκτυο προσθέτοντας ένα στοιχείο εισόδου x (b) = 1 στο διάνυσμα εισόδου. Η μεροληψία φέρει επίσης ένα βάρος που υποδηλώνεται με το w (b).

Η προκατάληψη παίζει σημαντικό ρόλο στον υπολογισμό της εξόδου του νευρώνα. Η μεροληψία μπορεί να είναι θετική ή αρνητική. Η θετική προκατάληψη αυξάνει το καθαρό βάρος εισόδου ενώ η αρνητική προκατάληψη μειώνει την καθαρή είσοδο.

# 3) Όριο: Μια τιμή κατωφλίου χρησιμοποιείται στη συνάρτηση ενεργοποίησης. Η καθαρή είσοδος συγκρίνεται με το κατώφλι για να πάρει την έξοδο. Στο NN, η συνάρτηση ενεργοποίησης ορίζεται με βάση την τιμή κατωφλίου και υπολογίζεται η έξοδος.

Η τιμή κατωφλίου είναι:

# 4) Ποσοστό εκμάθησης : Δηλώνεται με άλφα; Το ποσοστό εκμάθησης κυμαίνεται από 0 έως 1. Χρησιμοποιείται για προσαρμογή βάρους κατά τη διαδικασία μάθησης του ΝΝ.

# 5) Συντελεστής ορμής : Προστίθεται για ταχύτερη σύγκλιση των αποτελεσμάτων. Ο παράγοντας ορμής προστίθεται στο βάρος και χρησιμοποιείται γενικά σε δίκτυα backpropagation.

Σύγκριση κανόνων εκμάθησης νευρωνικών δικτύων

Η ταξινόμηση των διαφόρων τύπων μάθησης του ANN φαίνεται παρακάτω.

Ταξινόμηση αλγορίθμων εποπτευόμενης μάθησης

1. Κάθοδος κλίσης
2. Στοχαστικό

# 1) Εκμάθηση κλίσης κλίσης

Σε αυτόν τον τύπο εκμάθησης, η μείωση των σφαλμάτων λαμβάνει χώρα με τη βοήθεια βαρών και τη λειτουργία ενεργοποίησης του δικτύου. Η λειτουργία ενεργοποίησης πρέπει να είναι διαφοροποιήσιμη.

Η προσαρμογή των βαρών εξαρτάται από τη βαθμίδα σφάλματος E σε αυτήν τη μάθηση. Ο κανόνας backpropagation είναι ένα παράδειγμα αυτού του τύπου μάθησης. Έτσι, η ρύθμιση βάρους ορίζεται ως

# 2) Στοχαστική μάθηση

Σε αυτή τη μάθηση, τα βάρη προσαρμόζονται με πιθανοτικό τρόπο.

Ταξινόμηση αλγορίθμων μάθησης χωρίς επίβλεψη

1. Εβραίος
2. Ανταγωνιστικός

# 1) Εκμάθηση Hebbian

Αυτή η μάθηση προτάθηκε από τον Hebb το 1949. Βασίζεται στη συσχετιστική προσαρμογή των βαρών. Τα ζεύγη προτύπων εισόδου και εξόδου συνδέονται με μια μήτρα βάρους, W.

Η μεταφορά της εξόδου λαμβάνεται για ρύθμιση βάρους.

# 2) Ανταγωνιστική μάθηση

Είναι ένας νικητής παίρνει όλη τη στρατηγική. Σε αυτόν τον τύπο εκμάθησης, όταν ένα μοτίβο εισόδου αποστέλλεται στο δίκτυο, όλοι οι νευρώνες στο στρώμα ανταγωνίζονται και μόνο οι νικητές που κερδίζουν έχουν ρυθμίσεις βάρους.

Mc Culloch-Pitts Neuron

Επίσης γνωστό ως M-P Neuron, αυτό είναι το παλαιότερο νευρωνικό δίκτυο που ανακαλύφθηκε το 1943. Σε αυτό το μοντέλο, οι νευρώνες συνδέονται με βάρη σύνδεσης και η λειτουργία ενεργοποίησης χρησιμοποιείται σε δυαδικά. Το κατώφλι χρησιμοποιείται για να προσδιορίσει εάν ο νευρώνας θα πυροδοτήσει ή όχι.

Η λειτουργία του νευρώνα M-P είναι:

Αλγόριθμος εκμάθησης Hebbian

Δίκτυο Hebb δηλώθηκε από τον Donald Hebb το 1949. Σύμφωνα με τον κανόνα του Hebb, τα βάρη βρέθηκαν να αυξάνονται αναλογικά με το προϊόν της εισόδου και της παραγωγής. Αυτό σημαίνει ότι σε ένα δίκτυο Hebb εάν δύο νευρώνες είναι διασυνδεδεμένοι, τότε τα βάρη που σχετίζονται με αυτούς τους νευρώνες μπορούν να αυξηθούν με αλλαγές στο συναπτικό κενό.

Αυτό το δίκτυο είναι κατάλληλο για διπολικά δεδομένα. Ο κανόνας εκμάθησης Hebbian εφαρμόζεται γενικά στις λογικές πύλες.

Τα βάρη ενημερώνονται ως:

W (νέο) = w (παλιό) + x * y

Εκπαιδευτικός αλγόριθμος για κανόνα εκμάθησης Hebbian

Τα βήματα εκπαίδευσης του αλγορίθμου είναι τα εξής:

• Αρχικά, τα βάρη είναι μηδέν, δηλαδή w = 0 για όλες τις εισόδους i = 1 έως n και το n είναι ο συνολικός αριθμός των νευρώνων εισόδου.
• Ας είμαστε η έξοδος. Η λειτουργία ενεργοποίησης για εισόδους ορίζεται γενικά ως συνάρτηση ταυτότητας.
• Η συνάρτηση ενεργοποίησης για έξοδο ρυθμίζεται επίσης σε y = t.
• Οι ρυθμίσεις βάρους και η μεροληψία προσαρμόζονται σε:

• Τα βήματα 2 έως 4 επαναλαμβάνονται για κάθε φορέα εισόδου και έξοδο.

Παράδειγμα κανόνα εκμάθησης Hebbian

Ας εφαρμόσουμε τη λογική συνάρτηση AND με διπολικές εισόδους χρησιμοποιώντας Hebbian Learning

Τα X1 και X2 είναι είσοδοι, b είναι η μεροληψία που λαμβάνεται ως 1, η τιμή-στόχος είναι η έξοδος της λογικής λειτουργίας AND έναντι των εισόδων.

# 1) Αρχικά, τα βάρη ρυθμίζονται στο μηδέν και η προκατάληψη ορίζεται επίσης ως μηδέν.

W1 = w2 = b = 0

#δύο) Το πρώτο διάνυσμα εισόδου λαμβάνεται ως (x1 x2 b) = (1 1 1) και η τιμή στόχος είναι 1.

Τα νέα βάρη θα είναι:

# 3) Τα παραπάνω βάρη είναι τα τελευταία νέα βάρη. Όταν περάσει η δεύτερη είσοδος, αυτά γίνονται τα αρχικά βάρη.

# 4) Πάρτε τη δεύτερη είσοδο = (1 -1 1). Ο στόχος είναι -1.

# 5) Ομοίως, υπολογίζονται οι άλλες είσοδοι και βάρη.

Ο παρακάτω πίνακας δείχνει όλες τις εισόδους:

Hebb Net για λειτουργία AND

Αλγόριθμος εκμάθησης Perceptron

Τα δίκτυα Perceptron είναι δίκτυα προώθησης μίας στρώσης. Αυτά ονομάζονται επίσης δίκτυα ενιαίου Perceptron. Το Perceptron αποτελείται από ένα επίπεδο εισόδου, ένα κρυφό επίπεδο και ένα επίπεδο εξόδου.

Το επίπεδο εισόδου συνδέεται με το κρυφό στρώμα μέσω βαρών που μπορεί να είναι ανασταλτικά ή διεγερτικά ή μηδέν (-1, +1 ή 0). Η συνάρτηση ενεργοποίησης που χρησιμοποιείται είναι μια συνάρτηση δυαδικού βήματος για το επίπεδο εισόδου και το κρυφό επίπεδο.

Η έξοδος είναι

Y = f (y)

Η λειτουργία ενεργοποίησης είναι:

Η ενημέρωση βάρους πραγματοποιείται μεταξύ του κρυφού στρώματος και του επιπέδου εξόδου για να ταιριάζει με την έξοδο στόχο. Το σφάλμα υπολογίζεται με βάση την πραγματική έξοδο και την επιθυμητή έξοδο.

Εάν η έξοδος ταιριάζει με τον στόχο, τότε δεν πραγματοποιείται ενημέρωση βάρους. Τα βάρη αρχικά ρυθμίζονται σε 0 ή 1 και ρυθμίζονται διαδοχικά έως ότου βρεθεί μια βέλτιστη λύση.

Τα βάρη στο δίκτυο μπορούν να οριστούν αρχικά σε οποιεσδήποτε τιμές. Η εκμάθηση Perceptron θα συγκλίνει σε διανύσματα βάρους που δίνει τη σωστή έξοδο για όλα τα πρότυπα εκπαίδευσης εισόδου και αυτή η εκμάθηση συμβαίνει σε έναν πεπερασμένο αριθμό βημάτων.

Ο κανόνας Perceptron μπορεί να χρησιμοποιηθεί τόσο για δυαδικές όσο και για διπολικές εισόδους.

Κανόνας εκμάθησης για ένα ενιαίο Perceptron εξόδου

# 1) Ας υπάρξουν 'n' εκπαιδευτικά διανύσματα εισόδου και τα x (n) και t (n) σχετίζονται με τις τιμές-στόχους.

#δύο) Αρχικοποιήστε τα βάρη και την προκατάληψη. Ορίστε τα στο μηδέν για εύκολο υπολογισμό.

# 3) Αφήστε το μαθησιακό ποσοστό να είναι 1.

# 4) Το επίπεδο εισόδου έχει συνάρτηση ενεργοποίησης ταυτότητας έτσι x (i) = s (i).

# 5) Για να υπολογίσετε την έξοδο του δικτύου:

# 6) Η λειτουργία ενεργοποίησης εφαρμόζεται μέσω της καθαρής εισόδου για να ληφθεί έξοδος.

# 7) Με βάση την έξοδο, συγκρίνετε την επιθυμητή τιμή-στόχο (t) και την πραγματική έξοδο.

# 8) Συνεχίστε την επανάληψη έως ότου δεν υπάρξει αλλαγή βάρους. Σταματήστε μόλις επιτευχθεί αυτή η κατάσταση.

Κανόνας εκμάθησης για πολλαπλά αποτελέσματα Perceptron

# 1) Ας υπάρξουν 'n' εκπαιδευτικά διανύσματα εισόδου και τα x (n) και t (n) σχετίζονται με τις τιμές-στόχους.

#δύο) Αρχικοποιήστε τα βάρη και την προκατάληψη. Ορίστε τα στο μηδέν για εύκολο υπολογισμό.

# 3) Αφήστε το μαθησιακό ποσοστό να είναι 1.

# 4) Το επίπεδο εισόδου έχει συνάρτηση ενεργοποίησης ταυτότητας έτσι x (i) = s (i).

# 5) Για τον υπολογισμό της εξόδου κάθε διανύσματος εξόδου από j = 1 έως m, η καθαρή είσοδος είναι:

# 6) Η λειτουργία ενεργοποίησης εφαρμόζεται μέσω της καθαρής εισόδου για να ληφθεί έξοδος.

# 7) Με βάση την έξοδο, συγκρίνετε την επιθυμητή τιμή-στόχο (t) και την πραγματική έξοδο και κάντε προσαρμογές βάρους.

w είναι ο φορέας βάρους των συνδέσεων σύνδεσης μεταξύ ith εισόδου και jth εξόδου νευρώνα και t είναι η έξοδος στόχος για τη μονάδα εξόδου j.

# 8) Συνεχίστε την επανάληψη έως ότου δεν υπάρξει αλλαγή βάρους. Σταματήστε μόλις επιτευχθεί αυτή η κατάσταση.

Παράδειγμα κανόνα εκμάθησης Perceptron

Υλοποίηση της λειτουργίας AND χρησιμοποιώντας ένα δίκτυο Perceptron για διπολικές εισόδους και έξοδο.

Το μοτίβο εισόδου θα είναι x1, x2 και πόλωση b. Αφήστε τα αρχικά βάρη να είναι 0 και η μεροληψία να είναι 0. Το όριο είναι μηδέν και το ποσοστό εκμάθησης είναι 1.

ΚΑΙ Πύλη

# 1) X1 = 1, X2 = 1 και έξοδος στόχου = 1
W1 = w2 = wb = 0 και x1 = x2 = b = 1, t = 1
Καθαρή είσοδος = y = b + x1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0

Καθώς το κατώτατο όριο είναι μηδέν:

Από εδώ έχουμε, έξοδο = 0. Τώρα ελέγξτε αν η έξοδος (y) = στόχος (t).

y = 0 αλλά t = 1 που σημαίνει ότι αυτά δεν είναι ίδια, επομένως πραγματοποιείται ενημέρωση βάρους.

Τα νέα βάρη είναι 1, 1 και 1 μετά την παρουσίαση του πρώτου διανύσματος εισόδου.

#δύο) X1 = 1 X2 = -1, b = 1 και στόχος = -1, W1 = 1, W2 = 2, Wb = 1
Καθαρή είσοδος = y = b + x1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
Η καθαρή έξοδος για είσοδο = 1 θα είναι 1 από:

Επομένως και πάλι, ο στόχος = -1 δεν ταιριάζει με την πραγματική έξοδο = 1. Πραγματοποιούνται ενημερώσεις βάρους.

Τώρα τα νέα βάρη είναι w1 = 0 w2 = 2 και wb = 0

Ομοίως, συνεχίζοντας με το επόμενο σύνολο εισόδων, λαμβάνουμε τον ακόλουθο πίνακα:

Τα EPOCHS είναι ο κύκλος των προτύπων εισόδου που τροφοδοτούνται στο σύστημα έως ότου δεν απαιτείται αλλαγή βάρους και η επανάληψη σταματά.

Widrow Hoff Learning Αλγόριθμος

Επίσης γνωστός ως Κανόνας του Δέλτα , ακολουθεί τον κανόνα διαβάθμισης κλίσης για γραμμική παλινδρόμηση.

Ενημερώνει τα βάρη σύνδεσης με τη διαφορά μεταξύ του στόχου και της τιμής εξόδου. Είναι ο λιγότερο μέσος αλγόριθμος τετραγωνικής μάθησης που εμπίπτει στην κατηγορία του αλγόριθμου εποπτευόμενης μάθησης.

Αυτός ο κανόνας ακολουθείται από το ADALINE (Adaptive Linear Neural Networks) και το MADALINE. Σε αντίθεση με το Perceptron, οι επαναλήψεις των δικτύων Adaline δεν σταματούν, αλλά συγκλίνει μειώνοντας το ελάχιστο μέσο τετράγωνο σφάλμα. Το MADALINE είναι ένα δίκτυο περισσοτέρων του ενός ADALINE.

Το κίνητρο του κανόνα εκμάθησης δέλτα είναι να ελαχιστοποιηθεί το σφάλμα μεταξύ της εξόδου και του διανύσματος στόχου.

Τα βάρη στα δίκτυα ADALINE ενημερώνονται από:

Λιγότερο μέσο τετράγωνο σφάλμα = (t- y_σε)^δύο, Το ADALINE συγκλίνει όταν επιτυγχάνεται το ελάχιστο μέσο τετράγωνο σφάλμα.

συμπέρασμα

Σε αυτό το σεμινάριο, έχουμε συζητήσει τους δύο αλγόριθμους, δηλαδή τον κανόνα εκμάθησης Hebbian και τον κανόνα εκμάθησης Perceptron. Ο κανόνας Hebbian βασίζεται στον κανόνα ότι ο φορέας βάρους αυξάνεται αναλογικά με το σήμα εισόδου και εκμάθησης, δηλαδή την έξοδο. Τα βάρη αυξάνονται προσθέτοντας το προϊόν της εισόδου και της εξόδου στο παλιό βάρος.

W (νέο) = w (παλιό) + x * y

Η εφαρμογή των κανόνων Hebb έγκειται σε προβλήματα συσχέτισης, ταξινόμησης και κατηγοριοποίησης.

Ο κανόνας εκμάθησης Perceptron μπορεί να εφαρμοστεί τόσο στο δίκτυο μεμονωμένων εξόδων όσο και σε πολλαπλές τάξεις εξόδου. Ο στόχος του δικτύου perceptron είναι να ταξινομήσει το μοτίβο εισόδου σε μια συγκεκριμένη κατηγορία μέλους. Οι νευρώνες εισόδου και ο νευρώνας εξόδου συνδέονται μέσω συνδέσμων που έχουν βάρη.

Τα βάρη ρυθμίζονται ώστε να ταιριάζουν με την πραγματική έξοδο με την τιμή-στόχο. Το ποσοστό εκμάθησης ορίζεται από 0 έως 1 και καθορίζει την επεκτασιμότητα των βαρών.

Τα βάρη ενημερώνονται σύμφωνα με:

Εκτός από αυτούς τους κανόνες εκμάθησης, οι αλγόριθμοι μηχανικής μάθησης μαθαίνουν μέσω πολλών άλλων μεθόδων, δηλαδή εποπτευόμενοι, μη εποπτευόμενοι, ενίσχυση. Μερικοί από τους άλλους κοινούς αλγόριθμους ML είναι Back Propagation, ART, Kohonen Self Organizing Maps κ.λπ.

Ελπίζουμε να απολαύσατε όλα τα σεμινάρια από αυτήν τη σειρά Machine Learning !!

=> Επισκεφθείτε εδώ για τη σειρά αποκλειστικής μηχανικής εκμάθησης

Συνιστώμενη ανάγνωση

• Ένας πλήρης οδηγός για το τεχνητό νευρικό δίκτυο στη μηχανική μάθηση
• Τύποι μηχανικής μάθησης: Εποπτευόμενη μάθηση χωρίς επίβλεψη
• Data Mining Vs Machine Learning Vs Artificial Intelligence Vs Deep Learning
• Δοκιμή ασφάλειας δικτύου και καλύτερα εργαλεία ασφάλειας δικτύου
• 11 πιο δημοφιλή εργαλεία λογισμικού μηχανικής εκμάθησης το 2021
• Εκμάθηση μηχανικής εκμάθησης: Εισαγωγή στο ML και τις εφαρμογές του
• 15 καλύτερα εργαλεία σάρωσης δικτύου (σαρωτής δικτύου και IP) του 2021
• Κορυφαία 30 Εργαλεία δοκιμών δικτύου (Εργαλεία διάγνωσης απόδοσης δικτύου)