μέθοδος κλίσης. Επισκόπηση μεθόδων κλίσης σε προβλήματα μαθηματικής βελτιστοποίησης

Μέθοδος κλίσης καθόδου.

Η κατεύθυνση της πιο απότομης καθόδου αντιστοιχεί στην κατεύθυνση της μεγαλύτερης μείωσης της συνάρτησης. Είναι γνωστό ότι η κατεύθυνση της μεγαλύτερης αύξησης της συνάρτησης δύο μεταβλητών u = f(x, y) χαρακτηρίζεται από την κλίση της:

όπου e1, e2 - μοναδιαία διανύσματα(orts) προς την κατεύθυνση των αξόνων συντεταγμένων. Επομένως, η κατεύθυνση αντίθετη από τη διαβάθμιση θα υποδεικνύει την κατεύθυνση της μεγαλύτερης μείωσης στη συνάρτηση. Οι μέθοδοι που βασίζονται στην επιλογή μιας διαδρομής βελτιστοποίησης χρησιμοποιώντας μια κλίση καλούνται βαθμίδα.

Η ιδέα πίσω από τη μέθοδο gradient descent είναι η εξής. Επιλέγοντας κάποιο σημείο εκκίνησης

υπολογίζουμε τη διαβάθμιση της εξεταζόμενης συνάρτησης σε αυτήν. Κάνουμε ένα βήμα προς την αντίθετη κατεύθυνση από την κλίση:

Η διαδικασία συνεχίζεται μέχρι να ληφθεί η μικρότερη τιμή. αντικειμενική λειτουργία. Αυστηρά μιλώντας, το τέλος της αναζήτησης θα έρθει όταν η κίνηση από το ληφθέν σημείο με οποιοδήποτε βήμα οδηγεί σε αύξηση της τιμής της αντικειμενικής συνάρτησης. Εάν επιτευχθεί το ελάχιστο της συνάρτησης εντός της εξεταζόμενης περιοχής, τότε σε αυτό το σημείο η διαβάθμιση είναι ίση με μηδέν, η οποία μπορεί επίσης να χρησιμεύσει ως σήμα για το τέλος της διαδικασίας βελτιστοποίησης.

Η μέθοδος κλίσης καθόδου έχει το ίδιο μειονέκτημα με τη μέθοδο συντεταγμένης καθόδου: παρουσία χαράδρων στην επιφάνεια, η σύγκλιση της μεθόδου είναι πολύ αργή.

Στην περιγραφόμενη μέθοδο, απαιτείται ο υπολογισμός της διαβάθμισης της αντικειμενικής συνάρτησης f(x) σε κάθε βήμα βελτιστοποίησης:

Οι τύποι για μερικές παραγώγους μπορούν να ληφθούν ρητά μόνο όταν η αντικειμενική συνάρτηση δίνεται αναλυτικά. Διαφορετικά, αυτές οι παράγωγοι υπολογίζονται χρησιμοποιώντας αριθμητική διαφοροποίηση:

Όταν χρησιμοποιείται βαθμιδωτή κάθοδος σε προβλήματα βελτιστοποίησης, ο κύριος αριθμός υπολογισμών συνήθως πέφτει στον υπολογισμό της κλίσης της αντικειμενικής συνάρτησης σε κάθε σημείο της τροχιάς καθόδου. Ως εκ τούτου, συνιστάται να μειώσετε τον αριθμό τέτοιων σημείων χωρίς να διακυβεύεται η ίδια η λύση. Αυτό επιτυγχάνεται σε ορισμένες μεθόδους που είναι τροποποιήσεις gradient descent. Ένα από αυτά είναι η πιο απότομη μέθοδος καθόδου. Σύμφωνα με αυτή τη μέθοδο, μετά τον προσδιορισμό της κατεύθυνσης αντίθετης από την κλίση της αντικειμενικής συνάρτησης στο αρχικό σημείο, επιλύεται ένα μονοδιάστατο πρόβλημα βελτιστοποίησης ελαχιστοποιώντας τη συνάρτηση κατά μήκος αυτής της κατεύθυνσης. Δηλαδή, η συνάρτηση ελαχιστοποιείται:

Για ελαχιστοποίηση μπορεί να χρησιμοποιηθεί μία από τις μεθόδους μονοδιάστατης βελτιστοποίησης. Είναι επίσης δυνατό να κινηθείτε απλώς προς την αντίθετη κατεύθυνση από τη διαβάθμιση, ενώ δεν κάνετε ένα βήμα, αλλά πολλά βήματα μέχρι να σταματήσει η μείωση της αντικειμενικής συνάρτησης. Στο νέο σημείο που βρέθηκε, η κατεύθυνση της κάθοδος προσδιορίζεται και πάλι (χρησιμοποιώντας μια κλίση) και ένα νέο ελάχιστο σημείο της αντικειμενικής συνάρτησης κ.λπ. υπολογίζεται σε λιγότεροισημεία. Η διαφορά είναι ότι εδώ η κατεύθυνση της μονοδιάστατης βελτιστοποίησης καθορίζεται από την κλίση της αντικειμενικής συνάρτησης, ενώ η κατά συντεταγμένη κάθοδος πραγματοποιείται σε κάθε βήμα κατά μήκος μιας από τις κατευθύνσεις συντεταγμένων.

Μέθοδος απότομης καθόδου για την περίπτωση συνάρτησης δύο μεταβλητών z = f(x,y).

Πρώτον, είναι εύκολο να δείξουμε ότι η κλίση της συνάρτησης είναι κάθετη στην εφαπτομένη στη γραμμή στάθμης σε ένα δεδομένο σημείο. Επομένως, στις μεθόδους κλίσης, η κάθοδος συμβαίνει κατά μήκος της γραμμής κανονικής προς την στάθμη. Δεύτερον, στο σημείο όπου επιτυγχάνεται το ελάχιστο της αντικειμενικής συνάρτησης κατά μήκος της διεύθυνσης, η παράγωγος της συνάρτησης κατά μήκος αυτής της κατεύθυνσης εξαφανίζεται. Όμως η παράγωγος της συνάρτησης είναι μηδέν προς την κατεύθυνση της εφαπτομένης στη γραμμή στάθμης. Συνεπάγεται ότι η κλίση της αντικειμενικής συνάρτησης στο νέο σημείο είναι κάθετη προς την κατεύθυνση της μονοδιάστατης βελτιστοποίησης στο προηγούμενο βήμα, δηλ. η κάθοδος σε δύο διαδοχικά βήματα πραγματοποιείται σε αμοιβαία κάθετες κατευθύνσεις.

μέθοδοι κλίσης

Οι μέθοδοι βελτιστοποίησης χωρίς περιορισμούς κλίσης χρησιμοποιούν μόνο τις πρώτες παραγώγους της αντικειμενικής συνάρτησης και είναι μέθοδοι γραμμικής προσέγγισης σε κάθε βήμα, δηλ. η αντικειμενική συνάρτηση σε κάθε βήμα αντικαθίσταται από ένα εφαπτόμενο υπερεπίπεδο στο γράφημά της στο τρέχον σημείο.

Στο κ-ο στάδιομεθόδους κλίσης, η μετάβαση από το σημείο Xk στο σημείο Xk+1 περιγράφεται από τη σχέση:

όπου k είναι το μέγεθος βήματος, k είναι ένα διάνυσμα προς την κατεύθυνση Xk+1-Xk.

Οι πιο απότομες μέθοδοι καθόδου

Για πρώτη φορά, μια τέτοια μέθοδος εξετάστηκε και εφαρμόστηκε από τον O. Cauchy τον 18ο αιώνα. Η ιδέα του είναι απλή: η κλίση της αντικειμενικής συνάρτησης f(X) σε οποιοδήποτε σημείο είναι ένα διάνυσμα προς την κατεύθυνση της μεγαλύτερης αύξησης της τιμής της συνάρτησης. Επομένως, η αντιδιαβάθμιση θα κατευθύνεται προς τη μεγαλύτερη μείωση της συνάρτησης και είναι η κατεύθυνση της πιο απότομης καθόδου. Η αντικλίση (και η κλίση) είναι ορθογώνια στην επίπεδη επιφάνεια f(X) στο σημείο Χ. Αν στο (1.2) εισάγουμε την κατεύθυνση

τότε αυτή θα είναι η κατεύθυνση της πιο απότομης καθόδου στο σημείο Xk.

Παίρνουμε τον τύπο μετάβασης από το Xk στο Xk+1:

Το anti-gradient δίνει μόνο την κατεύθυνση της καθόδου, όχι το μέγεθος του βήματος. ΣΤΟ γενική περίπτωσηένα βήμα δεν δίνει ελάχιστο βαθμό, επομένως η διαδικασία καθόδου πρέπει να εφαρμοστεί πολλές φορές. Στο ελάχιστο σημείο, όλα τα στοιχεία της κλίσης είναι ίσα με μηδέν.

Όλες οι μέθοδοι κλίσης χρησιμοποιούν την παραπάνω ιδέα και διαφέρουν μεταξύ τους σε τεχνικές λεπτομέρειες: υπολογισμός παραγώγων με αναλυτικό τύπο ή προσέγγιση πεπερασμένων διαφορών. το μέγεθος του βήματος μπορεί να είναι σταθερό, να αλλάζει σύμφωνα με κάποιους κανόνες ή να επιλεγεί μετά την εφαρμογή μονοδιάστατων μεθόδων βελτιστοποίησης προς την κατεύθυνση της αντιδιαβάθμισης κ.λπ. και τα λοιπά.

Δεν θα σταθούμε λεπτομερώς, γιατί. Η μέθοδος της πιο απότομης κατάβασης γενικά δεν συνιστάται ως σοβαρή διαδικασία βελτιστοποίησης.

Ένα από τα μειονεκτήματα αυτής της μεθόδου είναι ότι συγκλίνει σε οποιοδήποτε ακίνητο σημείο, συμπεριλαμβανομένου του σημείου σέλας, το οποίο δεν μπορεί να αποτελέσει λύση.

Αλλά το πιο σημαντικό είναι η πολύ αργή σύγκλιση της πιο απότομης κατάβασης στη γενική περίπτωση. Το θέμα είναι ότι η κατάβαση είναι «η πιο γρήγορη» με την τοπική έννοια. Εάν ο υπερχώρος αναζήτησης είναι έντονα επιμήκης ("φαράγγι"), τότε η αντίστροφη κλίση κατευθύνεται σχεδόν ορθογώνια προς το κάτω μέρος της "ρεματιάς", δηλ. η καλύτερη κατεύθυνση για να φτάσετε στο ελάχιστο. Υπό αυτή την έννοια, μια άμεση μετάφραση Αγγλικός όρος«πιο απότομη κατάβαση», δηλ. η κάθοδος κατά μήκος της πιο απότομης πλαγιάς είναι πιο συνεπής με την κατάσταση των πραγμάτων παρά ο όρος "ο ταχύτερος" που υιοθετείται στη ρωσόφωνη εξειδικευμένη βιβλιογραφία. Μία διέξοδος σε αυτήν την περίπτωση είναι να χρησιμοποιήσετε τις πληροφορίες που δίνονται από τις δεύτερες μερικές παράγωγες. Μια άλλη διέξοδος είναι να αλλάξετε τις κλίμακες των μεταβλητών.

γραμμική κλίση παραγώγου προσέγγισης

Μέθοδος συζυγούς κλίσης Fletcher-Reeves

Η μέθοδος συζυγούς κλίσης κατασκευάζει μια ακολουθία κατευθύνσεων αναζήτησης που είναι γραμμικοί συνδυασμοί της τρέχουσας πιο απότομης κατεύθυνσης καθόδου και των προηγούμενων κατευθύνσεων αναζήτησης, δηλ.

και οι συντελεστές επιλέγονται έτσι ώστε οι οδηγίες αναζήτησης να συζευχθούν. Το απέδειξε

και αυτό είναι ένα πολύ πολύτιμο αποτέλεσμα που σας επιτρέπει να δημιουργήσετε έναν γρήγορο και αποτελεσματικό αλγόριθμο βελτιστοποίησης.

Αλγόριθμος Fletcher-Reeves

1. Στο Χ0 υπολογίζεται.

2. Στο kο βήμα, χρησιμοποιώντας μονοδιάστατη αναζήτηση προς την κατεύθυνση, βρίσκεται το ελάχιστο της f(X), που καθορίζει το σημείο Xk+1.

• 3. Υπολογίστε f(Xk+1) και.
• 4. Η κατεύθυνση καθορίζεται από την αναλογία:

• 5. Μετά την επανάληψη (n+1)-th (δηλαδή με k=n), εκτελείται επανεκκίνηση: Υποτίθεται ότι X0=Xn+1 και εκτελείται η μετάβαση στο βήμα 1.
• 6. Ο αλγόριθμος σταματά όταν

όπου είναι μια αυθαίρετη σταθερά.

Το πλεονέκτημα του αλγόριθμου Fletcher-Reeves είναι ότι δεν απαιτεί αντιστροφή μήτρας και εξοικονομεί μνήμη υπολογιστή, αφού δεν χρειάζεται τους πίνακες που χρησιμοποιούνται στις νευτώνειες μεθόδους, αλλά ταυτόχρονα είναι σχεδόν εξίσου αποτελεσματικός με τους οιονεί νευτώνειους αλγόριθμους. Επειδή Οι οδηγίες αναζήτησης είναι αμοιβαία συζευγμένες, τότε η τετραγωνική συνάρτηση θα ελαχιστοποιηθεί σε όχι περισσότερα από n βήματα. Στη γενική περίπτωση, χρησιμοποιείται επανεκκίνηση, η οποία σας επιτρέπει να λάβετε το αποτέλεσμα.

Ο αλγόριθμος Fletcher-Reeves είναι ευαίσθητος στην ακρίβεια μιας μονοδιάστατης αναζήτησης, επομένως τυχόν σφάλματα στρογγυλοποίησης που ενδέχεται να προκύψουν πρέπει να διορθώνονται κατά τη χρήση του. Επίσης, ο αλγόριθμος μπορεί να αποτύχει σε καταστάσεις όπου ο Hessian γίνεται κακή. Ο αλγόριθμος δεν έχει καμία εγγύηση σύγκλισης πάντα και παντού, αν και η πρακτική δείχνει ότι ο αλγόριθμος σχεδόν πάντα δίνει ένα αποτέλεσμα.

Νευτώνειες μέθοδοι

Η κατεύθυνση αναζήτησης που αντιστοιχεί στην πιο απότομη κάθοδο σχετίζεται με γραμμική προσέγγισηλειτουργία στόχου. Οι μέθοδοι που χρησιμοποιούν δεύτερες παραγώγους προέκυψαν από μια τετραγωνική προσέγγιση της αντικειμενικής συνάρτησης, δηλαδή κατά την επέκταση της συνάρτησης σε μια σειρά Taylor, οι όροι της τρίτης και ανώτερης τάξης απορρίπτονται.

πού είναι η μήτρα της Έσσης.

Το ελάχιστο της δεξιάς πλευράς (αν υπάρχει) επιτυγχάνεται στο ίδιο σημείο με το ελάχιστο τετραγωνική μορφή. Ας γράψουμε έναν τύπο για τον προσδιορισμό της κατεύθυνσης της αναζήτησης:

Το ελάχιστο επιτυγχάνεται στο

Ένας αλγόριθμος βελτιστοποίησης στον οποίο η κατεύθυνση αναζήτησης καθορίζεται από αυτή τη σχέση ονομάζεται μέθοδος του Newton και η κατεύθυνση είναι η κατεύθυνση του Newton.

Σε προβλήματα εύρεσης του ελάχιστου ενός αυθαίρετου τετραγωνική λειτουργίαμε θετικό πίνακα δεύτερων παραγώγων, η μέθοδος του Newton δίνει λύση σε μία επανάληψη, ανεξάρτητα από την επιλογή του σημείου εκκίνησης.

Ταξινόμηση Νευτώνειων Μεθόδων

Στην πραγματικότητα, η μέθοδος του Νεύτωνα συνίσταται σε μία μόνο εφαρμογή της Νευτώνειας κατεύθυνσης για τη βελτιστοποίηση της τετραγωνικής συνάρτησης. Αν η συνάρτηση δεν είναι τετραγωνική, τότε ισχύει το παρακάτω θεώρημα.

Θεώρημα 1.4. Εάν ο πίνακας Hessian μιας γενικής μη γραμμικής συνάρτησης f στο ελάχιστο σημείο X* είναι θετικός-ορισμένος, το σημείο εκκίνησης επιλέγεται αρκετά κοντά στο X* και τα μήκη βημάτων επιλέγονται σωστά, τότε η μέθοδος του Newton συγκλίνει στο X* με τετραγωνική ταχύτητα.

Η μέθοδος του Newton θεωρείται η μέθοδος αναφοράς και όλες οι αναπτυγμένες διαδικασίες βελτιστοποίησης συγκρίνονται με αυτήν. Ωστόσο, η μέθοδος του Νεύτωνα είναι αποτελεσματική μόνο για έναν θετικό-ορισμένο και καλά ρυθμισμένο πίνακα Hessian (ο προσδιοριστής του πρέπει να είναι ουσιαστικά Πάνω απο το μηδέν, πιο συγκεκριμένα, η αναλογία των μεγαλύτερων και των μικρότερων ιδιοτιμών θα πρέπει να είναι κοντά στη μονάδα). Για να ξεπεράσουμε αυτό το μειονέκτημα, χρησιμοποιούμε τροποποιημένες μεθόδους Newton, χρησιμοποιώντας τις κατευθύνσεις του Νεύτωνα στο μέτρο του δυνατού και παρεκκλίνοντας από αυτές μόνο όταν είναι απαραίτητο.

Η γενική αρχή των τροποποιήσεων στη μέθοδο του Νεύτωνα είναι η εξής: σε κάθε επανάληψη, αρχικά κατασκευάζεται κάποιος θετικός-καθορισμένος πίνακας "σχετιζόμενος" και στη συνέχεια υπολογίζεται με τον τύπο

Δεδομένου ότι είναι θετική οριστική, τότε - θα είναι αναγκαστικά η κατεύθυνση της καθόδου. Η διαδικασία κατασκευής είναι οργανωμένη έτσι ώστε να συμπίπτει με τον Hessian matrix εάν είναι θετική οριστική. Αυτές οι διαδικασίες χτίζονται με βάση ορισμένες επεκτάσεις μήτρας.

Μια άλλη ομάδα μεθόδων, οι οποίες είναι σχεδόν τόσο γρήγορες όσο η μέθοδος του Newton, βασίζεται στην προσέγγιση του πίνακα της Έσσης χρησιμοποιώντας πεπερασμένες διαφορές, επειδή δεν είναι απαραίτητο να χρησιμοποιηθούν οι ακριβείς τιμές των παραγώγων για βελτιστοποίηση. Αυτές οι μέθοδοι είναι χρήσιμες όταν ο αναλυτικός υπολογισμός των παραγώγων είναι δύσκολος ή απλά αδύνατος. Τέτοιες μέθοδοι ονομάζονται διακριτές μέθοδοι Newton.

Το κλειδί για την αποτελεσματικότητα των μεθόδων Νευτώνειου τύπου είναι η λήψη υπόψη πληροφοριών σχετικά με την καμπυλότητα της συνάρτησης που ελαχιστοποιείται, η οποία περιέχεται στον πίνακα Hessian και καθιστά δυνατή τη δημιουργία τοπικά ακριβών τετραγωνικών μοντέλων της αντικειμενικής συνάρτησης. Αλλά είναι δυνατό να συλλεχθούν και να συσσωρευτούν πληροφορίες σχετικά με την καμπυλότητα μιας συνάρτησης με βάση την παρατήρηση της αλλαγής στη διαβάθμιση κατά τις επαναλήψεις της καθόδου.

Οι αντίστοιχες μέθοδοι που βασίζονται στη δυνατότητα προσέγγισης της καμπυλότητας μιας μη γραμμικής συνάρτησης χωρίς τον ρητό σχηματισμό της μήτρας της Έσσης ονομάζονται οιονεί νευτώνειες μέθοδοι.

Σημειώστε ότι κατά την κατασκευή μιας διαδικασίας βελτιστοποίησης του Νευτώνειου τύπου (συμπεριλαμβανομένης της οιονεί Νευτώνειας), είναι απαραίτητο να ληφθεί υπόψη η πιθανότητα εμφάνισης ενός σημείου σέλας. Σε αυτήν την περίπτωση, το διάνυσμα της καλύτερης κατεύθυνσης αναζήτησης θα κατευθύνεται πάντα στο σημείο της σέλας, αντί να απομακρύνεται από αυτό προς την κατεύθυνση "κάτω".

Μέθοδος Newton-Raphson

Αυτή η μέθοδος συνίσταται στην επαναλαμβανόμενη χρήση της Νευτώνειας κατεύθυνσης κατά τη βελτιστοποίηση συναρτήσεων που δεν είναι τετραγωνικές.

Κύριος τύπος επανάληψηςπολυμεταβλητή βελτιστοποίηση

χρησιμοποιείται σε αυτή τη μέθοδο κατά την επιλογή της κατεύθυνσης βελτιστοποίησης από τη σχέση

Το πραγματικό μήκος βήματος είναι κρυμμένο στη μη κανονικοποιημένη Νευτώνεια κατεύθυνση.

Δεδομένου ότι αυτή η μέθοδος δεν απαιτεί την τιμή της αντικειμενικής συνάρτησης στο τρέχον σημείο, μερικές φορές ονομάζεται έμμεση ή αναλυτική μέθοδοςβελτιστοποίηση. Η ικανότητά του να προσδιορίζει το ελάχιστο μιας τετραγωνικής συνάρτησης σε έναν υπολογισμό φαίνεται εξαιρετικά ελκυστική με την πρώτη ματιά. Ωστόσο, αυτός ο «ενιαίος υπολογισμός» είναι δαπανηρός. Πρώτα απ 'όλα, είναι απαραίτητο να υπολογιστούν n επιμέρους παράγωγοι της πρώτης τάξης και n(n+1)/2 - της δεύτερης. Επιπλέον, η μήτρα Hessian πρέπει να αντιστραφεί. Αυτό απαιτεί ήδη περίπου n3 υπολογιστικές πράξεις. Με το ίδιο κόστος, οι μέθοδοι συζευγμένης κατεύθυνσης ή οι μέθοδοι συζευγμένης κλίσης μπορούν να κάνουν περίπου n βήματα, δηλ. επιτυγχάνουν σχεδόν το ίδιο αποτέλεσμα. Έτσι, η επανάληψη της μεθόδου Newton-Raphson δεν παρέχει πλεονεκτήματα στην περίπτωση μιας τετραγωνικής συνάρτησης.

Αν η συνάρτηση δεν είναι τετραγωνική, τότε

• - η αρχική κατεύθυνση ήδη, σε γενικές γραμμές, δεν υποδεικνύει το πραγματικό ελάχιστο σημείο, πράγμα που σημαίνει ότι οι επαναλήψεις πρέπει να επαναλαμβάνονται επανειλημμένα.
• - ένα βήμα μονάδας μήκους μπορεί να οδηγήσει σε ένα σημείο με χειρότερη τιμήαντικειμενική συνάρτηση και η αναζήτηση μπορεί να δώσει τη λάθος κατεύθυνση εάν, για παράδειγμα, η Έσσια δεν είναι θετική οριστική.
• - το Hessian μπορεί να γίνει άρρωστο, καθιστώντας αδύνατη την αναστροφή του, δηλ. καθορίζοντας την κατεύθυνση για την επόμενη επανάληψη.

Η ίδια η στρατηγική δεν διακρίνει ποιο σταθερό σημείο (ελάχιστο, μέγιστο, σημείο σέλας) πλησιάζει η αναζήτηση και ο υπολογισμός των τιμών της αντικειμενικής συνάρτησης, με τις οποίες θα ήταν δυνατό να εντοπιστεί εάν η συνάρτηση αυξάνεται, δεν γίνεται. Έτσι, όλα εξαρτώνται από τη ζώνη έλξης ακίνητο σημείοείναι η αφετηρία της αναζήτησης. Η στρατηγική Newton-Raphson σπάνια χρησιμοποιείται μόνη της χωρίς τροποποίηση του ενός ή του άλλου είδους.

Μέθοδοι Pearson

Ο Pearson πρότεινε διάφορες μεθόδους για την προσέγγιση του αντίστροφου Hessian χωρίς να υπολογίζει ρητά τις δεύτερες παραγώγους, δηλ. παρατηρώντας αλλαγές στην κατεύθυνση της αντιδιαβάθμισης. Σε αυτή την περίπτωση, λαμβάνονται συζευγμένες οδηγίες. Αυτοί οι αλγόριθμοι διαφέρουν μόνο σε λεπτομέρειες. Εδώ είναι αυτά που έλαβαν τα περισσότερα ευρεία χρήσησε εφαρμοσμένους τομείς.

Αλγόριθμος Pearson #2.

Σε αυτόν τον αλγόριθμο, η αντίστροφη Hessian προσεγγίζεται από τον πίνακα Hk που υπολογίζεται σε κάθε βήμα από τον τύπο

Ένας αυθαίρετος θετικός-ορισμένος συμμετρικός πίνακας επιλέγεται ως αρχικός πίνακας H0.

Αυτός ο αλγόριθμος Pearson οδηγεί συχνά σε καταστάσεις όπου ο πίνακας Hk καθίσταται ακατάλληλος, δηλαδή, αρχίζει να ταλαντώνεται, να ταλαντώνεται μεταξύ θετικής οριστικής και μη θετικής οριστικής, ενώ η ορίζουσα του πίνακα είναι κοντά στο μηδέν. Για να αποφευχθεί αυτή η κατάσταση, είναι απαραίτητο να επαναρυθμίζετε τον πίνακα κάθε n βήματα, εξισώνοντάς τον σε H0.

Αλγόριθμος Pearson #3.

Σε αυτόν τον αλγόριθμο, ο πίνακας Hk+1 προσδιορίζεται από τον τύπο

Hk+1 = Hk +

Η διαδρομή καθόδου που δημιουργείται από τον αλγόριθμο είναι παρόμοια με τη συμπεριφορά του αλγόριθμου Davidon-Fletcher-Powell, αλλά τα βήματα είναι ελαφρώς μικρότερα. Ο Pearson πρότεινε επίσης μια παραλλαγή αυτού του αλγορίθμου με μια κυκλική αναδιάταξη του πίνακα.

Προβολικός αλγόριθμος Newton-Raphson

Ο Pearson πρότεινε την ιδέα ενός αλγορίθμου στον οποίο ο πίνακας υπολογίζεται από τη σχέση

H0=R0, όπου ο πίνακας R0 είναι ίδιος με τους αρχικούς πίνακες στους προηγούμενους αλγόριθμους.

Όταν το k είναι πολλαπλάσιο του αριθμού των ανεξάρτητων μεταβλητών n, ο πίνακας Hk αντικαθίσταται από τον πίνακα Rk+1 που υπολογίζεται ως το άθροισμα

Η τιμή Hk(f(Xk+1) - f(Xk)) είναι η προβολή του διανύσματος αύξησης διαβάθμισης (f(Xk+1)-f(Xk)), ορθογώνια σε όλα τα διανύσματα αύξησης κλίσης στα προηγούμενα βήματα. Μετά από κάθε n βήματα, το Rk είναι μια προσέγγιση του αντίστροφου Hessian H-1(Xk), οπότε στην ουσία εκτελείται μια (περίπου) αναζήτηση Newton.

Μέθοδος Davidon-Fletcher-Powell

Αυτή η μέθοδος έχει άλλα ονόματα - η μέθοδος μεταβλητής μετρικής, η μέθοδος οιονεί Newton, επειδή χρησιμοποιεί και τις δύο αυτές προσεγγίσεις.

Η μέθοδος Davidon-Fletcher-Powell (DFP) βασίζεται στη χρήση Νευτώνειων κατευθύνσεων, αλλά δεν απαιτεί τον υπολογισμό του αντίστροφου Hessian σε κάθε βήμα.

Η κατεύθυνση αναζήτησης στο βήμα k είναι η κατεύθυνση

όπου Hi είναι ένας θετικός-ορισμένος συμμετρικός πίνακας που ενημερώνεται σε κάθε βήμα και, στο όριο, γίνεται ίσος με τον αντίστροφο Έσσιο. Ο πίνακας ταυτότητας επιλέγεται συνήθως ως ο αρχικός πίνακας H. Η επαναληπτική διαδικασία DFT μπορεί να αναπαρασταθεί ως εξής:

• 1. Στο βήμα k, υπάρχει ένα σημείο Xk και ένας θετικός-ορισμένος πίνακας Hk.
• 2. Επιλέξτε ως τη νέα κατεύθυνση αναζήτησης

3. Η μονοδιάστατη αναζήτηση (συνήθως με κυβική παρεμβολή) κατά μήκος της κατεύθυνσης καθορίζει το k ελαχιστοποιώντας τη συνάρτηση.

4. Βασίζεται.

5. Βασίζεται.

6. Καθορίζεται από και. Εάν το Vk ή είναι αρκετά μικρό, η διαδικασία τερματίζεται.

• 7. Σετ Uk = f(Xk+1) - f(Xk).
• 8. Το Matrix Hk ενημερώνεται σύμφωνα με τον τύπο

9. Αυξήστε το k κατά ένα και επιστρέψτε στο βήμα 2.

Η μέθοδος είναι αποτελεσματική στην πράξη εάν το σφάλμα υπολογισμού της κλίσης είναι μικρό και ο πίνακας Hk δεν ρυθμίζεται άσχημα.

Ο πίνακας Ak εξασφαλίζει τη σύγκλιση του Hk στο G-1, ο πίνακας Bk εξασφαλίζει τη θετική οριστικότητα του Hk+1 σε όλα τα στάδια και αποκλείει το H0 στο όριο.

Στην περίπτωση τετραγωνικής συνάρτησης

εκείνοι. ο αλγόριθμος DFP χρησιμοποιεί συζευγμένες οδηγίες.

Έτσι, η μέθοδος DFT χρησιμοποιεί τόσο τις ιδέες της Νευτώνειας προσέγγισης όσο και τις ιδιότητες των συζευγμένων κατευθύνσεων, και όταν ελαχιστοποιείται η τετραγωνική συνάρτηση, συγκλίνει σε όχι περισσότερες από n επαναλήψεις. Εάν η συνάρτηση που βελτιστοποιείται έχει μια μορφή κοντά σε μια τετραγωνική συνάρτηση, τότε η μέθοδος DFP είναι αποτελεσματική λόγω μιας καλής προσέγγισης του G-1 (μέθοδος του Newton). Αν η αντικειμενική συνάρτηση έχει γενική μορφή, τότε η μέθοδος DFP είναι αποτελεσματική λόγω της χρήσης συζευγμένων κατευθύνσεων.

Ας εξετάσουμε το πρόβλημα της άνευ όρων ελαχιστοποίησης μιας διαφοροποιήσιμης συνάρτησης πολλών μεταβλητών Ας προσεγγίσουμε την τιμή της βαθμίδας σε ένα σημείο στο ελάχιστο. Στη μέθοδο κλίσης που εξετάζεται παρακάτω, η κατεύθυνση καθόδου από το σημείο επιλέγεται άμεσα.Έτσι, σύμφωνα με τη μέθοδο της κλίσης

Υπάρχει διάφορους τρόπουςεπιλογή βημάτων, καθένα από τα οποία θέτει ορισμένη παραλλαγήμέθοδος κλίσης.

1. Μέθοδος πιο απότομης κατάβασης.

Θεωρήστε μια συνάρτηση μιας βαθμωτής μεταβλητής και επιλέξτε ως τιμή για την οποία η ισότητα

Αυτή η μέθοδος, που προτάθηκε το 1845 από τον O. Cauchy, ονομάζεται πλέον η μέθοδος της πιο απότομης κατάβασης.

Στο σχ. Το 10.5 δείχνει μια γεωμετρική απεικόνιση αυτής της μεθόδου για την ελαχιστοποίηση μιας συνάρτησης δύο μεταβλητών. Από το σημείο εκκίνησης, κάθετα στη γραμμή στάθμης στην κατεύθυνση, η κάθοδος συνεχίζεται μέχρι να επιτευχθεί η ελάχιστη τιμή της συνάρτησης κατά μήκος της ακτίνας. Στο σημείο που βρέθηκε, αυτή η ακτίνα αγγίζει τη γραμμή στάθμης. Στη συνέχεια, γίνεται κάθοδος από το σημείο με κατεύθυνση κάθετη στη γραμμή στάθμης έως ότου η αντίστοιχη δέσμη ακουμπήσει τη γραμμή στάθμης που διέρχεται από αυτό το σημείο στο σημείο κ.λπ.

Σημειώνουμε ότι σε κάθε επανάληψη η επιλογή του βήματος συνεπάγεται τη λύση του μονοδιάστατου προβλήματος ελαχιστοποίησης (10.23). Μερικές φορές αυτή η λειτουργία μπορεί να εκτελεστεί αναλυτικά, για παράδειγμα, για μια τετραγωνική συνάρτηση.

Εφαρμόζουμε τη μέθοδο της πιο απότομης κατάβασης για να ελαχιστοποιήσουμε την τετραγωνική συνάρτηση

με συμμετρικό θετικό οριστικό πίνακα Α.

Σύμφωνα με τον τύπο (10.8), σε αυτήν την περίπτωση, επομένως, ο τύπος (10.22) μοιάζει με αυτό:

σημειώσε ότι

Αυτή η συνάρτηση είναι μια τετραγωνική συνάρτηση της παραμέτρου a και φτάνει στο ελάχιστο σε μια τέτοια τιμή για την οποία

Έτσι, όπως εφαρμόζεται στην ελαχιστοποίηση του τετραγωνικού

συνάρτηση (10.24), η μέθοδος πιο απότομης καθόδου είναι ισοδύναμη με τον υπολογισμό με τον τύπο (10.25), όπου

Παρατήρηση 1. Εφόσον το ελάχιστο σημείο της συνάρτησης (10.24) συμπίπτει με τη λύση του συστήματος, η μέθοδος πιο απότομης κατάβασης (10.25), (10.26) μπορεί επίσης να χρησιμοποιηθεί ως επαναληπτική μέθοδοςλύσεις γραμμικών συστημάτων αλγεβρικές εξισώσειςμε συμμετρικούς θετικούς ορισμένους πίνακες.

Παρατήρηση 2. Σημειώστε ότι πού βρίσκεται η σχέση Rayleigh (βλ. § 8.1).

Παράδειγμα 10.1. Εφαρμόζουμε τη μέθοδο της πιο απότομης κατάβασης για να ελαχιστοποιήσουμε την τετραγωνική συνάρτηση

Σημειώστε ότι Επομένως, η ακριβής τιμή του ελάχιστου σημείου είναι γνωστή σε εμάς εκ των προτέρων. Ας γράψουμε αυτή τη λειτουργίαστη μορφή (10.24), όπου ο πίνακας και το διάνυσμα Όπως είναι εύκολο να δούμε,

Παίρνουμε την αρχική προσέγγιση και θα κάνουμε υπολογισμούς χρησιμοποιώντας τύπους (10.25), (10.26).

I επανάληψη.

II επανάληψη.

Μπορεί να φανεί ότι για όλα στην επανάληψη θα ληφθούν οι τιμές

Σημειώστε ότι με το Έτσι,

η ακολουθία που λαμβάνεται με τη μέθοδο της πιο απότομης καθόδου συγκλίνει με ρυθμό γεωμετρική πρόοδος, του οποίου ο παρονομαστής

Στο σχ. Το 10.5 δείχνει ακριβώς την τροχιά καθόδου που επιτεύχθηκε σε αυτό το παράδειγμα.

Για την περίπτωση ελαχιστοποίησης μιας τετραγωνικής συνάρτησης, ισχύει το ακόλουθο συνολικό αποτέλεσμα.

Θεώρημα 10.1. Έστω A ένας συμμετρικός θετικός καθορισμένος πίνακας και ας ελαχιστοποιηθεί η τετραγωνική συνάρτηση (10.24). Στη συνέχεια, για οποιαδήποτε επιλογή της αρχικής προσέγγισης, η μέθοδος της πιο απότομης καθόδου (10.25), (10.26) συγκλίνει και ισχύει η ακόλουθη εκτίμηση σφάλματος:

Εδώ και Lado είναι οι ελάχιστες και μέγιστες ιδιοτιμές του πίνακα A.

Σημειώστε ότι αυτή η μέθοδος συγκλίνει με το ρυθμό μιας γεωμετρικής προόδου, ο παρονομαστής της οποίας, επιπλέον, αν είναι κοντά, τότε είναι μικρός και η μέθοδος συγκλίνει μάλλον γρήγορα. Για παράδειγμα, στο Παράδειγμα 10.1 έχουμε και, επομένως, If Asch, τότε 1, και θα πρέπει να περιμένουμε ότι η μέθοδος της πιο απότομης κατάβασης θα συγκλίνει αργά.

Παράδειγμα 10.2. Η εφαρμογή της μεθόδου της πιο απότομης καθόδου για την ελαχιστοποίηση της τετραγωνικής συνάρτησης στην αρχική προσέγγιση δίνει μια ακολουθία προσεγγίσεων όπου η τροχιά της καθόδου φαίνεται στο Σχ. 10.6.

Η ακολουθία συγκλίνει εδώ με το ρυθμό μιας γεωμετρικής προόδου, ο παρονομαστής της οποίας είναι, δηλ., πολύ πιο αργός,

σε σχέση με το προηγούμενο παράδειγμα. Εφόσον εδώ το αποτέλεσμα που προκύπτει συμφωνεί πλήρως με την εκτίμηση (10.27).

Παρατήρηση 1. Διατυπώσαμε ένα θεώρημα για τη σύγκλιση της μεθόδου της πιο απότομης καθόδου στην περίπτωση που η αντικειμενική συνάρτηση είναι τετραγωνική. Στη γενική περίπτωση, εάν η συνάρτηση που ελαχιστοποιείται είναι αυστηρά κυρτή και έχει ένα ελάχιστο σημείο x, τότε επίσης, ανεξάρτητα από την επιλογή της αρχικής προσέγγισης, η ακολουθία που προκύπτει με αυτή τη μέθοδο συγκλίνει στο x στο . Στην περίπτωση αυτή, αφού πέσει σε μια αρκετά μικρή γειτονιά του ελάχιστου σημείου, η σύγκλιση γίνεται γραμμική και ο παρονομαστής της αντίστοιχης γεωμετρικής προόδου υπολογίζεται από πάνω από την τιμή και όπου τόσο το ελάχιστο όσο και το μέγιστο ιδιοτιμέςΈσσια μήτρες

Παρατήρηση 2. Για την τετραγωνική αντικειμενική συνάρτηση (10.24), η λύση του μονοδιάστατου προβλήματος ελαχιστοποίησης (10.23) μπορεί να βρεθεί με τη μορφή ενός απλού ρητού τύπου (10.26). Ωστόσο, για τους περισσότερους άλλους μη γραμμικές συναρτήσειςΑυτό δεν μπορεί να γίνει και για τον υπολογισμό με τη μέθοδο της πιο απότομης κατάβασης πρέπει να εφαρμοστεί αριθμητικές μεθόδουςμονοδιάστατες ελαχιστοποιήσεις του τύπου που συζητήθηκε στο προηγούμενο κεφάλαιο.

2. Το πρόβλημα των «ρεαριών».

Από την παραπάνω συζήτηση προκύπτει ότι η μέθοδος της κλίσης συγκλίνει αρκετά γρήγορα εάν οι επιφάνειες επιπέδου για την ελαχιστοποιημένη συνάρτηση είναι κοντά σε σφαίρες (όταν οι γραμμές στάθμης είναι κοντά σε κύκλους). Για τέτοιες συναρτήσεις, και 1. Το θεώρημα 10.1, η παρατήρηση 1 και το αποτέλεσμα του παραδείγματος 10.2 υποδεικνύουν ότι ο ρυθμός σύγκλισης μειώνεται απότομα όσο η τιμή του . Στη δισδιάστατη περίπτωση, το ανάγλυφο της αντίστοιχης επιφάνειας μοιάζει με το έδαφος με χαράδρα (Εικ. 10.7). Επομένως, τέτοιες λειτουργίες συνήθως ονομάζονται ρέμα. Κατά μήκος των κατευθύνσεων που χαρακτηρίζουν τον «βυθό της χαράδρας», η συνάρτηση της χαράδρας αλλάζει ασήμαντα, ενώ σε άλλες κατευθύνσεις που χαρακτηρίζουν την «πλαγιά χαράδρας», εμφανίζεται απότομη αλλαγή στη λειτουργία.

Εάν το σημείο εκκίνησης πέφτει στην «πλαγιά της χαράδρας», τότε η κατεύθυνση της κλίσης καθόδου αποδεικνύεται σχεδόν κάθετη στον «πυθμένα της χαράδρας» και η επόμενη προσέγγιση πέφτει στην αντίθετη «κλίση χαράδρας». Το επόμενο βήμα προς τον «βυθό της χαράδρας» επιστρέφει την προσέγγιση στην αρχική «πλαγιά χαράδρας». Ως αποτέλεσμα, αντί να κινείται κατά μήκος του «βυθού της χαράδρας» προς το ελάχιστο σημείο, η τροχιά καθόδου κάνει ζιγκ-ζαγκ άλματα κατά μήκος της «ρεματιάς», σχεδόν χωρίς να πλησιάζει τον στόχο (Εικ. 10.7).

Για να επιταχυνθεί η σύγκλιση της μεθόδου της κλίσης με παράλληλη ελαχιστοποίηση των συναρτήσεων της ρεματιάς, έχει αναπτυχθεί μια σειρά ειδικών μεθόδων "ρεαρά". Ας δώσουμε μια ιδέα για μια από τις απλούστερες μεθόδους. Από δύο κοντινές αφετηρίες γίνεται βαθμιδωτή κάθοδος στον «βυθό της χαράδρας». Στα σημεία που βρέθηκαν χαράσσεται μια ευθεία γραμμή, κατά μήκος της οποίας γίνεται ένα μεγάλο βήμα «φαράγγι» (Εικ. 10.8). Από το σημείο που βρέθηκε με αυτόν τον τρόπο, γίνεται ξανά ένα βήμα βαθμίδωσης προς το σημείο και στη συνέχεια γίνεται το δεύτερο βήμα «ρεματιάς» κατά μήκος της ευθείας που διέρχεται από τα σημεία. Ως αποτέλεσμα, η κίνηση κατά μήκος του «βυθού της χαράδρας» στο ελάχιστο σημείο επιταχύνεται σημαντικά.

Περισσότερο λεπτομερείς πληροφορίεςσχετικά με το πρόβλημα των μεθόδων "ρεματιές" και "ρεματιές" μπορούν να βρεθούν, για παράδειγμα, στο , .

3. Άλλες προσεγγίσεις για τον προσδιορισμό του βήματος καθόδου.

Όπως είναι εύκολο να γίνει κατανοητό, σε κάθε επανάληψη θα ήταν επιθυμητό να επιλέξετε μια κατεύθυνση καθόδου κοντά στην κατεύθυνση κατά την οποία οδηγεί η κίνηση από σημείο σε σημείο x. Δυστυχώς, η αντικλίση (είναι, κατά κανόνα, μια ανεπιτυχής κατεύθυνση καθόδου. Αυτό είναι ιδιαίτερα έντονο για λειτουργίες χαράδρας. Επομένως, υπάρχει αμφιβολία για τη σκοπιμότητα μιας ενδελεχούς αναζήτησης λύσης στο πρόβλημα της μονοδιάστατης ελαχιστοποίησης (10.23) και υπάρχει η επιθυμία να γίνει μόνο ένα τέτοιο βήμα προς την κατεύθυνση που θα παρείχε «σημαντική μείωση» της συνάρτησης. Επιπλέον, στην πράξη, μερικές φορές αρκείται κανείς στον ορισμό μιας τιμής που απλώς παρέχει μείωση της αξίας του στόχου λειτουργία.

Μπορείτε επίσης να αναζητήσετε όχι το καλύτερο σημείο προς την κατεύθυνση της κλίσης, αλλά για κάτι καλύτερο από το τρέχον.

Η πιο εύκολη εφαρμογή από όλες τις τοπικές μεθόδους βελτιστοποίησης. Έχει μάλλον ασθενείς συνθήκες σύγκλισης, αλλά ο ρυθμός σύγκλισης είναι μάλλον μικρός (γραμμικός). Η μέθοδος βαθμιαίας κλίσης χρησιμοποιείται συχνά ως μέρος άλλων μεθόδων βελτιστοποίησης, όπως η μέθοδος Fletcher-Reeves.

Περιγραφή [ | ]

Βελτιώσεις[ | ]

Η μέθοδος κλίσης καθόδου αποδεικνύεται πολύ αργή όταν κινείται κατά μήκος μιας χαράδρας και καθώς αυξάνεται ο αριθμός των μεταβλητών της αντικειμενικής συνάρτησης, αυτή η συμπεριφορά της μεθόδου γίνεται χαρακτηριστική. Για την καταπολέμηση αυτού του φαινομένου χρησιμοποιείται, η ουσία του οποίου είναι πολύ απλή. Έχοντας κάνει δύο βήματα βαθμίδωσης και έχοντας λάβει τρία σημεία, το τρίτο βήμα πρέπει να γίνει προς την κατεύθυνση του διανύσματος που συνδέει το πρώτο και το τρίτο σημείο, κατά μήκος του πυθμένα της χαράδρας.

Για συναρτήσεις κοντά στο τετραγωνικό, η μέθοδος της συζυγούς κλίσης είναι αποτελεσματική.

Εφαρμογή σε τεχνητά νευρωνικά δίκτυα[ | ]

Η μέθοδος gradient descent με κάποια τροποποίηση χρησιμοποιείται ευρέως για την εκπαίδευση του perceptron και είναι γνωστή στη θεωρία των τεχνητών νευρωνικών δικτύων ως μέθοδος backpropagation. Κατά την εκπαίδευση ενός νευρωνικού δικτύου τύπου perceptron, απαιτείται αλλαγή των συντελεστών βάρους του δικτύου με τέτοιο τρόπο ώστε να ελαχιστοποιούνται μέσο σφάλμαστην έξοδο νευρικό σύστημακατά την εφαρμογή μιας ακολουθίας δεδομένων εισόδου εκπαίδευσης στην είσοδο. Τυπικά, για να κάνετε μόνο ένα βήμα σύμφωνα με τη μέθοδο gradient descent (κάντε μόνο μία αλλαγή στις παραμέτρους δικτύου), είναι απαραίτητο να τροφοδοτήσετε διαδοχικά ολόκληρο το σύνολο δεδομένων εκπαίδευσης στην είσοδο δικτύου, να υπολογίσετε το σφάλμα για κάθε δεδομένα εκπαίδευσης αντιταχθείτε και υπολογίστε την απαραίτητη διόρθωση των συντελεστών δικτύου (αλλά μην κάνετε αυτή τη διόρθωση) και αφού υποβάλετε όλα τα δεδομένα, υπολογίστε το άθροισμα στη διόρθωση κάθε συντελεστή δικτύου (άθροισμα κλίσεων) και διορθώστε τους συντελεστές "κατά ένα βήμα" . Προφανώς, με ένα μεγάλο σύνολο δεδομένων εκπαίδευσης, ο αλγόριθμος θα λειτουργεί εξαιρετικά αργά, επομένως, στην πράξη, οι συντελεστές δικτύου προσαρμόζονται συχνά μετά από κάθε στοιχείο εκπαίδευσης, όπου η τιμή της κλίσης προσεγγίζεται με την κλίση της συνάρτησης κόστους που υπολογίζεται μόνο σε ένα προπονητικό στοιχείο. Μια τέτοια μέθοδος ονομάζεται στοχαστική κλίση κάθοδος ή επιχειρησιακή κλίση κατάβασης . Η στοχαστική κλίση είναι μια μορφή στοχαστικής προσέγγισης. Η θεωρία των στοχαστικών προσεγγίσεων δίνει προϋποθέσεις για τη σύγκλιση της μεθόδου της στοχαστικής κλίσης καθόδου.

Συνδέσεις [ | ]

• J. Mathews.Ενότητα για τη μέθοδο πιο απότομης κατάβασης ή κλίσης. (μη διαθέσιμος σύνδεσμος)

Βιβλιογραφία [ | ]

• Akulich I. L. Μαθηματικός προγραμματισμόςσε παραδείγματα και εργασίες. - Μ.: μεταπτυχιακό σχολείο, 1986. - S. 298-310.
• Gill F., Murray W., Wright M. Practical Optimization = Practical Optimization. - Μ.: Μιρ, 1985.
• Korshunov Yu. M., Korshunov Yu. M. Μαθηματικά θεμέλιακυβερνητική. - M.: Energoatomizdat, 1972.
• Maksimov Yu. A., Filippovskaya E. A.Αλγόριθμοι επίλυσης προβλημάτων μη γραμμικού προγραμματισμού. - M. : MEPhI, 1982.
• Maksimov Yu. A.Αλγόριθμοι για γραμμικό και διακριτό προγραμματισμό. - M. : MEPhI, 1980.
• Korn G., Korn T.Εγχειρίδιο μαθηματικών για επιστήμονες και μηχανικούς. - Μ.: Nauka, 1970. - S. 575-576.
• S. Yu. Gorodetsky, V. A. Grishagin. Μη γραμμικός προγραμματισμόςκαι πολυ-ακραία βελτιστοποίηση. - Νίζνι Νόβγκοροντ: Εκδότης Πανεπιστήμιο του Νίζνι Νόβγκοροντ, 2007. - Σ. 357-363.

Τέλος, η παράμετρος m μπορεί να τεθεί σταθερή σε όλες τις επαναλήψεις. Ωστόσο, όταν μεγάλες αξίες m η διαδικασία αναζήτησης μπορεί να αποκλίνει. σε ένα καλό δρόμοη επιλογή του m μπορεί να είναι ο ορισμός του στην πρώτη επανάληψη από την συνθήκη ενός άκρου προς την κατεύθυνση της κλίσης. Σε επόμενες επαναλήψεις, το m παραμένει σταθερό. Αυτό απλοποιεί ακόμη περισσότερο τους υπολογισμούς.

Για παράδειγμα, για μια συνάρτηση με με προβολές κλίσης καθορίζεται με τη μέθοδο της πιο απότομης κατάβασης. Δεχόμαστε τη σταθερά της παραμέτρου σε όλες τις επαναλήψεις.

Υπολογίστε τις συντεταγμένες x (1):

Για να υπολογίσουμε τις συντεταγμένες του σημείου x (2) βρίσκουμε την προβολή της κλίσης στο σημείο x (1) : , τότε

και τα λοιπά.

Αυτή η ακολουθία συγκλίνει επίσης.

μέθοδος κλίσης βημάτων

Αυτή η μέθοδος αναπτύχθηκε από μηχανικούς και έγκειται στο γεγονός ότι το βήμα για μια από τις μεταβλητές γίνεται σταθερό και για άλλες μεταβλητές επιλέγεται με βάση την αναλογικότητα των κλίσεων των σημείων. Με αυτό, όπως λέμε, η ακραία επιφάνεια κλιμακώνεται, επειδή η σύγκλιση δεν είναι ίδια για όλες τις μεταβλητές. Επομένως, επιλέγοντας διαφορετικά βήματα για τις συντεταγμένες, προσπαθούν να κάνουν τον ρυθμό σύγκλισης περίπου τον ίδιο για όλες τις μεταβλητές.

Έστω μια διαχωρίσιμη συνάρτηση και ένα αρχικό σημείο . Ας ορίσουμε ένα σταθερό βήμα κατά μήκος της συντεταγμένης x 1, έστω Dx 1 =0,2. Το βήμα κατά μήκος της συντεταγμένης x 2 βρίσκεται από την αναλογία κλίσεων και βημάτων.