Μέθοδοι κλίσης απεριόριστης βελτιστοποίησης. Επισκόπηση μεθόδων κλίσης σε προβλήματα μαθηματικής βελτιστοποίησης

Δεν υπάρχουν περιορισμοί στο πρόβλημα βελτιστοποίησης χωρίς περιορισμούς.

Θυμηθείτε ότι η διαβάθμιση μιας πολυδιάστατης συνάρτησης είναι ένα διάνυσμα που εκφράζεται αναλυτικά γεωμετρικό άθροισμαμερικώς παράγωγα

Βαθμίδα βαθμωτή συνάρτηση φά(Χ) σε κάποιο σημείο κατευθύνεται προς την ταχύτερη αύξηση της συνάρτησης και είναι ορθογώνια στη γραμμή επιπέδου (επιφάνειες σταθερής τιμής φά(Χ), περνώντας από ένα σημείο Χ κ). Το διάνυσμα αντίθετο προς τη διαβάθμιση  αντιβαθμίδα  κατευθύνεται προς την κατεύθυνση της ταχύτερης μείωσης της συνάρτησης φά(Χ). Στο ακραίο σημείο grad φά(Χ)= 0.

Στις μεθόδους κλίσης, η κίνηση ενός σημείου κατά την αναζήτηση ενός ελάχιστου αντικειμενική λειτουργίαπεριγράφεται με τον επαναληπτικό τύπο

όπου  κ  ενεργοποίηση της παραμέτρου βήματος κη επανάληψη κατά μήκος της αντιδιαβάθμισης. Για μεθόδους αναρρίχησης (αναζήτηση για το μέγιστο), πρέπει να κινηθείτε κατά μήκος της κλίσης.

Οι διαφορετικές παραλλαγές των μεθόδων κλίσης διαφέρουν μεταξύ τους ως προς τον τρόπο επιλογής της παραμέτρου βήματος, καθώς και λαμβάνοντας υπόψη την κατεύθυνση της κίνησης στο προηγούμενο βήμα. Εξετάστε τις ακόλουθες επιλογές για μεθόδους κλίσης: με σταθερό βήμα, με μεταβλητή παράμετρο βήματος (υποδιαίρεση βήματος), η μέθοδος η πιο απότομη κατάβασηκαι η μέθοδος συζευγμένης κλίσης.

Μέθοδος με παράμετρο σταθερού βήματος.Σε αυτή τη μέθοδο, η παράμετρος βήματος είναι σταθερή σε κάθε επανάληψη. Τίθεται το ερώτημα: πώς να επιλέξετε πρακτικά την τιμή της παραμέτρου βήματος; Μια αρκετά μικρή παράμετρος βήματος μπορεί να οδηγήσει σε απαράδεκτα ένας μεγάλος αριθμόςεπαναλήψεις που απαιτούνται για την επίτευξη του ελάχιστου σημείου. Από την άλλη πλευρά, μια παράμετρος βήματος που είναι πολύ μεγάλη μπορεί να οδηγήσει σε υπέρβαση του ελάχιστου σημείου και σε μια ταλαντωτική υπολογιστική διαδικασία γύρω από αυτό το σημείο. Αυτές οι συνθήκες είναι μειονεκτήματα της μεθόδου. Δεδομένου ότι είναι αδύνατο να μαντέψει κανείς εκ των προτέρων την αποδεκτή τιμή της παραμέτρου βήματος  κ, τότε καθίσταται απαραίτητο να χρησιμοποιηθεί η μέθοδος gradient με μια παράμετρο μεταβλητού βήματος.

Καθώς πλησιάζει το βέλτιστο, το διάνυσμα κλίσης μειώνεται σε μέγεθος, τείνει στο μηδέν, επομένως, όταν  κ = Το μήκος του βήματος μειώνεται σταδιακά. Κοντά στο βέλτιστο, το μήκος του διανύσματος κλίσης τείνει στο μηδέν. Διάνυσμα μήκος ή κανόνας σε n-ο διαστατικός ευκλείδειος χώρος καθορίζεται από τον τύπο

, όπου n- αριθμός μεταβλητών.

Επιλογές για τη διακοπή της αναζήτησης για το βέλτιστο:

Από πρακτική άποψη, είναι πιο βολικό να χρησιμοποιήσετε το 3ο κριτήριο διακοπής (καθώς οι τιμές των παραμέτρων σχεδίασης ενδιαφέρουν), ωστόσο, για να προσδιορίσετε την εγγύτητα του ακραίου σημείου, πρέπει να εστιάσετε στο 2ο κριτήριο. Μπορούν να χρησιμοποιηθούν διάφορα κριτήρια για να σταματήσει η υπολογιστική διαδικασία.

Εξετάστε ένα παράδειγμα. Βρείτε το ελάχιστο της αντικειμενικής συνάρτησης φά(Χ) = (Χ 1  2) 2 + (Χ 2  4) 2 . Ακριβής λύση του προβλήματος X*= (2,0; 4,0).Εκφράσεις για μερικές παραγώγους

,
.

Επιλέξτε ένα βήμα  κ = 0.1. Ας ψάξουμε από την αφετηρία Χ 1 = . Η λύση παρουσιάζεται με τη μορφή πίνακα.

Μέθοδος κλίσης με διαχωρισμό παραμέτρων βήματος.Σε αυτήν την περίπτωση, κατά τη διαδικασία βελτιστοποίησης, η παράμετρος βήματος  k μειώνεται εάν, μετά το επόμενο βήμα, αυξηθεί η συνάρτηση στόχου (κατά την αναζήτηση ενός ελάχιστου). Σε αυτή την περίπτωση, το μήκος του βήματος συχνά χωρίζεται (διαιρείται) στη μέση και το βήμα επαναλαμβάνεται από το προηγούμενο σημείο. Αυτό παρέχει μια πιο ακριβή προσέγγιση στο ακραίο σημείο.

Η πιο απότομη μέθοδος καθόδου.Οι μέθοδοι μεταβλητού βήματος είναι πιο οικονομικές ως προς τον αριθμό των επαναλήψεων. Εάν το βέλτιστο μήκος βήματος  k κατά μήκος της κατεύθυνσης της αντιδιαβάθμισης είναι μια λύση σε ένα μονοδιάστατο πρόβλημα ελαχιστοποίησης, τότε αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης καθόδου. Σε αυτή τη μέθοδο, σε κάθε επανάληψη, λύνεται το πρόβλημα της μονοδιάστατης ελαχιστοποίησης:

F(X k+1 )=F(X κ   κ μικρό κ )=min F( κ ), Σ κ =  F(X);

 κ >0

.

ΣΤΟ αυτή τη μέθοδοΗ κίνηση προς την κατεύθυνση της αντικειμενικής συνάρτησης συνεχίζεται μέχρι να επιτευχθεί το ελάχιστο της αντικειμενικής συνάρτησης (όσο μειώνεται η τιμή της αντικειμενικής συνάρτησης). Χρησιμοποιώντας ένα παράδειγμα, ας εξετάσουμε πώς η αντικειμενική συνάρτηση μπορεί να γραφτεί αναλυτικά σε κάθε βήμα ανάλογα με την άγνωστη παράμετρο

Παράδειγμα. ελάχ φά(Χ 1 , Χ 2 ) = 2Χ 1 2 + 4Χ 2 3 – 3. Επειτα  φά(Χ)= [ 4Χ 1 ; 12Χ 2 2 ]. Αφήστε το θέμα Χ κ = , συνεπώς  φά(Χ)= [ 8; 12], φά(Χ κ   μικρό κ ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. Είναι απαραίτητο να βρεθεί το  που αποδίδει το ελάχιστο αυτής της συνάρτησης.

Αλγόριθμος απότομης καθόδου (για την εύρεση του ελάχιστου)

αρχικό βήμα. Έστω  η σταθερά παύσης. Επιλέξτε το σημείο εκκίνησης Χ 1 , βάζω κ = 1 και μεταβείτε στο κύριο βήμα.

Βασικό βήμα. Αν ένα || gradF(Χ)||< , μετά τερματίστε την αναζήτηση, διαφορετικά προσδιορίστε  φά(Χ κ ) και βρείτε  κ  βέλτιστη λύσηπροβλήματα ελαχιστοποίησης φά(Χ κ   κ μικρό κ ) στο  κ  0. Βάζω Χ κ +1 = Χ κ   κ μικρό κ, ανάθεση κ =

κ + 1 και επαναλάβετε το κύριο βήμα.

Για να βρείτε το ελάχιστο μιας συνάρτησης μιας μεταβλητής στη μέθοδο πιο απότομης κατάβασης, μπορείτε να χρησιμοποιήσετε μεθόδους μονοτροπικής βελτιστοποίησης. Από ΜΕΓΑΛΗ ομαδαμεθόδων, εξετάστε τη μέθοδο διχοτομίας (διχοτόμηση) και τη χρυσή τομή. Η ουσία των μεθόδων μονοτροπικής βελτιστοποίησης είναι να περιοριστεί το διάστημα αβεβαιότητας της θέσης του άκρου.

Μέθοδος διχοτομίας (διχοτόμηση)Αρχικό βήμα.Επιλέξτε τη σταθερά διακριτικότητας  και το τελικό μήκος του διαστήματος αβεβαιότητας μεγάλο. Η τιμή του  πρέπει να είναι όσο το δυνατόν μικρότερη, επιτρέποντας ωστόσο τη διάκριση των τιμών της συνάρτησης φά( ) και φά( ) . Αφήνω [ ένα 1 , σι 1 ]  αρχικό διάστημα αβεβαιότητας. Βάζω κ =

Η κύρια σκηνή αποτελείται από πεπερασμένος αριθμόςτις ίδιες επαναλήψεις.

k-η επανάληψη.

Βήμα 1.Αν ένα σι κ  ένα κ  μεγάλο, τότε ο υπολογισμός τελειώνει. Λύση Χ * = (ένα κ + σι κ )/2. Σε διαφορετική περίπτωση

,
.

Βήμα 2Αν ένα φά( κ ) < φά( κ ), βάζω ένα κ +1 = ένα κ ; σι κ +1 =  κ. Σε διαφορετική περίπτωση ένα κ +1 =  κκαι σι κ +1 = σι κ. Αναθέτω κ = κ + 1 και μεταβείτε στο βήμα 1.

Μέθοδος Χρυσής Τομής.Μια πιο αποτελεσματική μέθοδος από τη μέθοδο διχοτομίας. Ας πάρει καθορισμένη τιμήδιάστημα αβεβαιότητας σε λιγότερες επαναλήψεις και απαιτεί λιγότερους υπολογισμούς της αντικειμενικής συνάρτησης. Σε αυτή τη μέθοδο, το νέο σημείο διαίρεσης του διαστήματος αβεβαιότητας υπολογίζεται μία φορά. Το νέο σημείο τοποθετείται σε απόσταση

 = 0,618034 από το τέλος του διαστήματος.

Αλγόριθμος Golden Ratio

Αρχικό βήμα.Επιλέξτε ένα αποδεκτό πεπερασμένο μήκος του διαστήματος αβεβαιότητας μεγάλο > 0. Αφήνω [ ένα 1 , σι 1 ]  αρχικό διάστημα αβεβαιότητας. Βάζω  1 = ένα 1 +(1   )(σι 1  ένα 1 ) και  1 = ένα 1 +  (σι 1  ένα 1 ) , όπου  = 0,618 . Υπολογίζω φά( 1 ) και φά( 1 ) , βάζω κ = 1 και μεταβείτε στο κύριο βήμα.

Βήμα 1.Αν ένα σι κ  ένα κ  μεγάλο, τότε τελειώνουν οι υπολογισμοί Χ * = (ένα κ + σι κ )/ 2. Διαφορετικά, αν φά( κ ) > φά( κ ) , μετά πηγαίνετε στο βήμα 2. αν φά( κ )  φά( κ ) , μεταβείτε στο βήμα 3.

Βήμα 2Βάζω ένα κ +1 =  κ , σι κ +1 = σι κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 +  (σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ), μεταβείτε στο βήμα 4.

Βήμα 3Βάζω ένα κ +1 = ένα κ , σι κ +1 =  κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 + (1   )(σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ).

Βήμα 4Αναθέτω κ = κ + 1, μεταβείτε στο βήμα 1.

Στην πρώτη επανάληψη απαιτούνται δύο αξιολογήσεις της συνάρτησης, σε όλες τις επόμενες επαναλήψεις μόνο μία.

Μέθοδος συζυγούς κλίσης (Fletcher-Reeves).Σε αυτή τη μέθοδο, η επιλογή της κατεύθυνσης της κίνησης σε κ+ 1 βήμα λαμβάνει υπόψη την αλλαγή κατεύθυνσης κβήμα. Το διάνυσμα κατεύθυνσης καθόδου είναι ένας γραμμικός συνδυασμός της κατεύθυνσης κατά της κλίσης και της προηγούμενης κατεύθυνσης αναζήτησης. Σε αυτήν την περίπτωση, κατά την ελαχιστοποίηση των λειτουργιών της χαράδρας (με στενές μακριές γούρνες), η αναζήτηση δεν είναι κάθετη στη χαράδρα, αλλά κατά μήκος της, γεγονός που σας επιτρέπει να φτάσετε γρήγορα στο ελάχιστο. Κατά την αναζήτηση για ένα άκρο χρησιμοποιώντας τη μέθοδο συζυγούς κλίσης, οι συντεταγμένες του σημείου υπολογίζονται από την έκφραση Χ κ +1 = Χ κ   V κ +1 , όπου V κ +1 είναι ένα διάνυσμα που υπολογίζεται από την ακόλουθη παράσταση:

.

Η πρώτη επανάληψη συνήθως βασίζεται V = 0 και εκτελείται η αναζήτηση κατά της κλίσης, όπως στην πιο απότομη μέθοδο κατάβασης. Τότε η κατεύθυνση της κίνησης αποκλίνει από την κατεύθυνση της αντιδιαβάθμισης όσο περισσότερο, τόσο πιο σημαντικά το μήκος του διανύσματος κλίσης μεταβάλλεται στην τελευταία επανάληψη. Μετά nβήματα για τη διόρθωση της λειτουργίας του αλγορίθμου κάντε το συνηθισμένο βήμα κατά μήκος της αντιδιαβάθμισης.

Αλγόριθμος της μεθόδου συζυγούς κλίσης

Βήμα 1.Εισαγάγετε το σημείο εκκίνησης Χ 0 , ακρίβεια  , διάσταση n.

Βήμα 2Βάζω κ = 1.

Βήμα 3Βάλτε διάνυσμα V κ = 0.

Βήμα 4Υπολογίζω grad φά(Χ κ ).

Βήμα 5Υπολογίστε το διάνυσμα V κ +1.

Βήμα 6Εκτελέστε 1D διανυσματική αναζήτηση V κ +1.

Βήμα 7Αν ένα κ < n, βάζω κ = κ + 1 και μεταβείτε στο βήμα 4 διαφορετικά μεταβείτε στο βήμα 8.

Βήμα 8Αν το μήκος του διανύσματος Vλιγότερο από , τερματίστε την αναζήτηση, διαφορετικά μεταβείτε στο βήμα 2.

Η μέθοδος συζυγούς κατεύθυνσης είναι μια από τις πιο αποτελεσματικές στην επίλυση προβλημάτων ελαχιστοποίησης. Η μέθοδος σε συνδυασμό με τη μονοδιάστατη αναζήτηση χρησιμοποιείται συχνά στην πράξη στο CAD. Ωστόσο, πρέπει να σημειωθεί ότι είναι ευαίσθητο σε σφάλματα που προκύπτουν κατά τη διαδικασία υπολογισμού.

Μειονεκτήματα των μεθόδων κλίσης

Σε εργασίες με ένας μεγάλος αριθμόςμεταβλητές είναι δύσκολο ή αδύνατο να ληφθούν παράγωγοι με τη μορφή αναλυτικών συναρτήσεων.

Κατά τον υπολογισμό των παραγώγων χρησιμοποιώντας σχήματα διαφοράς, το σφάλμα που προκύπτει, ειδικά κοντά σε ένα άκρο, περιορίζει τις δυνατότητες μιας τέτοιας προσέγγισης.

Κατά τη βελτιστοποίηση με τη μέθοδο της κλίσης, το βέλτιστο του υπό μελέτη αντικειμένου αναζητείται προς την κατεύθυνση της ταχύτερης αύξησης (μείωσης) της μεταβλητής εξόδου, δηλ. προς την κατεύθυνση της κλίσης. Αλλά πριν κάνετε ένα βήμα προς την κατεύθυνση της κλίσης, πρέπει να το υπολογίσετε. Η κλίση μπορεί να υπολογιστεί είτε από το διαθέσιμο μοντέλο

προσομοίωση πολυωνύμου δυναμικής κλίσης

πού είναι η μερική παράγωγος ως προς τον παράγοντα i-ο;

i, j, k - μοναδιαία διανύσματαστην κατεύθυνση άξονες συντεταγμένωνχώρο παραγόντων, ή σύμφωνα με τα αποτελέσματα n δοκιμαστικών κινήσεων προς την κατεύθυνση των αξόνων συντεταγμένων.

Αν ένα μαθηματικό μοντέλο στατιστική διαδικασίαέχει τη μορφή γραμμικού πολυωνύμου, οι συντελεστές παλινδρόμησης b i του οποίου είναι μερικές παράγωγοι της επέκτασης της συνάρτησης y = f(X) σε μια σειρά Taylor σε δυνάμεις x i , τότε το βέλτιστο αναζητείται προς την κατεύθυνση της βαθμίδας με ένα ορισμένο βήμα h i:

pkfv n (Ch) \u003d και 1 p 1 + και 2 p 2 + ... + και t p t

Η κατεύθυνση διορθώνεται μετά από κάθε βήμα.

Η μέθοδος gradient, μαζί με τις πολλές τροποποιήσεις της, είναι μια κοινή και αποτελεσματική μέθοδοςαναζήτηση για το βέλτιστο των υπό μελέτη αντικειμένων. Εξετάστε μια από τις τροποποιήσεις της μεθόδου της κλίσης - τη μέθοδο της απότομης ανάβασης.

Η μέθοδος απότομης ανάβασης, ή αλλιώς η μέθοδος Box-Wilson, συνδυάζει τα πλεονεκτήματα τριών μεθόδων - της μεθόδου Gauss-Seidel, της μεθόδου βαθμίδωσης και της μεθόδου πλήρους (ή κλασματικών) παραγοντικών πειραμάτων, ως μέσο απόκτησης ενός γραμμικού μαθηματικού μοντέλου. . Το καθήκον της μεθόδου απότομης ανάβασης είναι να πραγματοποιήσει βηματισμό προς την κατεύθυνση της ταχύτερης αύξησης (ή μείωσης) της μεταβλητής εξόδου, δηλαδή κατά μήκος του βαθμού y (X). Σε αντίθεση με τη μέθοδο κλίσης, η κατεύθυνση διορθώνεται όχι μετά από κάθε επόμενο βήμα, αλλά όταν επιτευχθεί ένα μερικό άκρο της αντικειμενικής συνάρτησης σε κάποιο σημείο σε μια δεδομένη κατεύθυνση, όπως γίνεται στη μέθοδο Gauss-Seidel. Στο σημείο ενός μερικού άκρου, στήνεται ένα νέο παραγοντικό πείραμα, καθορίζεται ένα μαθηματικό μοντέλο και εκτελείται πάλι μια απότομη ανάβαση. Στη διαδικασία της μετάβασης προς το βέλτιστο με αυτή τη μέθοδο, τακτική Στατιστική ανάλυση ενδιάμεσα αποτελέσματαΑναζήτηση. Η αναζήτηση τερματίζεται όταν τα δευτεροβάθμια αποτελέσματα στην εξίσωση παλινδρόμησης γίνουν σημαντικά. Αυτό σημαίνει ότι έχει επιτευχθεί η βέλτιστη περιοχή.

Ας περιγράψουμε την αρχή της χρήσης μεθόδων διαβάθμισης χρησιμοποιώντας το παράδειγμα μιας συνάρτησης δύο μεταβλητών

με δύο επιπλέον προϋποθέσεις:

Αυτή η αρχή (χωρίς αλλαγή) μπορεί να εφαρμοστεί σε οποιονδήποτε αριθμό μεταβλητών, καθώς και σε πρόσθετες συνθήκες. Θεωρήστε το επίπεδο x 1 , x 2 (Εικ. 1). Σύμφωνα με τον τύπο (8), κάθε σημείο αντιστοιχεί σε μια ορισμένη τιμή του F. Στο Σχήμα 1, οι γραμμές F = const που ανήκουν σε αυτό το επίπεδο αντιπροσωπεύονται από κλειστές καμπύλες που περιβάλλουν το σημείο M*, όπου το F είναι ελάχιστο. Αφήνω μέσα αρχική στιγμήοι τιμές x 1 και x 2 αντιστοιχούν στο σημείο M 0 . Ο κύκλος υπολογισμού ξεκινά με μια σειρά δοκιμαστικών βημάτων. Πρώτον, στο x 1 δίνεται μια μικρή αύξηση. αυτή τη στιγμή, η τιμή του x 2 παραμένει αμετάβλητη. Στη συνέχεια προσδιορίζεται η προκύπτουσα αύξηση στην τιμή του F, η οποία μπορεί να θεωρηθεί ανάλογη με την τιμή της μερικής παραγώγου

(αν η τιμή είναι πάντα η ίδια).

Ο ορισμός των μερικών παραγώγων (10) και (11) σημαίνει ότι βρίσκεται ένα διάνυσμα με συντεταγμένες και, το οποίο ονομάζεται βαθμίδα του F και συμβολίζεται ως εξής:

Είναι γνωστό ότι η κατεύθυνση αυτού του διανύσματος συμπίπτει με την κατεύθυνση της πιο απότομης αύξησης της τιμής του F. Η αντίθετη κατεύθυνση από αυτήν είναι η «πιο απότομη κάθοδος», με άλλα λόγια, η πιο απότομη μείωση της τιμής του F.

Μετά την εύρεση των στοιχείων της κλίσης, οι δοκιμαστικές κινήσεις σταματούν και τα βήματα εργασίας εκτελούνται προς την αντίθετη κατεύθυνση από την κατεύθυνση της κλίσης και το μέγεθος του βήματος είναι όσο μεγαλύτερο, τόσο μεγαλύτερο απόλυτη τιμήδιανυσματικός βαθμός F. Αυτές οι προϋποθέσεις πληρούνται εάν οι τιμές των βημάτων εργασίας και είναι ανάλογες με τις προηγουμένως ληφθείσες τιμές των μερικών παραγώγων:

όπου b είναι θετική σταθερά.

Μετά από κάθε βήμα εργασίας, υπολογίζεται η αύξηση του F. Εάν αποδειχθεί αρνητικό, τότε η κίνηση εμφανίζεται στο σωστή κατεύθυνσηκαι πρέπει να κινηθείτε προς την ίδια κατεύθυνση M 0 M 1 περαιτέρω. Εάν, στο σημείο Μ 1, το αποτέλεσμα της μέτρησης το δείξει, τότε οι κινήσεις εργασίας σταματούν και το νέα σειράδοκιμαστικές κινήσεις. Σε αυτή την περίπτωση, η βαθμίδα gradF προσδιορίζεται στο νέο σημείο M 1 , τότε εργατικό κίνημασυνεχίζει κατά μήκος της νέας ευρεθείσας κατεύθυνσης της πιο απότομης καθόδου, δηλαδή κατά μήκος της γραμμής M 1 M 2, κ.λπ. Αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης κατάβασης/πιο απότομης ανάβασης.

Όταν το σύστημα είναι κοντά στο ελάχιστο, το οποίο υποδεικνύεται από μια μικρή τιμή της ποσότητας

υπάρχει μια αλλαγή σε μια πιο «προσεκτική» μέθοδο αναζήτησης, τη λεγόμενη μέθοδο gradient. Διαφέρει από την πιο απότομη μέθοδο καθόδου στο ότι μετά τον προσδιορισμό του gradient gradF, γίνεται μόνο ένα βήμα εργασίας και, στη συνέχεια, μια σειρά δοκιμαστικών κινήσεων ξεκινά ξανά σε ένα νέο σημείο. Αυτή η μέθοδος αναζήτησης παρέχει πιο ακριβή καθορισμό του ελάχιστου σε σύγκριση με την πιο απότομη μέθοδο καθόδου, ενώ η τελευταία σας επιτρέπει να προσεγγίσετε γρήγορα το ελάχιστο. Εάν κατά τη διάρκεια της αναζήτησης το σημείο M φτάσει στο όριο της επιτρεπόμενης περιοχής και τουλάχιστον μία από τις τιμές M 1 , M 2 αλλάξει πρόσημο, η μέθοδος αλλάζει και το σημείο M αρχίζει να κινείται κατά μήκος του ορίου της περιοχής.

Η αποτελεσματικότητα της μεθόδου απότομης ανάβασης εξαρτάται από την επιλογή της κλίμακας των μεταβλητών και τον τύπο της επιφάνειας απόκρισης. Η επιφάνεια με σφαιρικά περιγράμματα εξασφαλίζει γρήγορη συστολή στο βέλτιστο.

Τα μειονεκτήματα της μεθόδου απότομης ανάβασης περιλαμβάνουν:

1. Περιορισμός παρέκτασης. Προχωρώντας κατά μήκος της κλίσης, βασιζόμαστε στην παρέκταση των μερικών παραγώγων της αντικειμενικής συνάρτησης σε σχέση με τις αντίστοιχες μεταβλητές. Ωστόσο, το σχήμα της επιφάνειας απόκρισης μπορεί να αλλάξει και είναι απαραίτητο να αλλάξει η κατεύθυνση της αναζήτησης. Με άλλα λόγια, η κίνηση στο αεροπλάνο δεν μπορεί να είναι συνεχής.

2. Δυσκολία στην εύρεση του παγκόσμιου βέλτιστου. Η μέθοδος είναι εφαρμόσιμη για την εύρεση μόνο τοπικών βέλτιστων.

Μέθοδος κλίσης καθόδου.

Η κατεύθυνση της πιο απότομης καθόδου αντιστοιχεί στην κατεύθυνση της μεγαλύτερης μείωσης της συνάρτησης. Είναι γνωστό ότι η κατεύθυνση της μεγαλύτερης αύξησης της συνάρτησης δύο μεταβλητών u = f(x, y) χαρακτηρίζεται από την κλίση της:

όπου e1, e2 είναι μοναδιαία διανύσματα (όρθιοι) προς την κατεύθυνση των αξόνων συντεταγμένων. Επομένως, η κατεύθυνση αντίθετη από τη διαβάθμιση θα υποδεικνύει την κατεύθυνση της μεγαλύτερης μείωσης στη συνάρτηση. Οι μέθοδοι που βασίζονται στην επιλογή μιας διαδρομής βελτιστοποίησης χρησιμοποιώντας μια κλίση καλούνται βαθμίδα.

Η ιδέα πίσω από τη μέθοδο gradient descent είναι η εξής. Επιλέγοντας κάποιο σημείο εκκίνησης

υπολογίζουμε τη διαβάθμιση της εξεταζόμενης συνάρτησης σε αυτήν. Κάνουμε ένα βήμα προς την αντίθετη κατεύθυνση από την κλίση:

Η διαδικασία συνεχίζεται μέχρι να ληφθεί η μικρότερη τιμή της αντικειμενικής συνάρτησης. Αυστηρά μιλώντας, το τέλος της αναζήτησης θα έρθει όταν η κίνηση από το ληφθέν σημείο με οποιοδήποτε βήμα οδηγεί σε αύξηση της τιμής της αντικειμενικής συνάρτησης. Εάν επιτευχθεί το ελάχιστο της συνάρτησης εντός της εξεταζόμενης περιοχής, τότε σε αυτό το σημείο η διαβάθμιση είναι ίση με μηδέν, η οποία μπορεί επίσης να χρησιμεύσει ως σήμα για το τέλος της διαδικασίας βελτιστοποίησης.

Η μέθοδος κλίσης καθόδου έχει το ίδιο μειονέκτημα με τη μέθοδο συντεταγμένης καθόδου: παρουσία χαράδρων στην επιφάνεια, η σύγκλιση της μεθόδου είναι πολύ αργή.

Στην περιγραφόμενη μέθοδο, απαιτείται ο υπολογισμός της διαβάθμισης της αντικειμενικής συνάρτησης f(x) σε κάθε βήμα βελτιστοποίησης:

Οι τύποι για μερικές παραγώγους μπορούν να ληφθούν ρητά μόνο όταν η αντικειμενική συνάρτηση δίνεται αναλυτικά. Διαφορετικά, αυτές οι παράγωγοι υπολογίζονται χρησιμοποιώντας αριθμητική διαφοροποίηση:

Όταν χρησιμοποιείται βαθμιδωτή κάθοδος σε προβλήματα βελτιστοποίησης, ο κύριος αριθμός υπολογισμών συνήθως πέφτει στον υπολογισμό της κλίσης της αντικειμενικής συνάρτησης σε κάθε σημείο της τροχιάς καθόδου. Ως εκ τούτου, συνιστάται να μειώσετε τον αριθμό τέτοιων σημείων χωρίς να διακυβεύεται η ίδια η λύση. Αυτό επιτυγχάνεται σε ορισμένες μεθόδους που είναι τροποποιήσεις gradient descent. Ένα από αυτά είναι η πιο απότομη μέθοδος καθόδου. Σύμφωνα με αυτή τη μέθοδο, μετά τον προσδιορισμό της κατεύθυνσης αντίθετης από την κλίση της αντικειμενικής συνάρτησης στο αρχικό σημείο, επιλύεται ένα μονοδιάστατο πρόβλημα βελτιστοποίησης ελαχιστοποιώντας τη συνάρτηση κατά μήκος αυτής της κατεύθυνσης. Δηλαδή, η συνάρτηση ελαχιστοποιείται:

Για ελαχιστοποίηση μπορεί να χρησιμοποιηθεί μία από τις μεθόδους μονοδιάστατης βελτιστοποίησης. Είναι επίσης δυνατό να κινηθείτε απλώς προς την αντίθετη κατεύθυνση από τη διαβάθμιση, ενώ δεν κάνετε ένα βήμα, αλλά πολλά βήματα μέχρι να σταματήσει η μείωση της αντικειμενικής συνάρτησης. Στο νέο σημείο που βρέθηκε, η κατεύθυνση της κάθοδος προσδιορίζεται και πάλι (χρησιμοποιώντας μια κλίση) και ένα νέο ελάχιστο σημείο της αντικειμενικής συνάρτησης κ.λπ. υπολογίζεται σε λιγότεροισημεία. Η διαφορά είναι ότι εδώ η κατεύθυνση της μονοδιάστατης βελτιστοποίησης καθορίζεται από την κλίση της αντικειμενικής συνάρτησης, ενώ η κατά συντεταγμένη κάθοδος πραγματοποιείται σε κάθε βήμα κατά μήκος μιας από τις κατευθύνσεις συντεταγμένων.

Μέθοδος απότομης καθόδου για την περίπτωση συνάρτησης δύο μεταβλητών z = f(x,y).

Πρώτον, είναι εύκολο να δείξουμε ότι η κλίση της συνάρτησης είναι κάθετη στην εφαπτομένη στη γραμμή στάθμης σε ένα δεδομένο σημείο. Επομένως, στις μεθόδους κλίσης, η κάθοδος συμβαίνει κατά μήκος της γραμμής κανονικής προς την στάθμη. Δεύτερον, στο σημείο όπου επιτυγχάνεται το ελάχιστο της αντικειμενικής συνάρτησης κατά μήκος της διεύθυνσης, η παράγωγος της συνάρτησης κατά μήκος αυτής της κατεύθυνσης εξαφανίζεται. Όμως η παράγωγος της συνάρτησης είναι μηδέν προς την κατεύθυνση της εφαπτομένης στη γραμμή στάθμης. Συνεπάγεται ότι η κλίση της αντικειμενικής συνάρτησης στο νέο σημείο είναι κάθετη προς την κατεύθυνση της μονοδιάστατης βελτιστοποίησης στο προηγούμενο βήμα, δηλ. η κάθοδος σε δύο διαδοχικά βήματα πραγματοποιείται σε αμοιβαία κάθετες κατευθύνσεις.

Διάλεξη Νο 8

μέθοδοι κλίσηςεπίλυση προβλήματος μη γραμμικό προγραμματισμό. Μέθοδοι συναρτήσεων ποινής. Μη γραμμικές εφαρμογές προγραμματισμού σε προβλήματα επιχειρησιακής έρευνας.

Εργασίες χωρίς όρια.Σε γενικές γραμμές, οποιοδήποτε μη γραμμικό πρόβλημα μπορεί να λυθεί με τη μέθοδο της κλίσης. Ωστόσο, υπάρχει μόνο τοπικό εξτρέμ. Επομένως, είναι πιο σκόπιμο να εφαρμοστεί αυτή η μέθοδος για την επίλυση προβλημάτων κυρτού προγραμματισμού στα οποία οποιοδήποτε τοπικό άκρο είναι επίσης παγκόσμιο (βλ. Θεώρημα 7.6).

Θα εξετάσουμε το πρόβλημα της μεγιστοποίησης μιας μη γραμμικής διαφορίσιμης συνάρτησης φά(Χ). Η ουσία της αναζήτησης κλίσης για το μέγιστο σημείο Χ* πολύ απλό: πρέπει να πάρετε αυθαίρετο σημείο Χ 0 και χρησιμοποιώντας την κλίση που υπολογίζεται σε αυτό το σημείο, προσδιορίστε την κατεύθυνση προς την οποία φά(Χ) αυξάνεται με τον υψηλότερο ρυθμό (Εικ. 7.4),

και μετά, κάνοντας ένα μικρό βήμα προς την κατεύθυνση που βρέθηκε, πηγαίνετε στο νέο σημείο x i. Στη συνέχεια, καθορίστε ξανά την καλύτερη κατεύθυνση για να πάτε στο επόμενο σημείο Χ 2, κλπ. Στο σχ. 7.4 Η τροχιά αναζήτησης είναι μια διακεκομμένη γραμμή Χ 0 , Χ 1 , Χ 2 ... Έτσι, είναι απαραίτητο να κατασκευαστεί μια ακολουθία σημείων Χ 0 , Χ 1 , Χ 2 ,...,Χ k , ... ώστε να συγκλίνει στο μέγιστο σημείο Χ*, δηλαδή, για τα σημεία της ακολουθίας, οι συνθήκες

Οι μέθοδοι κλίσης, κατά κανόνα, καθιστούν δυνατή την απόκτηση μιας ακριβούς λύσης σε άπειρο αριθμό βημάτων και μόνο σε ορισμένες περιπτώσεις σε πεπερασμένο αριθμό. Από αυτή την άποψη, οι μέθοδοι κλίσης αναφέρονται ως κατά προσέγγιση μέθοδοι επίλυσης.

Κίνηση από ένα σημείο x kσε ένα νέο σημείο xk+1πραγματοποιείται κατά μήκος μιας ευθείας γραμμής που διέρχεται από το σημείο x kκαι έχοντας την εξίσωση

(7.29)

όπου λ k είναι μια αριθμητική παράμετρος από την οποία εξαρτάται το μέγεθος του βήματος. Μόλις επιλεγεί η τιμή της παραμέτρου στην εξίσωση (7.29): λ k =λ k 0 , ορίζεται το επόμενο σημείο στην πολυγραμμή αναζήτησης.

Οι μέθοδοι κλίσης διαφέρουν μεταξύ τους στον τρόπο επιλογής του μεγέθους βήματος - η τιμή λ k 0 της παραμέτρου λ k . Είναι δυνατόν, για παράδειγμα, να μετακινηθείτε από σημείο σε σημείο με σταθερό βήμα λ k = λ, δηλ. για οποιοδήποτε κ

Αν αποδειχτεί ότι , τότε θα πρέπει να επιστρέψετε στο σημείο και να μειώσετε την τιμή της παραμέτρου, για παράδειγμα, σε λ /2.

Μερικές φορές το μέγεθος του βήματος λαμβάνεται ανάλογα με το μέτρο της κλίσης.

Εάν αναζητηθεί μια κατά προσέγγιση λύση, τότε η αναζήτηση μπορεί να τερματιστεί με βάση τις ακόλουθες σκέψεις. Μετά από κάθε σειρά ορισμένου αριθμού βημάτων, συγκρίνονται οι επιτυγχανόμενες τιμές της αντικειμενικής συνάρτησης φά(Χ). Αν μετά την επόμενη σειρά η αλλαγή φά(Χ) δεν υπερβαίνει κάποιο προκαθορισμένο μικρό αριθμό , η αναζήτηση τερματίζεται και επιτυγχάνεται η τιμή φά(Χ) θεωρείται ως το επιθυμητό κατά προσέγγιση μέγιστο, και το αντίστοιχο Χπαρε για Χ*.

Αν η αντικειμενική συνάρτηση φά(Χ) κοίλο (κυρτό), τότε απαραίτητο και επαρκής κατάστασηβελτιστοποίηση σημείου Χ* είναι η μηδενική κλίση της συνάρτησης σε αυτό το σημείο.

Μια κοινή παραλλαγή της αναζήτησης με κλίση ονομάζεται μέθοδος πιο απότομης ανάβασης. Η ουσία του είναι η εξής. Αφού ορίσουμε την κλίση σε ένα σημείο x kκίνηση σε ευθεία γραμμή παράγονται στο σημείο x k+ 1 , στο οποίο μέγιστη αξίαλειτουργίες φά(Χ) προς την κατεύθυνση της κλίσης. Στη συνέχεια, η κλίση προσδιορίζεται ξανά σε αυτό το σημείο και η κίνηση γίνεται σε ευθεία γραμμή προς την κατεύθυνση της νέας κλίσης προς το σημείο x k+ 2 , όπου επιτυγχάνεται η μέγιστη τιμή προς αυτή την κατεύθυνση φά(Χ). Η κίνηση συνεχίζεται μέχρι να φτάσει στο σημείο. Χ* που αντιστοιχεί στη μεγαλύτερη τιμή της αντικειμενικής συνάρτησης φά(Χ). Στο σχ. Το 7.5 δείχνει το σχήμα κίνησης στο βέλτιστο σημείο Χ* μέθοδος της ταχύτερης ανόδου. ΣΤΟ αυτή η υπόθεσηκατεύθυνση κλίσης σημείου x kεφάπτεται στη γραμμή του επιπέδου της επιφάνειας φά(Χ) στο σημείο x k+ 1 , εξ ου και η κλίση στο σημείο x k+Το 1 είναι ορθογώνιο ως προς την κλίση (συγκρίνετε με το σχήμα 7.4).

Μετακίνηση από ένα σημείο x kσε ένα σημείο συνοδεύεται από αύξηση της συνάρτησης φά(Χ) από την τιμή

Μπορεί να φανεί από την έκφραση (7.30) ότι η αύξηση είναι συνάρτηση της μεταβλητής , δηλ. Κατά την εύρεση του μέγιστου της συνάρτησης φά(x) προς την κατεύθυνση της κλίσης ) είναι απαραίτητο να επιλέξετε το βήμα κίνησης (πολλαπλασιαστής ) που παρέχει τη μεγαλύτερη αύξηση στην αύξηση της συνάρτησης, δηλαδή τη συνάρτηση . Η αξία στην οποία υψηλότερη τιμή, μπορεί να προσδιοριστεί από την απαραίτητη συνθήκη για το άκρο της συνάρτησης:

(7.31)

Ας βρούμε μια έκφραση για την παράγωγο διαφοροποιώντας την ισότητα (7.30) ως προς το πώς σύνθετη λειτουργία:

Αντικαθιστώντας αυτό το αποτέλεσμα με ισότητα (7.31), λαμβάνουμε

Αυτή η ισότητα έχει μια απλή γεωμετρική ερμηνεία: την κλίση στο επόμενο σημείο x k+ 1 , ορθογώνια ως προς την κλίση στο προηγούμενο σημείο x k.

κατασκευάζονται οι ισόπεδες γραμμές αυτής της επιφάνειας. Για το σκοπό αυτό, η εξίσωση ανάγεται στη μορφή ( Χ 1 -1) 2 + (x 2 -2) 2 \u003d 5-0,5 φά, από το οποίο είναι σαφές ότι οι γραμμές τομής του παραβολοειδούς με τα επίπεδα παράλληλα με το επίπεδο Χ 1 Ο Χ 2 (γραμμές επιπέδου) είναι κύκλοι ακτίνας . Στο φά=-150, -100, -50 οι ακτίνες τους είναι ίσες αντίστοιχα , και το κοινό κέντρο βρίσκεται στο σημείο (1; 2). Βρείτε τη διαβάθμιση αυτής της συνάρτησης:

πατάω. Υπολογίζουμε:

Στο σχ. 7.6 με προέλευση στο σημείο Χ 0 =(5; 10) το διάνυσμα 1/16 κατασκευάζεται, υποδεικνύοντας την κατεύθυνση της ταχύτερης αύξησης της συνάρτησης στο σημείο Χ 0 . Το επόμενο σημείο βρίσκεται προς αυτή την κατεύθυνση. Σε αυτό το σημείο .

Χρησιμοποιώντας την συνθήκη (7.32), λαμβάνουμε

ή 1-4=0, από όπου =1/4. Αφού , τότε η τιμή που βρέθηκε είναι το μέγιστο σημείο. Βρίσκουμε Χ 1 =(5-16/4; 10-32/4)=(1; 2).

II βήμα. Σημείο εκκίνησης για το δεύτερο βήμα Χ 1 =(1; 2). Υπολογίστε =(-4∙1 +4; -4∙2+8)=(0; 0). Συνεπώς, Χ 1 =(1; 2) είναι ακίνητο σημείο. Αλλά από τότε δεδομένη λειτουργίακοίλο, τότε στο σημείο που βρέθηκε (1; 2) επιτυγχάνεται το συνολικό μέγιστο.

Πρόβλημα με γραμμικούς περιορισμούς. Σημειώνουμε αμέσως ότι αν η αντικειμενική συνάρτηση φά(Χ) σε ένα περιορισμένο πρόβλημα έχει ένα μόνο άκρο και είναι μέσα στην αποδεκτή περιοχή, στη συνέχεια για να βρείτε το άκρο Χ* Η παραπάνω μεθοδολογία εφαρμόζεται χωρίς καμία τροποποίηση.

Εξετάστε ένα κυρτό πρόβλημα προγραμματισμού με γραμμικούς περιορισμούς:

(7.34)

Θεωρείται ότι φά(Χ) είναι μια κοίλη συνάρτηση και έχει συνεχείς μερικές παραγώγους σε κάθε σημείο της αποδεκτής περιοχής.

Ας ξεκινήσουμε με μια γεωμετρική απεικόνιση της διαδικασίας επίλυσης του προβλήματος (Εικ. 7.7). Αφήστε το σημείο εκκίνησης ΧΤο 0 βρίσκεται εντός της επιτρεπόμενης περιοχής. Από ένα σημείο Χ 0 μπορείτε να μετακινηθείτε προς την κατεύθυνση της κλίσης μέχρι φά(Χ) δεν θα φτάσει στο μέγιστο. Στην περίπτωσή μας φά(Χ) αυξάνεται συνεχώς, επομένως πρέπει να σταματήσετε στο σημείο Χ, στην οριογραμμή. Όπως φαίνεται από το σχήμα, είναι αδύνατο να προχωρήσουμε περαιτέρω προς την κατεύθυνση της κλίσης, αφού θα εγκαταλείψουμε την επιτρεπόμενη περιοχή. Ως εκ τούτου, είναι απαραίτητο να βρεθεί μια άλλη κατεύθυνση κίνησης, η οποία, αφενός, δεν οδηγεί έξω από την επιτρεπόμενη περιοχή και, αφετέρου, εξασφαλίζει τη μεγαλύτερη αύξηση φά(Χ). Μια τέτοια κατεύθυνση θα καθορίσει το διάνυσμα , το οποίο είναι το μικρότερο με το διάνυσμα αιχμηρή γωνίασε σύγκριση με οποιοδήποτε άλλο διάνυσμα εξερχόμενο από ένα σημείο x iκαι βρίσκεται στην αποδεκτή περιοχή. Αναλυτικά, ένας τέτοιος φορέας μπορεί να βρεθεί από την συνθήκη της μεγιστοποίησης του βαθμωτού προϊόντος . Σε αυτή την περίπτωση, το διάνυσμα που δείχνει την πιο συμφέρουσα κατεύθυνση συμπίπτει με την οριακή γραμμή.

Έτσι, στο επόμενο βήμα, είναι απαραίτητο να κινηθείτε κατά μήκος της οριακής γραμμής μέχρι φά(Χ) στην περίπτωσή μας - στο σημείο Χ 2. Μπορεί να φανεί από το σχήμα ότι πρέπει να κινηθεί περαιτέρω προς την κατεύθυνση του διανύσματος, η οποία βρίσκεται από την συνθήκη της μεγιστοποίησης του κλιμακωτού γινομένου , δηλαδή κατά μήκος της οριογραμμής. Η κίνηση τελειώνει σε ένα σημείο Χ 3 , αφού η αναζήτηση βελτιστοποίησης τελειώνει σε αυτό το σημείο, αφού η συνάρτηση φά(Χ) Εχει τοπικό μέγιστο. Λόγω της κοιλότητας σε αυτό το σημείο φά(Χ) φθάνει επίσης ένα παγκόσμιο μέγιστο στην αποδεκτή περιοχή. κλίση στο μέγιστο σημείο Χ 3 =Χ* κάνει μια αμβλεία γωνία με οποιοδήποτε διάνυσμα από την έγκυρη περιοχή που διέρχεται x 3, να γιατί κλιμακωτό προϊόνθα είναι αρνητικό για κάθε παραδεκτό rk, Εκτός r 3 κατευθύνεται κατά μήκος της οριογραμμής. Για αυτό, το κλιμακωτό γινόμενο = 0, αφού και είναι αμοιβαία κάθετα (η οριακή γραμμή αγγίζει τη γραμμή επιπέδου της επιφάνειας φά(Χ) περνώντας από το μέγιστο σημείο Χ*). Αυτή η ισότητα χρησιμεύει ως αναλυτικό σημάδι ότι στο σημείο Χ 3 λειτουργία φά(Χ) έφτασε στο μέγιστο.

Εξετάστε τώρα την αναλυτική λύση του προβλήματος (7.33) - (7.35). Εάν η αναζήτηση βελτιστοποίησης ξεκινά από ένα σημείο που βρίσκεται στην αποδεκτή περιοχή (όλοι οι περιορισμοί του προβλήματος ικανοποιούνται ως αυστηρές ανισότητες), τότε κάποιος θα πρέπει να κινηθεί κατά την κατεύθυνση της κλίσης όπως καθορίστηκε παραπάνω. Ωστόσο, τώρα η επιλογή λ κστην εξίσωση (7.29) περιπλέκεται από την απαίτηση ότι το επόμενο σημείο παραμένει στην επιτρεπόμενη περιοχή. Αυτό σημαίνει ότι οι συντεταγμένες του πρέπει να ικανοποιούν τους περιορισμούς (7.34), (7.35), δηλαδή οι ανισότητες πρέπει να ικανοποιούνται:

(7.36)

Επίλυση του συστήματος γραμμικές ανισότητες(7.36), βρίσκουμε το τμήμα επιτρεπόμενες τιμέςπαράμετρος λ κ, κάτω από το οποίο το σημείο x k +1 θα ανήκει στην αποδεκτή περιοχή.

Εννοια λ k *που προσδιορίστηκε ως αποτέλεσμα της επίλυσης της εξίσωσης (7.32):

Στο οποίο φά(Χ) έχει τοπικό μέγιστο in λ κπρος την κατεύθυνση πρέπει να ανήκει στο τμήμα . Εάν η τιμή που βρέθηκε λ κυπερβαίνει το καθορισμένο τμήμα, τότε ως λ k *παραλαμβάνεται. Σε αυτή την περίπτωση, το επόμενο σημείο της τροχιάς αναζήτησης αποδεικνύεται ότι βρίσκεται στο οριακό υπερεπίπεδο που αντιστοιχεί στην ανισότητα του συστήματος (7.36), σύμφωνα με το οποίο λήφθηκε το σωστό τελικό σημείο κατά την επίλυση του συστήματος. διάστημα αποδεκτών τιμών παραμέτρων λ κ.

Εάν η αναζήτηση βελτιστοποίησης ξεκίνησε από ένα σημείο που βρίσκεται στο υπερεπίπεδο των ορίων ή το επόμενο σημείο της τροχιάς αναζήτησης αποδείχθηκε ότι ήταν στο υπερεπίπεδο ορίου, τότε για να συνεχίσετε να κινείστε στο μέγιστο σημείο, πρώτα απ 'όλα, είναι απαραίτητο να βρείτε την καλύτερη κατεύθυνση κίνησης Για το σκοπό αυτό, είναι απαραίτητο να λυθεί το βοηθητικό πρόβλημα μαθηματικός προγραμματισμός, δηλαδή, για μεγιστοποίηση της συνάρτησης

υπό περιορισμούς

για αυτούς t, στο οποίο

όπου .

Ως αποτέλεσμα της επίλυσης του προβλήματος (7.37) - (7.40), θα βρεθεί ένα διάνυσμα που συνθέτει τη μικρότερη οξεία γωνία με τη διαβάθμιση.

Η συνθήκη (7.39) λέει ότι το σημείο ανήκει στο όριο της αποδεκτής περιοχής και η συνθήκη (7.38) σημαίνει ότι η μετατόπιση από κατά μήκος του διανύσματος θα κατευθυνθεί εντός της αποδεκτής περιοχής ή κατά μήκος των ορίων της. Η συνθήκη κανονικοποίησης (7.40) είναι απαραίτητη για τον περιορισμό της τιμής του, καθώς διαφορετικά η τιμή της αντικειμενικής συνάρτησης (7.37) μπορεί να γίνει αυθαίρετα μεγάλη Γνωστή διάφορες μορφέςσυνθήκες κανονικοποίησης, και ανάλογα με αυτό το πρόβλημα (7.37) - (7.40) μπορεί να είναι γραμμικό ή μη γραμμικό.

Μετά τον προσδιορισμό της κατεύθυνσης, βρίσκεται η τιμή λ k *για το επόμενο σημείο τροχιά αναζήτησης. Χρησιμοποιεί απαραίτητη προϋπόθεσηάκρο σε μορφή παρόμοια με την εξίσωση (7.32), αλλά με αντικατάσταση του διανύσματος , δηλ.

(7.41)

Η αναζήτηση βελτιστοποίησης σταματά όταν φτάσει στο σημείο x k *, όπου .

Παράδειγμα 7.5.Μεγιστοποίηση μιας συνάρτησης υπό περιορισμούς

Λύση.Για οπτική παρουσίασηΘα συνοδεύσουμε τη διαδικασία βελτιστοποίησης με μια γραφική απεικόνιση. Το σχήμα 7.8 δείχνει πολλές γραμμές επιπέδου μιας δεδομένης επιφάνειας και μια αποδεκτή περιοχή OABS στην οποία μπορεί να βρεθεί ένα σημείο Χ* που παρέχει το μέγιστο αυτής της συνάρτησης (βλ. παράδειγμα 7 4).

Ας ξεκινήσουμε την αναζήτηση βελτιστοποίησης, για παράδειγμα, από το σημείο Χ 0 =(4, 2,5) που βρίσκεται στην οριακή γραμμή ΑΒ Χ 1 +4Χ 2=14. Εν φά(Χ 0)=4,55.

Βρείτε την τιμή της κλίσης

στο σημείο Χ 0 . Επιπλέον, φαίνεται από το σχήμα ότι επιτρεπόμενη περιοχήπεράστε τις γραμμές επιπέδου με σημάδια υψηλότερα από φά(Χ 0)=4,55. Με μια λέξη, πρέπει να αναζητήσετε μια κατεύθυνση r 0 =(r 01 , r 02) μετακίνηση στο επόμενο σημείο Χ 1 πιο κοντά στο βέλτιστο. Για το σκοπό αυτό, λύνουμε το πρόβλημα (7.37) - (7.40) της μεγιστοποίησης της συνάρτησης κάτω από τους περιορισμούς

Από το σημείο ΧΤο 0 βρίσκεται μόνο σε μία (πρώτη) οριακή γραμμή ( Εγώ=1) Χ 1 +4Χ 2 =14, τότε η συνθήκη (7.38) γράφεται με τη μορφή ισότητας.

Το σύστημα περιοριστικών εξισώσεων αυτού του προβλήματος έχει μόνο δύο λύσεις (-0,9700; 0,2425) και (0,9700; -0,2425) Αντικαθιστώντας τις απευθείας στη συνάρτηση Τ 0 ορίστηκε στο μέγιστο ΤΤο 0 είναι μη μηδενικό και επιτυγχάνεται με επίλυση (-0,9700; 0,2425) Έτσι, μετακινηθείτε από ΧΤο 0 χρειάζεται προς την κατεύθυνση του διανύσματος r 0 \u003d (0,9700; 0,2425), δηλαδή κατά μήκος της οριακής γραμμής BA.

Να προσδιορίσετε τις συντεταγμένες του επόμενου σημείου Χ 1 =(Χ 11 ; Χ 12)

(7.42)

είναι απαραίτητο να βρεθεί η τιμή της παραμέτρου στην οποία η συνάρτηση φά(Χ) στο σημείο Χ

εξ ου =2,0618. Ταυτόχρονα = -0,3999<0. Значит,=2,0618. По формуле (7.42) находим координаты новой точки х 1 (2; 3).

Εάν συνεχίσουμε την αναζήτηση βελτιστοποίησης, τότε κατά την επίλυση του επόμενου βοηθητικού προβλήματος (7.37) - (7.40) θα διαπιστωθεί ότι Т 1 = , που σημαίνει ότι το σημείο x 1 είναι το μέγιστο σημείο x* της αντικειμενικής συνάρτησης στην αποδεκτή περιοχή. Το ίδιο φαίνεται και από το σχήμα στο σημείο x 1 μία από τις γραμμές επιπέδου αγγίζει το όριο της επιτρεπόμενης περιοχής. Επομένως, το σημείο x 1 είναι το σημείο του μέγιστου x*. Εν φάμέγ.= φά(Χ*)=5,4.

Πρόβλημα με μη γραμμικούς περιορισμούς. Εάν σε προβλήματα με γραμμικούς περιορισμούς, η κίνηση κατά μήκος των οριογραμμών αποδεικνύεται δυνατή και ακόμη και σκόπιμη, τότε με μη γραμμικούς περιορισμούς που ορίζουν μια κυρτή περιοχή, οποιαδήποτε αυθαίρετα μικρή μετατόπιση από το οριακό σημείο μπορεί να οδηγήσει αμέσως πέρα ​​από τα όρια της περιοχής των εφικτών λύσεων , και θα χρειαστεί να επιστρέψετε στην επιτρεπόμενη περιοχή (Εικ. 7.9). Μια παρόμοια κατάσταση είναι χαρακτηριστική για προβλήματα στα οποία το άκρο της συνάρτησης φά(Χ) επιτυγχάνεται στα όρια της περιοχής. Για το λόγο αυτό, διάφορα

μεθόδους μετακίνησης που παρέχουν την κατασκευή μιας ακολουθίας σημείων που βρίσκονται κοντά στα σύνορα και εντός της επιτρεπόμενης περιοχής ή κίνηση ζιγκ-ζαγκ κατά μήκος των συνόρων που διέρχονται από την τελευταία. Όπως φαίνεται από το σχήμα, η επιστροφή από το σημείο x 1 στην επιτρεπτή περιοχή πρέπει να πραγματοποιείται κατά μήκος της κλίσης της οριακής συνάρτησης που αποδείχθηκε ότι παραβιάστηκε. Αυτό θα εξασφαλίσει ότι το επόμενο σημείο x 2 αποκλίνει προς το ακραίο σημείο x*. Σε μια τέτοια περίπτωση, το πρόσημο ενός άκρου θα είναι η συγγραμμικότητα των διανυσμάτων και .

1. Η έννοια των μεθόδων κλίσης.Απαραίτητη προϋπόθεση για την ύπαρξη ενός άκρου συνεχούς διαφοροποιήσιμης συνάρτησης είναι οι συνθήκες της μορφής

όπου είναι τα ορίσματα συνάρτησης. Πιο συμπαγή, αυτή η συνθήκη μπορεί να γραφτεί στη μορφή

(2.4.1)

όπου είναι ο προσδιορισμός της κλίσης της συνάρτησης σε ένα δεδομένο σημείο.

Οι μέθοδοι βελτιστοποίησης που χρησιμοποιούν τη διαβάθμιση για τον προσδιορισμό του άκρου της αντικειμενικής συνάρτησης καλούνται βαθμίδα.Χρησιμοποιούνται ευρέως σε συστήματα βέλτιστου προσαρμοστικού ελέγχου σταθερών καταστάσεων, στα οποία γίνεται αναζήτηση για τη βέλτιστη (με την έννοια του επιλεγμένου κριτηρίου) σταθερή κατάσταση του συστήματος όταν αλλάζουν οι παράμετροι, η δομή ή οι εξωτερικές επιρροές του.

Η εξίσωση (2.4.1) είναι γενικά μη γραμμική. Η άμεση λύση του είναι είτε αδύνατη είτε πολύ δύσκολη. Η εύρεση λύσεων σε τέτοιες εξισώσεις είναι δυνατή με την οργάνωση μιας ειδικής διαδικασίας για την αναζήτηση ενός ακραίου σημείου που βασίζεται στη χρήση διαφόρων ειδών αναδρομικών τύπων.

Η διαδικασία αναζήτησης είναι δομημένη με τη μορφή μιας διαδικασίας πολλαπλών βημάτων, στην οποία κάθε επόμενο βήμα οδηγεί σε αύξηση ή μείωση της αντικειμενικής συνάρτησης, δηλαδή, πληρούνται οι προϋποθέσεις στην περίπτωση αναζήτησης του μέγιστου και του ελάχιστου, αντίστοιχα:

Διά μέσου nκαι n-Το 1 υποδηλώνει τον αριθμό των βημάτων, και τα διανύσματα που αντιστοιχούν στις τιμές των ορισμάτων της αντικειμενικής συνάρτησης στο n-m και ( Π- 1)ο βήμα. Μετά το rο βήμα, μπορεί κανείς να πάρει

δηλ. μετά από r - βήματα - η αντικειμενική συνάρτηση δεν θα αυξάνεται (μειώνεται) πλέον με οποιαδήποτε περαιτέρω αλλαγή στα ορίσματά της. Το τελευταίο σημαίνει να φτάσουμε σε ένα σημείο με συντεταγμένες για το οποίο μπορούμε να το γράψουμε

	(2.4.2)
	(2.4.3)

όπου είναι η ακραία τιμή της αντικειμενικής συνάρτησης.

Για την επίλυση της (2.4.1) στη γενική περίπτωση, μπορεί να εφαρμοστεί η ακόλουθη διαδικασία. Ας γράψουμε την τιμή των συντεταγμένων της αντικειμενικής συνάρτησης στη φόρμα

όπου είναι κάποιος συντελεστής (βαθμωτός) που δεν είναι ίσος με μηδέν.

Στο ακραίο σημείο, αφού

Η λύση της εξίσωσης (2.4.1) με αυτόν τον τρόπο είναι δυνατή εάν η συνθήκη σύγκλισης της επαναληπτικής διαδικασίας ικανοποιείται για οποιαδήποτε αρχική τιμή.

Οι μέθοδοι προσδιορισμού, με βάση τη λύση της εξίσωσης (2.2.), διαφέρουν μεταξύ τους ως προς την επιλογή του , δηλαδή στην επιλογή του βήματος αλλαγής της αντικειμενικής συνάρτησης στη διαδικασία αναζήτησης ενός άκρου. Αυτό το βήμα μπορεί να είναι μόνιμο ή μεταβλητή Στη δεύτερη περίπτωση, ο νόμος της αλλαγής της τιμής του βήματος, με τη σειρά του, μπορεί να προκαθοριστεί ή. εξαρτώνται από την τρέχουσα τιμή (μπορεί να είναι μη γραμμική).

2. Μέθοδος απότομης κατάβασης.Η ιδέα της πιο απότομης μεθόδου κατάβασης είναι ότι η αναζήτηση ενός ακραίου θα πρέπει να πραγματοποιείται προς την κατεύθυνση της μεγαλύτερης αλλαγής στην κλίση ή την αντίστροφη κλίση, αφού αυτή είναι η συντομότερη διαδρομή για να φτάσετε στο ακραίο σημείο. Κατά την εφαρμογή του, πρώτα απ 'όλα, είναι απαραίτητο να υπολογίσετε τη διαβάθμιση σε ένα δεδομένο σημείο και να επιλέξετε την τιμή του βήματος.

Υπολογισμός κλίσης.Εφόσον, ως αποτέλεσμα της βελτιστοποίησης, βρίσκονται οι συντεταγμένες του ακραίου σημείου, για το οποίο η σχέση είναι αληθής:

τότε η υπολογιστική διαδικασία για τον προσδιορισμό της κλίσης μπορεί να αντικατασταθεί από τη διαδικασία για τον προσδιορισμό των συνιστωσών των βαθμίδων σε διακριτά σημεία στο χώρο της αντικειμενικής συνάρτησης

	(2.4.5)

όπου υπάρχει μια μικρή αλλαγή στη συντεταγμένη

Υποθέτοντας ότι το σημείο ορισμού της κλίσης βρίσκεται στη μέση

τμήμα τότε

Η επιλογή (2.4.5) ή (2.4.6) εξαρτάται από την κλίση της συνάρτησης στο τμήμα - Ax;; Εάν η απότομη κλίση δεν είναι μεγάλη, θα πρέπει να προτιμάται το (2.4.5), καθώς υπάρχουν λιγότεροι υπολογισμοί. Διαφορετικά, πιο ακριβή αποτελέσματα λαμβάνονται με υπολογισμό σύμφωνα με το σημείο 2.4.4. Η αύξηση της ακρίβειας του προσδιορισμού της κλίσης είναι επίσης δυνατή με τον μέσο όρο των τυχαίων αποκλίσεων.

Επιλογή τιμής βήματοςΗ δυσκολία στην επιλογή της τιμής του βήματος είναι ότι η κατεύθυνση της κλίσης μπορεί να αλλάξει από σημείο σε σημείο. Σε αυτή την περίπτωση, ένα πολύ μεγάλο βήμα θα οδηγήσει σε απόκλιση από τη βέλτιστη τροχιά, δηλ. από την κατεύθυνση κατά μήκος μιας κλίσης ή αντίστροφης κλίσης, και ένα πολύ μικρό βήμα θα οδηγήσει σε μια πολύ αργή κίνηση προς ένα άκρο λόγω της ανάγκης εκτέλεσης μεγάλος αριθμός υπολογισμών.

Μία από τις πιθανές μεθόδους για την εκτίμηση της τιμής του βήματος είναι η μέθοδος Newton-Raphson. Ας το εξετάσουμε στο παράδειγμα μιας μονοδιάστατης περίπτωσης με την υπόθεση ότι το άκρο επιτυγχάνεται στο σημείο που καθορίζεται από τη λύση της εξίσωσης (Εικ. 2.4.2).

Αφήστε την αναζήτηση να ξεκινήσει από ένα σημείο και, στη γειτονιά αυτού του σημείου, η συνάρτηση μπορεί να επεκταθεί σε μια συγκλίνουσα σειρά Taylor. Επειτα

Η φορά της κλίσης στο σημείο είναι ίδια με την κατεύθυνση της εφαπτομένης. Κατά την αναζήτηση για το ελάχιστο ακραίο σημείο, αλλάζοντας τις συντεταγμένες ΧΗ κίνηση κατά μήκος της κλίσης μπορεί να γραφτεί ως:

Εικ.2.4.2 Σχέδιο υπολογισμού του βήματος σύμφωνα με τη μέθοδο Newton-Raphson.

Αντικαθιστώντας το (2.4.7) με το (2.4.8), παίρνουμε:

Εφόσον, σύμφωνα με την συνθήκη αυτού του παραδείγματος, η τιμή επιτυγχάνεται στο σημείο που καθορίζεται από τη λύση της εξίσωσης, τότε μπορούμε να προσπαθήσουμε να κάνουμε ένα τέτοιο βήμα ώστε δηλαδή να

Αντικαταστήστε μια νέα τιμή στη συνάρτηση στόχο. Εάν τότε στο σημείο, επαναληφθεί η διαδικασία προσδιορισμού, με αποτέλεσμα να βρεθεί η τιμή:

και τα λοιπά. ο υπολογισμός σταματά αν οι αλλαγές στην αντικειμενική συνάρτηση είναι μικρές, δηλ.

όπου – αποδεκτό σφάλμα στον προσδιορισμό της αντικειμενικής συνάρτησης.

Μέθοδος βέλτιστης κλίσης.Η ιδέα πίσω από αυτή τη μέθοδο είναι η εξής. Στη συνήθη μέθοδο της πιο απότομης κατάβασης, το βήμα επιλέγεται στη γενική περίπτωση [όταν] αυθαίρετα, με γνώμονα μόνο το γεγονός ότι δεν πρέπει να υπερβαίνει μια ορισμένη τιμή. Στη μέθοδο της βέλτιστης διαβάθμισης, η τιμή βήματος επιλέγεται με βάση την απαίτηση ότι κάποιος πρέπει να μετακινηθεί από ένα δεδομένο σημείο προς την κατεύθυνση της κλίσης (αντι-κλίσης) μέχρι να αυξηθεί (μειωθεί) η αντικειμενική συνάρτηση. Εάν αυτή η απαίτηση δεν πληρούται, είναι απαραίτητο να σταματήσει η κίνηση και να προσδιοριστεί μια νέα κατεύθυνση κίνησης (η κατεύθυνση της κλίσης) κ.λπ. (μέχρι να βρεθεί το βέλτιστο σημείο).

Έτσι, οι βέλτιστες τιμές και για την εύρεση του ελάχιστου και του μέγιστου, αντίστοιχα, προσδιορίζονται από τη λύση των εξισώσεων:

Στα (1) και (2), αντίστοιχα

Επομένως, ο ορισμός σε κάθε βήμα συνίσταται στην εύρεση από τις εξισώσεις (1) ή (2) για κάθε σημείο της τροχιάς κίνησης κατά μήκος της κλίσης, ξεκινώντας από την αρχική.