Online λύση ελαχίστων τετραγώνων. Πού εφαρμόζεται η μέθοδος των ελαχίστων τετραγώνων;

Η μέθοδος των ελαχίστων τετραγώνων (LSM) σας επιτρέπει να υπολογίζετε διάφορες ποσότητες χρησιμοποιώντας τα αποτελέσματα πολλών μετρήσεων που περιέχουν τυχαία σφάλματα.

Χαρακτηριστικό MNC

Η κύρια ιδέα αυτής της μεθόδου είναι ότι το άθροισμα των τετραγωνικών σφαλμάτων θεωρείται ως κριτήριο για την ακρίβεια της λύσης του προβλήματος, το οποίο επιδιώκεται να ελαχιστοποιηθεί. Κατά τη χρήση αυτής της μεθόδου, μπορούν να εφαρμοστούν τόσο αριθμητικές όσο και αναλυτικές προσεγγίσεις.

Ειδικότερα, ως αριθμητική υλοποίηση, η μέθοδος των ελαχίστων τετραγώνων συνεπάγεται την πραγματοποίηση όσο το δυνατόν περισσότερων μετρήσεων μιας άγνωστης τυχαίας μεταβλητής. Επιπλέον, όσο περισσότεροι υπολογισμοί, τόσο πιο ακριβής θα είναι η λύση. Σε αυτό το σύνολο υπολογισμών (αρχικά δεδομένα), προκύπτει ένα άλλο σύνολο προτεινόμενων λύσεων, από τις οποίες στη συνέχεια επιλέγεται η καλύτερη. Εάν το σύνολο των λύσεων παραμετροποιηθεί, τότε η μέθοδος των ελαχίστων τετραγώνων θα μειωθεί στην εύρεση της βέλτιστης τιμής των παραμέτρων.

Ως αναλυτική προσέγγιση για την υλοποίηση του LSM στο σύνολο των αρχικών δεδομένων (μετρήσεις) και στο προτεινόμενο σύνολο λύσεων, ορίζεται κάποια (λειτουργική), η οποία μπορεί να εκφραστεί με έναν τύπο που προκύπτει ως μια συγκεκριμένη υπόθεση που πρέπει να επιβεβαιωθεί . Σε αυτήν την περίπτωση, η μέθοδος των ελαχίστων τετραγώνων μειώνεται στην εύρεση του ελάχιστου αυτής της συνάρτησης στο σύνολο των τετραγωνικών σφαλμάτων των αρχικών δεδομένων.

Σημειώστε ότι όχι τα ίδια τα σφάλματα, αλλά τα τετράγωνα των σφαλμάτων. Γιατί; Γεγονός είναι ότι συχνά οι αποκλίσεις των μετρήσεων από την ακριβή τιμή είναι θετικές και αρνητικές. Κατά τον προσδιορισμό του μέσου όρου, η απλή άθροιση μπορεί να οδηγήσει σε εσφαλμένο συμπέρασμα σχετικά με την ποιότητα της εκτίμησης, καθώς η αμοιβαία ακύρωση θετικών και αρνητικών τιμών θα μειώσει τη δειγματοληπτική ισχύ του συνόλου των μετρήσεων. Και, κατά συνέπεια, η ακρίβεια της αξιολόγησης.

Για να μην συμβεί αυτό, αθροίζονται οι τετραγωνικές αποκλίσεις. Ακόμη περισσότερο από αυτό, προκειμένου να εξισωθεί η διάσταση της μετρούμενης τιμής και η τελική εκτίμηση, από το άθροισμα των τετραγωνικών σφαλμάτων,

Μερικές εφαρμογές των MNC

Το MNC χρησιμοποιείται ευρέως σε διάφορους τομείς. Για παράδειγμα, στη θεωρία πιθανοτήτων και στη μαθηματική στατιστική, η μέθοδος χρησιμοποιείται για τον προσδιορισμό ενός τέτοιου χαρακτηριστικού μιας τυχαίας μεταβλητής όπως η τυπική απόκλιση, η οποία καθορίζει το πλάτος του εύρους τιμών μιας τυχαίας μεταβλητής.

Χρησιμοποιείται ευρέως στην οικονομετρία με τη μορφή μιας ξεκάθαρης οικονομικής ερμηνείας των παραμέτρων του.

Η γραμμική παλινδρόμηση μειώνεται στην εύρεση μιας εξίσωσης της μορφής

ή

Εξίσωση τύπου επιτρέπει δεδομένες τιμές παραμέτρων Χέχουν θεωρητικές τιμές του αποτελεσματικού χαρακτηριστικού, αντικαθιστώντας τις πραγματικές τιμές του παράγοντα σε αυτό Χ.

Η οικοδόμηση μιας γραμμικής παλινδρόμησης καταλήγει στην εκτίμηση των παραμέτρων της − ένακαι σε.Οι εκτιμήσεις παραμέτρων γραμμικής παλινδρόμησης μπορούν να βρεθούν με διαφορετικές μεθόδους.

Η κλασική προσέγγιση για την εκτίμηση των παραμέτρων γραμμικής παλινδρόμησης βασίζεται σε ελάχιστα τετράγωνα(ΜΝΚ).

Το LSM επιτρέπει σε κάποιον να λάβει τέτοιες εκτιμήσεις παραμέτρων ένακαι σε,κάτω από το οποίο το άθροισμα των τετραγωνικών αποκλίσεων των πραγματικών τιμών του προκύπτοντος χαρακτηριστικού (y)από υπολογισμένο (θεωρητικό) mini-minimum:

Για να βρεθεί το ελάχιστο μιας συνάρτησης, είναι απαραίτητο να υπολογιστούν οι μερικές παράγωγοι σε σχέση με κάθε μία από τις παραμέτρους ένακαι σικαι να τις εξισώσει με το μηδέν.

Σημειώστε με S και στη συνέχεια:

Μετασχηματίζοντας τον τύπο, λαμβάνουμε το ακόλουθο σύστημα κανονικών εξισώσεων για την εκτίμηση των παραμέτρων ένακαι σε:

Επιλύοντας το σύστημα των κανονικών εξισώσεων (3.5) είτε με τη μέθοδο διαδοχικής εξάλειψης μεταβλητών είτε με τη μέθοδο των οριζόντων, βρίσκουμε τις επιθυμητές εκτιμήσεις παραμέτρων ένακαι σε.

Παράμετρος σεπου ονομάζεται συντελεστής παλινδρόμησης. Η τιμή του δείχνει τη μέση μεταβολή του αποτελέσματος με μεταβολή του συντελεστή κατά μία μονάδα.

Η εξίσωση παλινδρόμησης συμπληρώνεται πάντα με έναν δείκτη της στεγανότητας της σύνδεσης. Όταν χρησιμοποιείται γραμμική παλινδρόμηση, ο συντελεστής γραμμικής συσχέτισης λειτουργεί ως ένας τέτοιος δείκτης. Υπάρχουν διάφορες τροποποιήσεις του τύπου του συντελεστή γραμμικής συσχέτισης. Μερικές από αυτές παρατίθενται παρακάτω:

Όπως γνωρίζετε, ο συντελεστής γραμμικής συσχέτισης είναι εντός των ορίων: -1 ≤ ≤ 1.

Για να εκτιμηθεί η ποιότητα της επιλογής μιας γραμμικής συνάρτησης, υπολογίζεται το τετράγωνο

Ένας γραμμικός συντελεστής συσχέτισης που ονομάζεται συντελεστής προσδιορισμού .Ο συντελεστής προσδιορισμού χαρακτηρίζει την αναλογία της διακύμανσης του ενεργού χαρακτηριστικού y,εξηγείται με παλινδρόμηση, στη συνολική διακύμανση του προκύπτοντος χαρακτηριστικού:

Κατά συνέπεια, η τιμή 1 - χαρακτηρίζει την αναλογία διασποράς y,προκαλείται από την επίδραση άλλων παραγόντων που δεν λαμβάνονται υπόψη στο μοντέλο.

Ερωτήσεις για αυτοέλεγχο

1. Η ουσία της μεθόδου των ελαχίστων τετραγώνων;

2. Πόσες μεταβλητές παρέχουν παλινδρόμηση κατά ζεύγη;

3. Ποιος συντελεστής καθορίζει τη στεγανότητα της σύνδεσης μεταξύ των αλλαγών;

4. Μέσα σε ποια όρια προσδιορίζεται ο συντελεστής προσδιορισμού;

5. Εκτίμηση της παραμέτρου b στην ανάλυση συσχέτισης-παλίνδρομης;

1. Christopher Dougherty. Εισαγωγή στην οικονομετρία. - M.: INFRA - M, 2001 - 402 p.

2. Α.Ε. Borodich. Οικονομετρία. Minsk LLC "New Knowledge" 2001.

3. R.U. Rakhmetova Σύντομο μάθημα στην οικονομετρία. Φροντιστήριο. Αλμάτι. 2004. -78s.

4. Ι.Ι. Eliseeva. Οικονομετρία. - Μ.: «Οικονομικά και στατιστικά», 2002

5. Μηνιαίο ενημερωτικό και αναλυτικό περιοδικό.

Μη γραμμικά οικονομικά μοντέλα. Μη γραμμικά μοντέλα παλινδρόμησης. Μεταβλητή μετατροπή.

Μη γραμμικά οικονομικά μοντέλα..

Μεταβλητή μετατροπή.

συντελεστής ελαστικότητας.

Εάν υπάρχουν μη γραμμικές σχέσεις μεταξύ οικονομικών φαινομένων, τότε αυτές εκφράζονται χρησιμοποιώντας τις αντίστοιχες μη γραμμικές συναρτήσεις: για παράδειγμα, μια ισόπλευρη υπερβολή , παραβολές δευτέρου βαθμού κ.λπ.

Υπάρχουν δύο κατηγορίες μη γραμμικών παλινδρομήσεων:

1. Παλινδρομήσεις που είναι μη γραμμικές ως προς τις επεξηγηματικές μεταβλητές που περιλαμβάνονται στην ανάλυση, αλλά γραμμικές ως προς τις εκτιμώμενες παραμέτρους, για παράδειγμα:

Πολυώνυμα διαφόρων βαθμών - , ;

Ισόπλευρη υπερβολή - ;

Ημιλογαριθμική συνάρτηση - .

2. Παλινδρομήσεις που είναι μη γραμμικές στις εκτιμώμενες παραμέτρους, για παράδειγμα:

Εξουσία - ;

Επιδεικτικό -;

Εκθετική - .

Το συνολικό άθροισμα των τετραγωνικών αποκλίσεων των μεμονωμένων τιμών του προκύπτοντος χαρακτηριστικού στοαπό τη μέση τιμή προκαλείται από την επίδραση πολλών παραγόντων. Χωρίζουμε υπό όρους ολόκληρο το σύνολο των λόγων σε δύο ομάδες: μελετήθηκε ο παράγοντας xκαι άλλους παράγοντες.

Εάν ο παράγοντας δεν επηρεάζει το αποτέλεσμα, τότε η γραμμή παλινδρόμησης στο γράφημα είναι παράλληλη προς τον άξονα ωκαι

Τότε ολόκληρη η διασπορά του προκύπτοντος χαρακτηριστικού οφείλεται στην επίδραση άλλων παραγόντων και το συνολικό άθροισμα των τετραγωνικών αποκλίσεων θα συμπίπτει με το υπόλοιπο. Εάν άλλοι παράγοντες δεν επηρεάζουν το αποτέλεσμα, τότε έδεσεςΜε Χλειτουργικά, και το υπολειπόμενο άθροισμα των τετραγώνων είναι μηδέν. Σε αυτή την περίπτωση, το άθροισμα των τετραγωνικών αποκλίσεων που εξηγείται από την παλινδρόμηση είναι το ίδιο με το συνολικό άθροισμα των τετραγώνων.

Δεδομένου ότι δεν βρίσκονται όλα τα σημεία του πεδίου συσχέτισης στη γραμμή παλινδρόμησης, η διασπορά τους λαμβάνει χώρα πάντα λόγω της επίδρασης του παράγοντα Χ, δηλαδή παλινδρόμηση στοεπί Χ,και προκαλείται από τη δράση άλλων αιτιών (ανεξήγητη παραλλαγή). Η καταλληλότητα της γραμμής παλινδρόμησης για την πρόβλεψη εξαρτάται από το μέρος της συνολικής διακύμανσης του χαρακτηριστικού στοεξηγεί την επεξηγημένη παραλλαγή

Προφανώς, εάν το άθροισμα των τετραγωνικών αποκλίσεων λόγω παλινδρόμησης είναι μεγαλύτερο από το υπολειπόμενο άθροισμα των τετραγώνων, τότε η εξίσωση παλινδρόμησης είναι στατιστικά σημαντική και ο παράγοντας Χέχει σημαντικό αντίκτυπο στο αποτέλεσμα. y.

, δηλαδή με τον αριθμό της ελευθερίας ανεξάρτητης παραλλαγής του χαρακτηριστικού. Ο αριθμός των βαθμών ελευθερίας σχετίζεται με τον αριθμό των μονάδων του πληθυσμού n και τον αριθμό των σταθερών που προσδιορίζονται από αυτόν. Σε σχέση με το υπό μελέτη πρόβλημα, ο αριθμός των βαθμών ελευθερίας θα πρέπει να δείχνει από πόσες ανεξάρτητες αποκλίσεις Π

Η εκτίμηση της σημασίας της εξίσωσης παλινδρόμησης στο σύνολό της δίνεται με τη βοήθεια του φά- Το κριτήριο του Fisher. Σε αυτή την περίπτωση, τίθεται μια μηδενική υπόθεση ότι ο συντελεστής παλινδρόμησης είναι ίσος με μηδέν, δηλ. b= 0, και ως εκ τούτου ο παράγοντας Χδεν επηρεάζει το αποτέλεσμα y.

Για τον άμεσο υπολογισμό του κριτηρίου F προηγείται ανάλυση της διακύμανσης. Κεντρικό στοιχείο είναι η επέκταση του συνολικού αθροίσματος των τετραγωνικών αποκλίσεων της μεταβλητής στοαπό τη μέση τιμή στοσε δύο μέρη - "εξήγηση" και "ανεξήγητο":

Συνολικό άθροισμα τετραγωνικών αποκλίσεων.

Άθροισμα τετραγώνων απόκλισης που εξηγείται με παλινδρόμηση.

Υπολειπόμενο άθροισμα τετραγωνικής απόκλισης.

Οποιοδήποτε άθροισμα τετραγωνικών αποκλίσεων σχετίζεται με τον αριθμό των βαθμών ελευθερίας , δηλαδή με τον αριθμό της ελευθερίας ανεξάρτητης παραλλαγής του χαρακτηριστικού. Ο αριθμός των βαθμών ελευθερίας σχετίζεται με τον αριθμό των πληθυσμιακών μονάδων nκαι με τον αριθμό των σταθερών που προσδιορίζεται από αυτό. Σε σχέση με το υπό μελέτη πρόβλημα, ο αριθμός των βαθμών ελευθερίας θα πρέπει να δείχνει από πόσες ανεξάρτητες αποκλίσεις Πείναι δυνατό να σχηματιστεί ένα δεδομένο άθροισμα τετραγώνων.

Διασπορά ανά βαθμό ελευθερίαςρε.

Αναλογίες F (κριτήριο F):

Εάν η μηδενική υπόθεση είναι αληθής, τότε ο παράγοντας και οι υπολειπόμενες διακυμάνσεις δεν διαφέρουν μεταξύ τους. Για το H 0, είναι απαραίτητη μια διάψευση έτσι ώστε η διακύμανση του παράγοντα να υπερβαίνει το υπόλοιπο κατά πολλές φορές. Ο Άγγλος στατιστικολόγος Snedecor ανέπτυξε πίνακες κρίσιμων τιμών φά-σχέσεις σε διαφορετικά επίπεδα σημασίας της μηδενικής υπόθεσης και διαφορετικός αριθμός βαθμών ελευθερίας. Τιμή πίνακα φά-κριτήριο είναι η μέγιστη τιμή του λόγου των διακυμάνσεων που μπορεί να προκύψουν εάν αποκλίνουν τυχαία για ένα δεδομένο επίπεδο πιθανότητας παρουσίας μηδενικής υπόθεσης. Υπολογιζόμενη τιμή φά-η σχέση αναγνωρίζεται ως αξιόπιστη εάν το o είναι μεγαλύτερο από τον πίνακα.

Σε αυτή την περίπτωση, η μηδενική υπόθεση σχετικά με την απουσία σχέσης χαρακτηριστικών απορρίπτεται και εξάγεται συμπέρασμα σχετικά με τη σημασία αυτής της σχέσης: F fact > F πίνακαςΤο H 0 απορρίπτεται.

Αν η τιμή είναι μικρότερη από τον πίνακα F fact ‹, F πίνακας, τότε η πιθανότητα της μηδενικής υπόθεσης είναι υψηλότερη από ένα δεδομένο επίπεδο και δεν μπορεί να απορριφθεί χωρίς σοβαρό κίνδυνο εξαγωγής λανθασμένου συμπεράσματος σχετικά με την ύπαρξη σχέσης. Στην περίπτωση αυτή, η εξίσωση παλινδρόμησης θεωρείται στατιστικά ασήμαντη. N o δεν παρεκκλίνει.

Τυπικό σφάλμα του συντελεστή παλινδρόμησης

Για να εκτιμηθεί η σημασία του συντελεστή παλινδρόμησης, η τιμή του συγκρίνεται με το τυπικό σφάλμα του, δηλ. προσδιορίζεται η πραγματική τιμή t-Δοκιμή μαθητή: η οποία στη συνέχεια συγκρίνεται με την τιμή του πίνακα σε ένα ορισμένο επίπεδο σημασίας και τον αριθμό των βαθμών ελευθερίας ( n- 2).

Τυπικό σφάλμα παραμέτρου ένα:

Η σημασία του συντελεστή γραμμικής συσχέτισης ελέγχεται με βάση το μέγεθος του σφάλματος συντελεστής συσχέτισης r:

Συνολική διακύμανση ενός χαρακτηριστικού Χ:

Πολλαπλή Γραμμική Παλινδρόμηση

Πρότυπο κτίριο

Πολλαπλή παλινδρόμησηείναι μια παλινδρόμηση ενός αποτελεσματικού χαρακτηριστικού με δύο ή περισσότερους παράγοντες, δηλαδή ένα μοντέλο της μορφής

Η παλινδρόμηση μπορεί να δώσει ένα καλό αποτέλεσμα στη μοντελοποίηση εάν μπορεί να παραμεληθεί η επίδραση άλλων παραγόντων που επηρεάζουν το αντικείμενο μελέτης. Η συμπεριφορά των επιμέρους οικονομικών μεταβλητών δεν μπορεί να ελεγχθεί, δηλαδή δεν είναι δυνατό να εξασφαλιστεί η ισότητα όλων των άλλων συνθηκών για την αξιολόγηση της επιρροής ενός παράγοντα υπό μελέτη. Σε αυτήν την περίπτωση, θα πρέπει να προσπαθήσετε να προσδιορίσετε την επίδραση άλλων παραγόντων εισάγοντάς τους στο μοντέλο, δηλαδή να δημιουργήσετε μια εξίσωση πολλαπλής παλινδρόμησης: y = a+b 1 x 1 +b 2 +…+b p x p + .

Ο κύριος στόχος της πολλαπλής παλινδρόμησης είναι η οικοδόμηση ενός μοντέλου με μεγάλο αριθμό παραγόντων, ενώ προσδιορίζεται η επιρροή καθενός από αυτούς ξεχωριστά, καθώς και η σωρευτική τους επίδραση στον μοντελοποιημένο δείκτη. Η προδιαγραφή του μοντέλου περιλαμβάνει δύο τομείς ερωτήσεων: την επιλογή των παραγόντων και την επιλογή του τύπου της εξίσωσης παλινδρόμησης

Μία από τις μεθόδους για τη μελέτη των στοχαστικών σχέσεων μεταξύ χαρακτηριστικών είναι η ανάλυση παλινδρόμησης.
Η ανάλυση παλινδρόμησης είναι η εξαγωγή μιας εξίσωσης παλινδρόμησης, η οποία χρησιμοποιείται για την εύρεση της μέσης τιμής μιας τυχαίας μεταβλητής (χαρακτηριστικό-αποτέλεσμα), εάν είναι γνωστή η τιμή μιας άλλης (ή άλλης) μεταβλητής (χαρακτηριστικοί-παράγοντες). Περιλαμβάνει τα ακόλουθα βήματα:

1. επιλογή της μορφής σύνδεσης (τύπος αναλυτικής εξίσωσης παλινδρόμησης).
2. Εκτίμηση των παραμέτρων της εξίσωσης.
3. αξιολόγηση της ποιότητας της αναλυτικής εξίσωσης παλινδρόμησης.

Το πιο συχνά χρησιμοποιούμενο για την εκτίμηση παραμέτρων είναι μέθοδος ελαχίστων τετραγώνων (LSM).
Η μέθοδος των ελαχίστων τετραγώνων δίνει τις καλύτερες (συνεπείς, αποτελεσματικές και αμερόληπτες) εκτιμήσεις των παραμέτρων της εξίσωσης παλινδρόμησης. Αλλά μόνο εάν πληρούνται ορισμένες υποθέσεις σχετικά με τον τυχαίο όρο (u) και την ανεξάρτητη μεταβλητή (x) (βλέπε υποθέσεις OLS).

Το πρόβλημα της εκτίμησης των παραμέτρων μιας εξίσωσης γραμμικού ζεύγους με τη μέθοδο των ελαχίστων τετραγώνωνσυνίσταται στα εξής: να ληφθούν τέτοιες εκτιμήσεις των παραμέτρων , στις οποίες το άθροισμα των τετραγωνικών αποκλίσεων των πραγματικών τιμών του ενεργού χαρακτηριστικού - y i από τις υπολογιζόμενες τιμές - είναι ελάχιστο.
Τυπικά Κριτήριο OLSμπορεί να γραφτεί ως εξής: .

Ταξινόμηση μεθόδων ελαχίστων τετραγώνων

1. Μέθοδος ελάχιστου τετραγώνου.
2. Μέθοδος μέγιστης πιθανότητας (για ένα κανονικό κλασικό μοντέλο γραμμικής παλινδρόμησης, υποτίθεται ότι η κανονικότητα των υπολειμμάτων παλινδρόμησης).
3. Η γενικευμένη μέθοδος ελαχίστων τετραγώνων του GLSM χρησιμοποιείται στην περίπτωση της αυτοσυσχέτισης σφαλμάτων και στην περίπτωση της ετεροσκεδαστικότητας.
4. Μέθοδος σταθμισμένων ελαχίστων τετραγώνων (ειδική περίπτωση GLSM με ετεροσκεδαστικά κατάλοιπα).

Εικονογραφήστε την ουσία η κλασική μέθοδος των ελαχίστων τετραγώνων γραφικά. Για να γίνει αυτό, θα δημιουργήσουμε ένα διάγραμμα κουκκίδων σύμφωνα με τα δεδομένα παρατήρησης (x i , y i , i=1;n) σε ένα ορθογώνιο σύστημα συντεταγμένων (ένα τέτοιο διάγραμμα κουκκίδων ονομάζεται πεδίο συσχέτισης). Ας προσπαθήσουμε να βρούμε μια ευθεία που είναι πιο κοντά στα σημεία του πεδίου συσχέτισης. Σύμφωνα με τη μέθοδο των ελαχίστων τετραγώνων, η ευθεία επιλέγεται έτσι ώστε το άθροισμα των τετραγωνικών κάθετων αποστάσεων μεταξύ των σημείων του πεδίου συσχέτισης και αυτής της ευθείας να είναι ελάχιστο.

Μαθηματική σημειογραφία αυτού του προβλήματος: .
Οι τιμές των y i και x i =1...n είναι γνωστές σε εμάς, αυτά είναι δεδομένα παρατήρησης. Στη συνάρτηση S είναι σταθερές. Οι μεταβλητές σε αυτή τη συνάρτηση είναι οι απαιτούμενες εκτιμήσεις των παραμέτρων - , . Για να βρούμε το ελάχιστο μιας συνάρτησης 2 μεταβλητών, είναι απαραίτητο να υπολογίσουμε τις μερικές παραγώγους αυτής της συνάρτησης ως προς κάθε μία από τις παραμέτρους και να τις εξισώσουμε με μηδέν, δηλ. .
Ως αποτέλεσμα, λαμβάνουμε ένα σύστημα 2 κανονικών γραμμικών εξισώσεων:
Επιλύοντας αυτό το σύστημα, βρίσκουμε τις απαιτούμενες εκτιμήσεις παραμέτρων:

Η ορθότητα του υπολογισμού των παραμέτρων της εξίσωσης παλινδρόμησης μπορεί να ελεγχθεί συγκρίνοντας τα αθροίσματα (κάποια απόκλιση είναι πιθανή λόγω στρογγυλοποίησης των υπολογισμών).
Για να υπολογίσετε εκτιμήσεις παραμέτρων , μπορείτε να δημιουργήσετε τον Πίνακα 1.
Το πρόσημο του συντελεστή παλινδρόμησης b δείχνει την κατεύθυνση της σχέσης (αν b > 0, η σχέση είναι άμεση, αν b<0, то связь обратная). Величина b показывает на сколько единиц изменится в среднем признак-результат -y при изменении признака-фактора - х на 1 единицу своего измерения.
Τυπικά, η τιμή της παραμέτρου a είναι η μέση τιμή του y για x ίση με μηδέν. Εάν ο συντελεστής πρόσημου δεν έχει και δεν μπορεί να έχει μηδενική τιμή, τότε η παραπάνω ερμηνεία της παραμέτρου α δεν έχει νόημα.

Εκτίμηση της στεγανότητας της σχέσης μεταξύ των χαρακτηριστικών πραγματοποιείται χρησιμοποιώντας τον συντελεστή συσχέτισης γραμμικών ζευγών - r x,y . Μπορεί να υπολογιστεί χρησιμοποιώντας τον τύπο: . Επιπλέον, ο συντελεστής συσχέτισης γραμμικών ζευγών μπορεί να προσδιοριστεί με βάση τον συντελεστή παλινδρόμησης b: .
Το εύρος των επιτρεπόμενων τιμών του γραμμικού συντελεστή συσχέτισης ζεύγους είναι από –1 έως +1. Το πρόσημο του συντελεστή συσχέτισης δείχνει την κατεύθυνση της σχέσης. Εάν r x, y >0, τότε η σύνδεση είναι άμεση. αν r x, y<0, то связь обратная.
Εάν αυτός ο συντελεστής είναι κοντά στη μονάδα συντελεστή, τότε η σχέση μεταξύ των χαρακτηριστικών μπορεί να ερμηνευθεί ως αρκετά στενή γραμμική. Αν το μέτρο του είναι ίσο με ένα ê r x, y ê =1, τότε η σχέση μεταξύ των χαρακτηριστικών είναι συναρτησιακή γραμμική. Εάν τα χαρακτηριστικά x και y είναι γραμμικά ανεξάρτητα, τότε τα r x,y είναι κοντά στο 0.
Ο Πίνακας 1 μπορεί επίσης να χρησιμοποιηθεί για τον υπολογισμό του r x,y.

Για να εκτιμηθεί η ποιότητα της λαμβανόμενης εξίσωσης παλινδρόμησης, υπολογίζεται ο θεωρητικός συντελεστής προσδιορισμού - R 2 yx:

,
όπου d 2 είναι η διακύμανση y που εξηγείται από την εξίσωση παλινδρόμησης.
e 2 - υπολειπόμενη (ανεξήγητη από την εξίσωση παλινδρόμησης) διακύμανση y ;
s 2 y - συνολική (συνολική) διακύμανση y .
Ο συντελεστής προσδιορισμού χαρακτηρίζει την αναλογία διακύμανσης (διασπορά) του προκύπτοντος χαρακτηριστικού y, που εξηγείται με παλινδρόμηση (και, κατά συνέπεια, τον παράγοντα x), στη συνολική διακύμανση (διασπορά) y. Ο συντελεστής προσδιορισμού R 2 yx παίρνει τιμές από 0 έως 1. Κατά συνέπεια, η τιμή 1-R 2 yx χαρακτηρίζει το ποσοστό διακύμανσης y που προκαλείται από την επίδραση άλλων παραγόντων που δεν λαμβάνονται υπόψη στο μοντέλο και τα σφάλματα προδιαγραφών.
Με ζευγαρωμένη γραμμική παλινδρόμηση R 2 yx =r 2 yx .

Μέθοδος ελαχίστων τετραγώνων (OLS, eng. Ordinary Least Squares, OLS)- μια μαθηματική μέθοδος που χρησιμοποιείται για την επίλυση διαφόρων προβλημάτων, που βασίζεται στην ελαχιστοποίηση του αθροίσματος των τετραγωνικών αποκλίσεων ορισμένων συναρτήσεων από τις επιθυμητές μεταβλητές. Μπορεί να χρησιμοποιηθεί για την «λύση» υπερκαθορισμένων συστημάτων εξισώσεων (όταν ο αριθμός των εξισώσεων υπερβαίνει τον αριθμό των αγνώστων), για την εύρεση λύσης στην περίπτωση συνηθισμένων (όχι υπερκαθορισμένων) μη γραμμικών συστημάτων εξισώσεων, για την προσέγγιση των σημειακών τιμών κάποιας λειτουργίας. Το OLS είναι μία από τις βασικές μεθόδους ανάλυσης παλινδρόμησης για την εκτίμηση άγνωστων παραμέτρων μοντέλων παλινδρόμησης από δεδομένα δείγματος.

Εγκυκλοπαιδικό YouTube

1 / 5

✪ Μέθοδος ελαχίστων τετραγώνων. Θέμα

✪ Ελάχιστα τετράγωνα, μάθημα 1/2. Γραμμική συνάρτηση

✪ Οικονομετρία. Διάλεξη 5. Μέθοδος ελαχίστων τετραγώνων

✪ Mitin I. V. - Επεξεργασία των αποτελεσμάτων της φυσικής. πείραμα - Μέθοδος ελαχίστων τετραγώνων (Διάλεξη 4)

✪ Οικονομετρία: Η ουσία της μεθόδου των ελαχίστων τετραγώνων #2

Υπότιτλοι

Ιστορία

Μέχρι τις αρχές του XIX αιώνα. οι επιστήμονες δεν είχαν ορισμένους κανόνες για την επίλυση ενός συστήματος εξισώσεων στο οποίο ο αριθμός των αγνώστων είναι μικρότερος από τον αριθμό των εξισώσεων. Μέχρι τότε, χρησιμοποιήθηκαν συγκεκριμένες μέθοδοι, ανάλογα με το είδος των εξισώσεων και την ευρηματικότητα των αριθμομηχανών, και ως εκ τούτου διαφορετικοί αριθμομηχανές, ξεκινώντας από τα ίδια δεδομένα παρατήρησης, κατέληξαν σε διαφορετικά συμπεράσματα. Ο Gauss (1795) πιστώνεται με την πρώτη εφαρμογή της μεθόδου και ο Legendre (1805) την ανακάλυψε ανεξάρτητα και την δημοσίευσε με τη σύγχρονη ονομασία της (fr. Metode des moindres quarres) . Ο Laplace συνέδεσε τη μέθοδο με τη θεωρία των πιθανοτήτων και ο Αμερικανός μαθηματικός Adrain (1808) εξέτασε τις πιθανοτικές εφαρμογές της. Η μέθοδος είναι ευρέως διαδεδομένη και βελτιωμένη από περαιτέρω έρευνα από τους Encke, Bessel, Hansen και άλλους.

Η ουσία της μεθόδου των ελαχίστων τετραγώνων

Αφήνω x (\displaystyle x)- κιτ n (\displaystyle n)άγνωστες μεταβλητές (παράμετροι), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- σύνολο συναρτήσεων από αυτό το σύνολο μεταβλητών. Το πρόβλημα είναι να επιλέξουμε τέτοιες τιμές x (\displaystyle x)ώστε οι τιμές αυτών των συναρτήσεων να είναι όσο το δυνατόν πιο κοντά σε ορισμένες τιμές y i (\displaystyle y_(i)). Στην ουσία μιλάμε για τη «λύση» του υπερκαθορισμένου συστήματος εξισώσεων f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\lddots ,m)με την υποδεικνυόμενη έννοια, τη μέγιστη εγγύτητα του αριστερού και του δεξιού τμήματος του συστήματος. Η ουσία του LSM είναι να επιλέξει ως "μέτρο εγγύτητας" το άθροισμα των τετραγωνικών αποκλίσεων του αριστερού και του δεξιού μέρους | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Έτσι, η ουσία του LSM μπορεί να εκφραστεί ως εξής:

Εάν το σύστημα των εξισώσεων έχει λύση, τότε το ελάχιστο του αθροίσματος των τετραγώνων θα είναι ίσο με μηδέν και οι ακριβείς λύσεις του συστήματος των εξισώσεων μπορούν να βρεθούν αναλυτικά ή, για παράδειγμα, με διάφορες μεθόδους αριθμητικής βελτιστοποίησης. Εάν το σύστημα είναι υπερκαθορισμένο, δηλαδή, χαλαρά μιλώντας, ο αριθμός των ανεξάρτητων εξισώσεων είναι μεγαλύτερος από τον αριθμό των άγνωστων μεταβλητών, τότε το σύστημα δεν έχει ακριβή λύση και η μέθοδος των ελαχίστων τετραγώνων μας επιτρέπει να βρούμε κάποιο "βέλτιστο" διάνυσμα x (\displaystyle x)με την έννοια της μέγιστης εγγύτητας των διανυσμάτων y (\displaystyle y)και f (x) (\displaystyle f(x))ή τη μέγιστη εγγύτητα του διανύσματος απόκλισης e (\displaystyle e)στο μηδέν (η εγγύτητα νοείται με την έννοια της Ευκλείδειας απόστασης).

Παράδειγμα - σύστημα γραμμικών εξισώσεων

Συγκεκριμένα, η μέθοδος των ελαχίστων τετραγώνων μπορεί να χρησιμοποιηθεί για την «λύση» του συστήματος γραμμικών εξισώσεων

όπου A (\displaystyle A)μήτρα ορθογώνιου μεγέθους m × n , m > n (\displaystyle m\times n,m>n)(δηλαδή ο αριθμός των σειρών του πίνακα Α είναι μεγαλύτερος από τον αριθμό των απαιτούμενων μεταβλητών).

Ένα τέτοιο σύστημα εξισώσεων γενικά δεν έχει λύση. Επομένως, αυτό το σύστημα μπορεί να «λυθεί» μόνο με την έννοια της επιλογής ενός τέτοιου διανύσματος x (\displaystyle x)για να ελαχιστοποιηθεί η «απόσταση» μεταξύ των διανυσμάτων A x (\displaystyle Axe)και b (\displaystyle b). Για να γίνει αυτό, μπορείτε να εφαρμόσετε το κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγωνικών διαφορών του αριστερού και του δεξιού μέρους των εξισώσεων του συστήματος, δηλαδή (A x − b) T (A x − b) → min x (\style display (Ax-b)^(T)(Ax-b)\δεξιό βέλος \min _(x)). Είναι εύκολο να δείξουμε ότι η λύση αυτού του προβλήματος ελαχιστοποίησης οδηγεί στη λύση του ακόλουθου συστήματος εξισώσεων

OLS στην ανάλυση παλινδρόμησης (προσέγγιση δεδομένων)

Ας υπάρχει n (\displaystyle n)τιμές κάποιας μεταβλητής y (\displaystyle y)(αυτό μπορεί να είναι τα αποτελέσματα παρατηρήσεων, πειραμάτων κ.λπ.) και οι αντίστοιχες μεταβλητές x (\displaystyle x). Η πρόκληση είναι να γίνει η σχέση μεταξύ y (\displaystyle y)και x (\displaystyle x)κατά προσέγγιση από κάποια συνάρτηση γνωστή μέχρι κάποιες άγνωστες παραμέτρους b (\displaystyle b), δηλαδή, βρείτε πραγματικά τις καλύτερες τιμές των παραμέτρων b (\displaystyle b), προσεγγίζοντας κατά μέγιστο τις τιμές f (x , b) (\displaystyle f(x,b))σε πραγματικές αξίες y (\displaystyle y). Στην πραγματικότητα, αυτό ανάγεται στην περίπτωση της «λύσης» ενός υπερκαθορισμένου συστήματος εξισώσεων σε σχέση με b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\lddots ,n).

Στην ανάλυση παλινδρόμησης, και ειδικότερα στην οικονομετρία, χρησιμοποιούνται πιθανοτικά μοντέλα της σχέσης μεταξύ των μεταβλητών.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

όπου ε t (\displaystyle \varepsilon _(t))- λέγεται τυχαία σφάλματαμοντέλα.

Αντίστοιχα, οι αποκλίσεις των παρατηρούμενων τιμών y (\displaystyle y)από μοντέλο f (x , b) (\displaystyle f(x,b))ήδη υποτίθεται στο ίδιο το μοντέλο. Η ουσία του LSM (συνηθισμένο, κλασικό) είναι να βρεις τέτοιες παραμέτρους b (\displaystyle b), στο οποίο το άθροισμα των τετραγωνικών αποκλίσεων (λάθη, για τα μοντέλα παλινδρόμησης ονομάζονται συχνά υπολείμματα παλινδρόμησης) e t (\displaystyle e_(t))θα είναι ελάχιστο:

όπου R S S (\displaystyle RSS)- Αγγλικά. Το υπολειπόμενο άθροισμα τετραγώνων ορίζεται ως:

Στη γενική περίπτωση, αυτό το πρόβλημα μπορεί να λυθεί με αριθμητικές μεθόδους βελτιστοποίησης (ελαχιστοποίηση). Στην προκειμένη περίπτωση μιλάμε για μη γραμμικά ελάχιστα τετράγωνα(NLS ή NLLS - eng. Μη Γραμμικά ελάχιστα τετράγωνα). Σε πολλές περιπτώσεις, μπορεί να ληφθεί μια αναλυτική λύση. Για να λυθεί το πρόβλημα ελαχιστοποίησης, είναι απαραίτητο να βρεθούν τα ακίνητα σημεία της συνάρτησης R S S (b) (\displaystyle RSS(b)), διαφοροποιώντας το σε σχέση με άγνωστες παραμέτρους b (\displaystyle b), εξισώνοντας τις παραγώγους με το μηδέν και λύνοντας το προκύπτον σύστημα εξισώσεων:

LSM στην περίπτωση γραμμικής παλινδρόμησης

Ας είναι γραμμική η εξάρτηση της παλινδρόμησης:

Αφήνω yείναι το διάνυσμα στήλης των παρατηρήσεων της μεταβλητής που εξηγείται, και X (\displaystyle X)- αυτό είναι (n × k) (\displaystyle ((n\times k)))- πίνακας παρατηρήσεων παραγόντων (γραμμές του πίνακα - διανύσματα τιμών παραγόντων σε αυτήν την παρατήρηση, κατά στήλες - διάνυσμα τιμών αυτού του παράγοντα σε όλες τις παρατηρήσεις). Η αναπαράσταση μήτρας του γραμμικού μοντέλου έχει τη μορφή:

Τότε το διάνυσμα των εκτιμήσεων της επεξηγούμενης μεταβλητής και το διάνυσμα των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

κατά συνέπεια, το άθροισμα των τετραγώνων των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

Διαφοροποίηση αυτής της συνάρτησης σε σχέση με το διάνυσμα παραμέτρων b (\displaystyle b)και εξισώνοντας τις παραγώγους με το μηδέν, παίρνουμε ένα σύστημα εξισώσεων (σε μορφή πίνακα):

Στη μορφή αποκρυπτογραφημένου πίνακα, αυτό το σύστημα εξισώσεων μοιάζει με αυτό:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t k ∑ x 2 x t k ∑ ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b x t 3 ⋮ b x k) = (∑ t x y) = (∑) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\άθροισμα x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3)\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\άθροισμα x_(tk)y_(t)\\\end(pmatrix)))όπου όλα τα αθροίσματα λαμβάνονται πάνω από όλες τις αποδεκτές τιμές t (\displaystyle t).

Εάν περιλαμβάνεται μια σταθερά στο μοντέλο (ως συνήθως), τότε x t 1 = 1 (\displaystyle x_(t1)=1)για όλα t (\displaystyle t), επομένως, στην επάνω αριστερή γωνία του πίνακα του συστήματος των εξισώσεων είναι ο αριθμός των παρατηρήσεων n (\displaystyle n), και στα υπόλοιπα στοιχεία της πρώτης σειράς και της πρώτης στήλης - μόνο το άθροισμα των τιμών των μεταβλητών: ∑ x t j (\displaystyle \sum x_(tj))και το πρώτο στοιχείο της δεξιάς πλευράς του συστήματος - ∑ y t (\displaystyle \sum y_(t)).

Η λύση αυτού του συστήματος εξισώσεων δίνει τον γενικό τύπο για τις εκτιμήσεις των ελαχίστων τετραγώνων για το γραμμικό μοντέλο:

Για αναλυτικούς σκοπούς, η τελευταία αναπαράσταση αυτού του τύπου αποδεικνύεται χρήσιμη (στο σύστημα εξισώσεων όταν διαιρείται με n, εμφανίζονται αριθμητικοί μέσοι όροι αντί για αθροίσματα). Αν τα δεδομένα στο μοντέλο παλινδρόμησης κεντραρισμένος, τότε σε αυτήν την αναπαράσταση ο πρώτος πίνακας έχει την έννοια ενός δείγματος πίνακα συνδιακύμανσης παραγόντων και ο δεύτερος είναι το διάνυσμα των συνδιακυμάνσεων παραγόντων με μια εξαρτημένη μεταβλητή. Εάν, επιπλέον, τα δεδομένα είναι επίσης κανονικοποιημένηστο SKO (δηλαδή τελικά τυποποιημένη), τότε ο πρώτος πίνακας έχει την έννοια του πίνακα συσχέτισης του δείγματος των παραγόντων, το δεύτερο διάνυσμα - το διάνυσμα δειγματοληπτικών συσχετίσεων παραγόντων με την εξαρτημένη μεταβλητή.

Μια σημαντική ιδιότητα των εκτιμήσεων LLS για μοντέλα με μια σταθερά- η γραμμή της κατασκευασμένης παλινδρόμησης διέρχεται από το κέντρο βάρους του δείγματος δεδομένων, δηλαδή πληρούται η ισότητα:

Ειδικότερα, στην ακραία περίπτωση, όταν ο μόνος παλινδρομητής είναι μια σταθερά, βρίσκουμε ότι η εκτίμηση OLS μιας μεμονωμένης παραμέτρου (η ίδια η σταθερά) είναι ίση με τη μέση τιμή της μεταβλητής που εξηγείται. Δηλαδή, ο αριθμητικός μέσος όρος, γνωστός για τις καλές του ιδιότητες από τους νόμους των μεγάλων αριθμών, είναι επίσης μια εκτίμηση ελαχίστων τετραγώνων - ικανοποιεί το κριτήριο για το ελάχιστο άθροισμα των τετραγωνικών αποκλίσεων από αυτόν.

Οι πιο απλές ειδικές περιπτώσεις

Στην περίπτωση γραμμικής παλινδρόμησης κατά ζεύγη y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), όταν εκτιμάται η γραμμική εξάρτηση μιας μεταβλητής από μια άλλη, οι τύποι υπολογισμού απλοποιούνται (μπορείτε να το κάνετε χωρίς άλγεβρα πινάκων). Το σύστημα εξισώσεων έχει τη μορφή:

Από εδώ είναι εύκολο να βρείτε εκτιμήσεις για τους συντελεστές:

Παρά το γεγονός ότι, γενικά, τα μοντέλα με σταθερά είναι προτιμότερα, σε ορισμένες περιπτώσεις είναι γνωστό από θεωρητικές εκτιμήσεις ότι η σταθερά a (\displaystyle a)πρέπει να είναι ίσο με μηδέν. Για παράδειγμα, στη φυσική, η σχέση μεταξύ τάσης και ρεύματος έχει τη μορφή U = I ⋅ R (\displaystyle U=I\cdot R); μετρώντας την τάση και το ρεύμα, είναι απαραίτητο να εκτιμηθεί η αντίσταση. Σε αυτή την περίπτωση, μιλάμε για μοντέλο y = b x (\displaystyle y=bx). Σε αυτή την περίπτωση, αντί για σύστημα εξισώσεων, έχουμε μια ενιαία εξίσωση

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Επομένως, ο τύπος για την εκτίμηση ενός μόνο συντελεστή έχει τη μορφή

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\άθροισμα _(t=1)^(n)x_(t)^(2))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Η περίπτωση ενός πολυωνυμικού μοντέλου

Εάν τα δεδομένα προσαρμόζονται από μια πολυωνυμική συνάρτηση παλινδρόμησης μιας μεταβλητής f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), τότε, αντίληψη βαθμών x i (\displaystyle x^(i))ως ανεξάρτητους παράγοντες για τον καθένα i (\displaystyle i)είναι δυνατή η εκτίμηση των παραμέτρων του μοντέλου με βάση τον γενικό τύπο για την εκτίμηση των παραμέτρων του γραμμικού μοντέλου. Για να γίνει αυτό, αρκεί να ληφθεί υπόψη στον γενικό τύπο ότι με μια τέτοια ερμηνεία x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))και x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Επομένως, οι εξισώσεις πίνακα σε αυτήν την περίπτωση θα έχουν τη μορφή:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x t 2 ... ∑ n x t k + 1 ⋮ ⋱ ⋮ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t ∮ b 2 k] ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(t)^(2)&\ldots &\sum \limits _(n)x_(t)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ άθροισμα \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Στατιστικές Ιδιότητες Εκτιμήσεων OLS

Πρώτα απ 'όλα, σημειώνουμε ότι για γραμμικά μοντέλα, οι εκτιμήσεις των ελαχίστων τετραγώνων είναι γραμμικές εκτιμήσεις, όπως προκύπτει από τον παραπάνω τύπο. Για την αμερόληπτη των εκτιμήσεων των ελαχίστων τετραγώνων, είναι απαραίτητο και επαρκές να εκπληρωθεί η πιο σημαντική προϋπόθεση της ανάλυσης παλινδρόμησης: η μαθηματική προσδοκία ενός τυχαίου λάθους που εξαρτάται από τους παράγοντες πρέπει να είναι ίση με μηδέν. Η προϋπόθεση αυτή πληρούται, ιδίως εάν

1. η μαθηματική προσδοκία των τυχαίων σφαλμάτων είναι μηδέν, και
2. Οι παράγοντες και τα τυχαία σφάλματα είναι ανεξάρτητες τυχαίες τιμές.

Η δεύτερη προϋπόθεση - η συνθήκη των εξωγενών παραγόντων - είναι θεμελιώδης. Εάν αυτή η ιδιότητα δεν ικανοποιηθεί, τότε μπορούμε να υποθέσουμε ότι σχεδόν οποιεσδήποτε εκτιμήσεις θα είναι εξαιρετικά μη ικανοποιητικές: δεν θα είναι καν συνεπείς (δηλαδή, ακόμη και ένας πολύ μεγάλος όγκος δεδομένων δεν επιτρέπει τη λήψη ποιοτικών εκτιμήσεων σε αυτήν την περίπτωση). Στην κλασική περίπτωση, γίνεται μια ισχυρότερη υπόθεση για τον ντετερμινισμό των παραγόντων, σε αντίθεση με ένα τυχαίο σφάλμα, που σημαίνει αυτόματα ότι η εξωγενής συνθήκη ικανοποιείται. Στη γενική περίπτωση, για τη συνέπεια των εκτιμήσεων, αρκεί να ικανοποιηθεί η συνθήκη εξωγένειας μαζί με τη σύγκλιση του πίνακα V x (\displaystyle V_(x))σε κάποιο μη εκφυλισμένο πίνακα καθώς το μέγεθος του δείγματος αυξάνεται στο άπειρο.

Προκειμένου, εκτός από τη συνέπεια και την αμερόληπτη, οι (συνηθισμένες) εκτιμήσεις ελαχίστων τετραγώνων να είναι επίσης αποτελεσματικές (οι καλύτερες στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων), πρέπει να πληρούνται πρόσθετες ιδιότητες ενός τυχαίου σφάλματος:

Αυτές οι υποθέσεις μπορούν να διατυπωθούν για τον πίνακα συνδιακύμανσης του διανύσματος των τυχαίων σφαλμάτων V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Ένα γραμμικό μοντέλο που ικανοποιεί αυτές τις συνθήκες ονομάζεται κλασσικός. Οι εκτιμητές OLS για κλασική γραμμική παλινδρόμηση είναι αμερόληπτοι, συνεπείς και οι πιο αποτελεσματικοί εκτιμητές στην κατηγορία όλων των γραμμικών αμερόληπτων εκτιμητών (στην αγγλική βιβλιογραφία, η συντομογραφία χρησιμοποιείται μερικές φορές μπλε (Καλύτερος γραμμικός αμερόληπτος εκτιμητής) είναι η καλύτερη γραμμική αμερόληπτη εκτίμηση. στην εγχώρια βιβλιογραφία, το θεώρημα Gauss - Markov αναφέρεται συχνότερα). Όπως είναι εύκολο να φανεί, ο πίνακας συνδιακύμανσης του διανύσματος εκτιμήσεων συντελεστών θα είναι ίσος με:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Η αποδοτικότητα σημαίνει ότι αυτός ο πίνακας συνδιακύμανσης είναι "ελάχιστος" (οποιοσδήποτε γραμμικός συνδυασμός συντελεστών, και συγκεκριμένα οι ίδιοι οι συντελεστές, έχουν ελάχιστη απόκλιση), δηλαδή, στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων, οι εκτιμήσεις OLS είναι οι καλύτερες. Τα διαγώνια στοιχεία αυτού του πίνακα - οι αποκλίσεις των εκτιμήσεων των συντελεστών - είναι σημαντικές παράμετροι της ποιότητας των εκτιμήσεων που λαμβάνονται. Ωστόσο, δεν είναι δυνατός ο υπολογισμός του πίνακα συνδιακύμανσης επειδή η διακύμανση τυχαίου σφάλματος είναι άγνωστη. Μπορεί να αποδειχθεί ότι η αμερόληπτη και συνεπής (για το κλασικό γραμμικό μοντέλο) εκτίμηση της διακύμανσης των τυχαίων σφαλμάτων είναι η τιμή:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Αντικαθιστώντας αυτή την τιμή στον τύπο για τον πίνακα συνδιακύμανσης, λαμβάνουμε μια εκτίμηση του πίνακα συνδιακύμανσης. Οι εκτιμήσεις που προκύπτουν είναι επίσης αμερόληπτες και συνεπείς. Είναι επίσης σημαντικό η εκτίμηση της διακύμανσης του σφάλματος (και επομένως οι διακυμάνσεις των συντελεστών) και οι εκτιμήσεις των παραμέτρων του μοντέλου να είναι ανεξάρτητες τυχαίες μεταβλητές, γεγονός που καθιστά δυνατή τη λήψη στατιστικών στοιχείων δοκιμής για τον έλεγχο υποθέσεων σχετικά με τους συντελεστές του μοντέλου.

Πρέπει να σημειωθεί ότι εάν δεν πληρούνται οι κλασικές παραδοχές, οι εκτιμήσεις παραμέτρων ελαχίστων τετραγώνων δεν είναι οι πιο αποτελεσματικές και, όπου W (\displaystyle W)είναι κάποιος συμμετρικός θετικός καθορισμένος πίνακας βάρους. Τα συνηθισμένα ελάχιστα τετράγωνα είναι μια ειδική περίπτωση αυτής της προσέγγισης, όταν ο πίνακας βάρους είναι ανάλογος με τον πίνακα ταυτότητας. Όπως είναι γνωστό, για συμμετρικούς πίνακες (ή τελεστές) υπάρχει αποσύνθεση W = P T P (\displaystyle W=P^(T)P). Επομένως, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως εξής e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), δηλαδή, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως το άθροισμα των τετραγώνων ορισμένων μετασχηματισμένων «υπολειμμάτων». Έτσι, μπορούμε να διακρίνουμε μια κατηγορία μεθόδων ελάχιστων τετραγώνων - LS-methods (Least Squares).

Αποδεικνύεται (θεώρημα Aitken) ότι για ένα μοντέλο γενικευμένης γραμμικής παλινδρόμησης (στο οποίο δεν επιβάλλονται περιορισμοί στον πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), οι πιο αποτελεσματικές (στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων) είναι οι εκτιμήσεις των λεγόμενων. γενικευμένο OLS (OMNK, GLS - Γενικευμένα ελάχιστα τετράγωνα)- Μέθοδος LS με πίνακα βάρους ίσο με τον πίνακα αντίστροφης συνδιακύμανσης των τυχαίων σφαλμάτων: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Μπορεί να φανεί ότι ο τύπος για τις εκτιμήσεις GLS των παραμέτρων του γραμμικού μοντέλου έχει τη μορφή

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ο πίνακας συνδιακύμανσης αυτών των εκτιμήσεων, αντίστοιχα, θα είναι ίσος με

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- ένας)).

Στην πραγματικότητα, η ουσία του OLS έγκειται σε έναν ορισμένο (γραμμικό) μετασχηματισμό (P) των αρχικών δεδομένων και στην εφαρμογή των συνηθισμένων ελαχίστων τετραγώνων στα μετασχηματισμένα δεδομένα. Ο σκοπός αυτού του μετασχηματισμού είναι ότι για τα μετασχηματισμένα δεδομένα, τα τυχαία σφάλματα ικανοποιούν ήδη τις κλασικές υποθέσεις.

Ζυγισμένα ελάχιστα τετράγωνα

Στην περίπτωση ενός πίνακα διαγώνιου βάρους (και επομένως του πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), έχουμε τα λεγόμενα σταθμισμένα ελάχιστα τετράγωνα (WLS - Weighted Least Squares). Σε αυτήν την περίπτωση, το σταθμισμένο άθροισμα των τετραγώνων των υπολειμμάτων του μοντέλου ελαχιστοποιείται, δηλαδή, κάθε παρατήρηση λαμβάνει ένα «βάρος» που είναι αντιστρόφως ανάλογο με τη διακύμανση του τυχαίου σφάλματος σε αυτήν την παρατήρηση: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ σίγμα _(t)^(2)))). Στην πραγματικότητα, τα δεδομένα μετασχηματίζονται με στάθμιση των παρατηρήσεων (διαιρώντας με ένα ποσό ανάλογο με την υποτιθέμενη τυπική απόκλιση των τυχαίων σφαλμάτων) και εφαρμόζονται κανονικά ελάχιστα τετράγωνα στα σταθμισμένα δεδομένα.

ISBN 978-5-7749-0473-0.

Η προσέγγιση των πειραματικών δεδομένων είναι μια μέθοδος που βασίζεται στην αντικατάσταση των πειραματικά ληφθέντων δεδομένων με μια αναλυτική συνάρτηση που περνά ή συμπίπτει πιο κοντά στα κομβικά σημεία με τις αρχικές τιμές (δεδομένα που λαμβάνονται κατά το πείραμα ή το πείραμα). Υπάρχουν επί του παρόντος δύο τρόποι για να ορίσετε μια αναλυτική συνάρτηση:

Κατασκευάζοντας ένα πολυώνυμο παρεμβολής n-βαθμών που περνά απευθείας σε όλα τα σημείαδεδομένης σειράς δεδομένων. Σε αυτήν την περίπτωση, η συνάρτηση προσέγγισης αναπαρίσταται ως: ένα πολυώνυμο παρεμβολής στη μορφή Lagrange ή ένα πολυώνυμο παρεμβολής στη μορφή Newton.

Κατασκευάζοντας ένα πολυώνυμο προσεγγιστικό n βαθμού που περνά κοντά σε σημείααπό τον δεδομένο πίνακα δεδομένων. Έτσι, η συνάρτηση προσέγγισης εξομαλύνει όλους τους τυχαίους θορύβους (ή σφάλματα) που μπορεί να προκύψουν κατά τη διάρκεια του πειράματος: οι μετρούμενες τιμές κατά τη διάρκεια του πειράματος εξαρτώνται από τυχαίους παράγοντες που κυμαίνονται σύμφωνα με τους δικούς τους τυχαίους νόμους (λάθη μέτρησης ή οργάνου, ανακρίβεια ή πειραματικά Σφάλματα). Σε αυτή την περίπτωση, η συνάρτηση προσέγγισης καθορίζεται με τη μέθοδο των ελαχίστων τετραγώνων.

Μέθοδος ελάχιστου τετραγώνου(στην αγγλική βιβλιογραφία Ordinary Least Squares, OLS) είναι μια μαθηματική μέθοδος που βασίζεται στον ορισμό μιας προσεγγιστικής συνάρτησης, η οποία είναι χτισμένη στην πιο κοντινή απόσταση από σημεία από μια δεδομένη σειρά πειραματικών δεδομένων. Η εγγύτητα της αρχικής και της προσεγγιστικής συνάρτησης F(x) προσδιορίζεται από ένα αριθμητικό μέτρο, δηλαδή: το άθροισμα των τετραγωνικών αποκλίσεων των πειραματικών δεδομένων από την προσεγγιστική καμπύλη F(x) πρέπει να είναι το μικρότερο.

Καμπύλη προσαρμογής που κατασκευάστηκε με τη μέθοδο των ελαχίστων τετραγώνων

Χρησιμοποιείται η μέθοδος των ελαχίστων τετραγώνων:

Για την επίλυση υπερκαθορισμένων συστημάτων εξισώσεων όταν ο αριθμός των εξισώσεων υπερβαίνει τον αριθμό των αγνώστων.

Να αναζητήσει λύση στην περίπτωση συνηθισμένων (όχι υπερκαθορισμένων) μη γραμμικών συστημάτων εξισώσεων.

Για την προσέγγιση των τιμών των σημείων με κάποια κατά προσέγγιση συνάρτηση.

Η προσέγγιση της συνάρτησης με τη μέθοδο των ελαχίστων τετραγώνων προσδιορίζεται από τη συνθήκη του ελάχιστου αθροίσματος των τετραγωνικών αποκλίσεων της υπολογισμένης προσεγγιστικής συνάρτησης από μια δεδομένη σειρά πειραματικών δεδομένων. Αυτό το κριτήριο της μεθόδου των ελαχίστων τετραγώνων γράφεται ως η ακόλουθη έκφραση:

Τιμές της υπολογιζόμενης συνάρτησης προσέγγισης σε κομβικά σημεία,

Καθορισμένη σειρά πειραματικών δεδομένων σε κομβικά σημεία .

Το τετραγωνικό κριτήριο έχει μια σειρά από «καλές» ιδιότητες, όπως η διαφοροποίηση, παρέχοντας μια μοναδική λύση στο πρόβλημα της προσέγγισης με συναρτήσεις πολυωνυμικής προσέγγισης.

Ανάλογα με τις συνθήκες του προβλήματος, η προσεγγιστική συνάρτηση είναι ένα πολυώνυμο βαθμού m

Ο βαθμός της προσεγγιστικής συνάρτησης δεν εξαρτάται από τον αριθμό των κομβικών σημείων, αλλά η διάστασή της πρέπει πάντα να είναι μικρότερη από τη διάσταση (αριθμός σημείων) του δεδομένου πίνακα πειραματικών δεδομένων.

∙ Αν ο βαθμός της προσεγγιστικής συνάρτησης είναι m=1, τότε προσεγγίζουμε τη συνάρτηση πίνακα με ευθεία γραμμή (γραμμική παλινδρόμηση).

∙ Αν ο βαθμός της προσεγγιστικής συνάρτησης είναι m=2, τότε προσεγγίζουμε τη συνάρτηση πίνακα με τετραγωνική παραβολή (τετραγωνική προσέγγιση).

∙ Αν ο βαθμός της προσεγγιστικής συνάρτησης είναι m=3, τότε προσεγγίζουμε τη συνάρτηση πίνακα με κυβική παραβολή (κυβική προσέγγιση).

Στη γενική περίπτωση, όταν απαιτείται η κατασκευή ενός προσεγγιστικού πολυωνύμου βαθμού m για δεδομένες τιμές πίνακα, η συνθήκη για το ελάχιστο άθροισμα τετραγωνικών αποκλίσεων σε όλα τα κομβικά σημεία ξαναγράφεται με την ακόλουθη μορφή:

- άγνωστοι συντελεστές του κατά προσέγγιση πολυωνύμου βαθμού m.

Ο αριθμός των καθορισμένων τιμών πίνακα.

Απαραίτητη προϋπόθεση για την ύπαρξη ενός ελάχιστου συνάρτησης είναι η ισότητα προς το μηδέν των μερικών παραγώγων της σε σχέση με άγνωστες μεταβλητές . Ως αποτέλεσμα, παίρνουμε το ακόλουθο σύστημα εξισώσεων:

Ας μετατρέψουμε το προκύπτον γραμμικό σύστημα εξισώσεων: ανοίξτε τις αγκύλες και μετακινήστε τους ελεύθερους όρους στη δεξιά πλευρά της παράστασης. Ως αποτέλεσμα, το προκύπτον σύστημα γραμμικών αλγεβρικών παραστάσεων θα γραφτεί με την ακόλουθη μορφή:

Αυτό το σύστημα γραμμικών αλγεβρικών παραστάσεων μπορεί να ξαναγραφτεί σε μορφή πίνακα:

Ως αποτέλεσμα, προέκυψε ένα σύστημα γραμμικών εξισώσεων διάστασης m + 1, το οποίο αποτελείται από m + 1 αγνώστους. Αυτό το σύστημα μπορεί να λυθεί χρησιμοποιώντας οποιαδήποτε μέθοδο για την επίλυση γραμμικών αλγεβρικών εξισώσεων (για παράδειγμα, τη μέθοδο Gauss). Ως αποτέλεσμα της λύσης, θα βρεθούν άγνωστες παράμετροι της συνάρτησης προσέγγισης που παρέχουν το ελάχιστο άθροισμα τετραγωνικών αποκλίσεων της προσεγγιστικής συνάρτησης από τα αρχικά δεδομένα, δηλ. την καλύτερη δυνατή τετραγωνική προσέγγιση. Θα πρέπει να θυμόμαστε ότι αν αλλάξει έστω και μία τιμή των αρχικών δεδομένων, όλοι οι συντελεστές θα αλλάξουν τις τιμές τους, αφού καθορίζονται πλήρως από τα αρχικά δεδομένα.

Προσέγγιση των αρχικών δεδομένων με γραμμική εξάρτηση

(γραμμικής παλινδρόμησης)

Ως παράδειγμα, εξετάστε τη μέθοδο για τον προσδιορισμό της συνάρτησης προσέγγισης, η οποία δίνεται ως γραμμική σχέση. Σύμφωνα με τη μέθοδο των ελαχίστων τετραγώνων, η συνθήκη για το ελάχιστο άθροισμα τετραγωνικών αποκλίσεων γράφεται ως εξής:

Συντεταγμένες κομβικών σημείων του πίνακα.

Άγνωστοι συντελεστές της συνάρτησης προσέγγισης, η οποία καθορίζεται ως γραμμική σχέση.

Απαραίτητη προϋπόθεση για την ύπαρξη ενός ελάχιστου συνάρτησης είναι η ισότητα προς το μηδέν των μερικών παραγώγων της ως προς άγνωστες μεταβλητές. Ως αποτέλεσμα, παίρνουμε το ακόλουθο σύστημα εξισώσεων:

Ας μετατρέψουμε το γραμμικό σύστημα εξισώσεων που προκύπτει.

Λύνουμε το προκύπτον σύστημα γραμμικών εξισώσεων. Οι συντελεστές της προσεγγιστικής συνάρτησης στην αναλυτική μορφή προσδιορίζονται ως εξής (μέθοδος Cramer):

Αυτοί οι συντελεστές παρέχουν την κατασκευή μιας γραμμικής συνάρτησης προσέγγισης σύμφωνα με το κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγώνων της συνάρτησης προσέγγισης από δεδομένες τιμές πίνακα (πειραματικά δεδομένα).

Αλγόριθμος για την εφαρμογή της μεθόδου των ελαχίστων τετραγώνων

1. Αρχικά δεδομένα:

Δίνεται μια σειρά πειραματικών δεδομένων με τον αριθμό των μετρήσεων N

Δίνεται ο βαθμός του προσεγγιστικού πολυωνύμου (m).

2. Αλγόριθμος υπολογισμού:

2.1. Οι συντελεστές προσδιορίζονται για την κατασκευή ενός συστήματος εξισώσεων με διάσταση

Συντελεστές του συστήματος εξισώσεων (αριστερή πλευρά της εξίσωσης)

- δείκτης του αριθμού στήλης του τετραγωνικού πίνακα του συστήματος εξισώσεων

Ελεύθερα μέλη του συστήματος γραμμικών εξισώσεων (δεξιά πλευρά της εξίσωσης)

- δείκτης του αριθμού σειράς του τετραγωνικού πίνακα του συστήματος εξισώσεων

2.2. Σχηματισμός συστήματος γραμμικών εξισώσεων με διάσταση .

2.3. Λύση συστήματος γραμμικών εξισώσεων για τον προσδιορισμό των άγνωστων συντελεστών του προσεγγιστικού πολυωνύμου βαθμού m.

2.4 Προσδιορισμός του αθροίσματος των τετραγωνικών αποκλίσεων του κατά προσέγγιση πολυωνύμου από τις αρχικές τιμές σε όλα τα κομβικά σημεία

Η ευρεθείσα τιμή του αθροίσματος των τετραγωνικών αποκλίσεων είναι η ελάχιστη δυνατή.

Προσέγγιση με άλλες συναρτήσεις

Θα πρέπει να σημειωθεί ότι κατά την προσέγγιση των αρχικών δεδομένων σύμφωνα με τη μέθοδο των ελαχίστων τετραγώνων, μια λογαριθμική συνάρτηση, μια εκθετική συνάρτηση και μια συνάρτηση ισχύος χρησιμοποιούνται μερικές φορές ως συνάρτηση προσέγγισης.

Προσέγγιση καταγραφής

Εξετάστε την περίπτωση που η προσεγγιστική συνάρτηση δίνεται από μια λογαριθμική συνάρτηση της μορφής: