Differenz Zwischen Beweglich Durchschnittlich Und Autoregressiv Modell


Identifizieren der Zahlen von AR - oder MA-Terme in einem ARIMA-Modell ACF - und PACF-Plots: Nachdem eine Zeitreihe durch Differenzierung stationärisiert wurde, ist der nächste Schritt bei der Anpassung eines ARIMA-Modells, um festzustellen, ob AR - oder MA-Begriffe benötigt werden, um jede Autokorrelation zu korrigieren Bleibt in der differenzierten Reihe. Natürlich, mit Software wie Statgraphics, können Sie nur versuchen, einige verschiedene Kombinationen von Begriffen und sehen, was am besten funktioniert. Aber es gibt einen systematischeren Weg, dies zu tun. Durch Betrachten der Autokorrelationsfunktion (ACF) und partiellen Autokorrelations - (PACF) - Plots der differenzierten Serien können Sie die Anzahl der benötigten AR - und MA-MA-Terme vorläufig identifizieren. Sie sind bereits mit dem ACF-Plot vertraut: Es ist nur ein Balkendiagramm der Koeffizienten der Korrelation zwischen einer Zeitreihe und Verzögerungen von sich selbst. Die PACF-Kurve ist eine Auftragung der partiellen Korrelationskoeffizienten zwischen der Serie und den Verzögerungen von sich selbst. Im Allgemeinen ist die quasiologische Korrelation zwischen zwei Variablen die Menge der Korrelation zwischen ihnen, die nicht durch ihre gegenseitigen Korrelationen mit einem bestimmten Satz von anderen Variablen erklärt wird. Wenn wir zum Beispiel eine Variable Y auf anderen Variablen X1, X2 und X3 rückgängig machen, ist die partielle Korrelation zwischen Y und X3 die Korrelation zwischen Y und X3, die nicht durch ihre gemeinsamen Korrelationen mit X1 und X2 erklärt wird. Diese partielle Korrelation kann als Quadratwurzel der Reduktion der Varianz berechnet werden, die durch Addition von X3 zur Regression von Y auf X1 und X2 erreicht wird. Eine partielle Autokorrelation ist die Menge der Korrelation zwischen einer Variablen und einer Verzögerung von sich selbst, die nicht durch Korrelationen bei allen niederwertigenlags erklärt wird. Die Autokorrelation einer Zeitreihe Y bei Verzögerung 1 ist der Koeffizient der Korrelation zwischen Yt und Yt - 1. Was vermutlich auch die Korrelation zwischen Y t -1 und Y t -2 ist. Aber wenn Y t mit Y t -1 korreliert ist. Und Y t -1 gleich mit Y t -2 korreliert ist. Dann sollten wir auch erwarten, eine Korrelation zwischen Yt und Yt-2 zu finden. In der Tat ist die Korrelation, die wir bei der Verzögerung 2 erwarten sollten, genau das Quadrat der Lag-1-Korrelation. Somit ist die Korrelation bei Verzögerung 1 quadratisch auf Verzögerung 2 und vermutlich auf höherwertige Verzögerungen. Die partielle Autokorrelation bei Verzögerung 2 ist daher die Differenz zwischen der tatsächlichen Korrelation bei der Verzögerung 2 und der erwarteten Korrelation aufgrund der Ausbreitung der Korrelation bei Verzögerung 1. Hierbei handelt es sich um die Autokorrelationsfunktion (ACF) der UNITS-Reihe, bevor eine Differenzierung durchgeführt wird: Die Autokorrelationen sind für eine große Anzahl von Verzögerungen bedeutsam - aber vielleicht sind die Autokorrelationen bei den Verzögerungen 2 und darüber nur auf die Ausbreitung der Autokorrelation bei Verzögerung 1 zurückzuführen. Dies wird durch die PACF-Kurve bestätigt: Beachten Sie, dass die PACF-Kurve eine signifikante Bedeutung hat Spike nur bei lag 1, was bedeutet, dass alle Autokorrelationen höherer Ordnung effektiv durch die Lag-1-Autokorrelation erklärt werden. Die partiellen Autokorrelationen an allen Verzögerungen können berechnet werden, indem man eine Folge von autoregressiven Modellen mit zunehmender Anzahl von Verzögerungen anpasst. Insbesondere ist die partielle Autokorrelation bei der Verzögerung k gleich dem geschätzten AR (k) - Koeffizienten in einem autoregressiven Modell mit k Terms - d. h. Ein multiples Regressionsmodell, bei dem Y auf LAG (Y, 1), LAG (Y, 2) usw. bis zu LAG (Y, k) regressiert wird. So können Sie durch die bloße Inspektion des PACF bestimmen, wie viele AR-Begriffe Sie verwenden müssen, um das Autokorrelationsmuster in einer Zeitreihe zu erklären: Wenn die partielle Autokorrelation bei der Verzögerung k und bei signifikanter Verzögerung nicht signifikant ist, d. h. Wenn die PACF-Quoten bei der Verzögerung k abschneiden - dann schlägt das vor, dass man ein autoregressives Bestellmodell anpassen sollte. Der PACF der UNITS-Serie bietet ein extremes Beispiel für das Cut-off-Phänomen: Es hat eine sehr große Spike bei lag 1 Und keine anderen signifikanten Spikes, was darauf hinweist, dass in Abwesenheit der Differenzierung ein AR (1) - Modell verwendet werden sollte. Allerdings wird sich der AR (1) - Dext in diesem Modell als gleichbedeutend mit einer ersten Differenz erweisen, da der geschätzte AR (1) - Koeffizient (der die Höhe des PACF-Spikes bei Verzögerung 1 ist) fast genau gleich 1 ist Nun ist die Prognosegleichung für ein AR (1) - Modell für eine Reihe Y ohne Ordnungen der Differenzierung: Ist der AR (1) - Koeffizient 981 1 in dieser Gleichung gleich 1, so ist es gleichbedeutend mit der Vorhersage, dass die erste Differenz Von Y ist konstant - dh Es ist gleichbedeutend mit der Gleichung des zufälligen Spaziergangsmodells mit dem Wachstum: Die PACF der UNITS-Serie sagt uns, dass, wenn wir es nicht unterscheiden, dann ein AR (1) - Modell passen, das sich als gleichwertig erweisen wird Ein erster unterschied Mit anderen Worten, es sagt uns, dass UNITS wirklich eine Reihenfolge der Differenzierung benötigt, um stationär zu sein. AR - und MA-Signaturen: Wenn der PACF einen scharfen Cutoff zeigt, während der ACF langsamer abfällt (dh signifikante Spikes bei höheren Verzögerungen hat), so sagen wir, dass die stationäre Serie eine signifikante Signatur anzeigt, was bedeutet, dass das Autokorrelationsmuster leichter erklärt werden kann Durch Hinzufügen von AR-Terme als durch Hinzufügen von MA-Terme. Sie werden wahrscheinlich feststellen, dass eine AR-Signatur häufig mit einer positiven Autokorrelation bei Verzögerung 1 - d. h. Es neigt dazu, in Serie, die leicht unter differenziert sind. Der Grund dafür ist, dass ein AR-Term in der Prognosegleichung wie ein quadratischer Unterschied stehen kann. Zum Beispiel handelt es in einem AR (1) - Modell der AR-Term wie ein erster Unterschied, wenn der autoregressive Koeffizient gleich 1 ist, tut es nichts, wenn der autoregressive Koeffizient null ist, und er wirkt wie eine partielle Differenz, wenn der Koeffizient zwischen ist 0 und 1. Wenn also die Serie etwas unterdifferenziert ist - also Wenn das nichtstationäre Muster der positiven Autokorrelation nicht vollständig beseitigt ist, wird es eine Teildifferenz fordern, indem man eine AR-Signatur anzeigt. Daher haben wir die folgende Faustregel für die Bestimmung, wann man AR-Terme hinzufügen soll: Regel 6: Wenn die PACF der differenzierten Reihe einen scharfen Cutoff zeigt und die Lag-1-Autokorrelation positiv ist - i. e. Wenn die Serie erscheint etwas andersdifferencedquot - dann erwägen Hinzufügen eines AR-Begriffs auf das Modell. Die Verzögerung, bei der die PACF abschneidet, ist die angegebene Anzahl von AR-Terme. Grundsätzlich kann jedes Autokorrelationsmuster aus einer stationärisierten Reihe entfernt werden, indem man genügend autoregressive Begriffe (Verzögerungen der stationären Serie) der Prognosegleichung hinzufügt und die PACF sagt, wie viele solche Begriffe wahrscheinlich benötigt werden. Allerdings ist dies nicht immer der einfachste Weg, um ein gegebenes Muster der Autokorrelation zu erklären: Manchmal ist es effizienter, MA-Terme (Verzögerungen der Prognosefehler) stattdessen hinzuzufügen. Die Autokorrelationsfunktion (ACF) spielt bei MA-Terme die gleiche Rolle, dass der PACF für AR-Terme spielt - das heißt, der ACF sagt Ihnen, wie viele MA-Begriffe wahrscheinlich benötigt werden, um die verbleibende Autokorrelation aus der differenzierten Serie zu entfernen. Wenn die Autokorrelation bei Verzögerung k ist, aber nicht bei höheren Verzögerungen - d. h. Wenn die ACF-Quoten bei Verzögerung k abschneiden - bedeutet dies, dass genau k MA-Begriffe in der Prognosegleichung verwendet werden sollen. Im letzteren Fall sagen wir, dass die stationäre Serie eine signifikante Signatur anzeigt, was bedeutet, dass das Autokorrelationsmuster leichter durch Hinzufügen von MA-Terme erklärt werden kann, als durch Hinzufügen von AR-Terme. Eine MA-Signatur ist gewöhnlich mit einer negativen Autokorrelation bei Verzögerung 1 - d. h. Es neigt dazu, in Serie zu kommen, die etwas überdimensioniert sind. Der Grund hierfür ist, dass ein MA-Term die Reihenfolge der Differenzierung in der Prognosegleichung punktuell aufheben kann. Um dies zu sehen, ist zu erinnern, dass ein ARIMA (0,1,1) Modell ohne Konstante einem Simple Exponential Smoothing Model entspricht. Die Prognosegleichung für dieses Modell ist dort, wo der MA (1) Koeffizient 952 1 der Menge 1 - 945 im SES-Modell entspricht. Wenn 952 1 gleich 1 ist, entspricht dies einem SES-Modell mit 945 0, was nur ein CONSTANT-Modell ist, weil die Prognose niemals aktualisiert wird. Dies bedeutet, dass, wenn 952 1 gleich 1 ist, tatsächlich die differenzierende Operation auslöscht, die normalerweise die SES-Prognose erlaubt, sich bei der letzten Beobachtung wieder zu verankern. Wenn andererseits der gleitendurchschnittliche Koeffizient gleich 0 ist, reduziert sich dieses Modell auf ein zufälliges Wandermodell - d. h. Es verlässt den differenzierenden Betrieb allein. Also, wenn 952 1 etwas größer als 0 ist, ist es so, als ob wir teilweise eine Reihenfolge der Differenzierung annullieren. Wenn die Serie schon etwas überdimensioniert ist - d. h. Wenn eine negative Autokorrelation eingeführt wurde - dann wird es einen Forcot einen Unterschied abgeben, der teilweise durch die Anzeige einer MA-Signatur abgebrochen wird. (Eine Menge von Armwellen geht hier weiter Eine strengere Erklärung dieses Effektes findet sich in der mathematischen Struktur von ARIMA Models Handzettel.) Daher die folgende zusätzliche Faustregel: Regel 7: Wenn die ACF der differenzierten Serie a zeigt Scharfe Abschaltung und die Lag-1-Autokorrelation ist negativ Wenn die Serie erscheint etwas quittiertdifferencedquot - dann erwägen Hinzufügen einer MA-Begriff zum Modell. Die Verzögerung, bei der der ACF abschaltet, ist die angegebene Anzahl von MA-Terme. Ein Modell für die UNITS-Serie - ARIMA (2,1,0): Bisher haben wir festgestellt, dass die UNITS-Serie (mindestens) eine Reihenfolge der Nichtseason-Differenzierung benötigt, um stationär zu sein. Nach der Einnahme einer nicht-seasonalen Differenz - d. h. Anpassung eines ARIMA (0,1,0) - Modells mit konstanten - die ACF - und PACF-Plots sehen so aus: Beachten Sie, dass (a) die Korrelation bei lag 1 signifikant und positiv ist und (b) die PACF einen schärferen Quotenausschnitt hat als Der ACF. Insbesondere hat die PACF nur zwei signifikante Spikes, während die ACF vier hat. So zeigt die differenzierte Reihe nach Regel 7 eine AR (2) Signatur. Wenn wir also die Reihenfolge des AR-Termes auf 2 setzen - d. h. Passen ein ARIMA (2,1,0) Modell - wir erhalten die folgenden ACF - und PACF-Plots für die Residuen: Die Autokorrelation bei den entscheidenden Verzögerungen - nämlich Verzögerungen 1 und 2 - wurde eliminiert und es gibt kein erkennbares Muster In höherer Ordnung. Die Zeitreihenpläne der Residuen zeigen eine etwas beunruhigende Tendenz, vom Mittelwert weg zu wandern: Allerdings zeigt der Analysezusammenfassungsbericht, dass das Modell dennoch in der Validierungsperiode sehr gut abläuft, beide AR-Koeffizienten unterscheiden sich deutlich von Null und dem Standard Die Abweichung der Residuen wurde von 1.54371 auf 1.4215 (fast 10) durch die Addition der AR-Terme reduziert. Darüber hinaus gibt es keine Anzeichen für eine Quotenwurzel, weil die Summe der AR-Koeffizienten (0,2522540.195572) nicht nahe bei 1 liegt. (Einheitswurzeln werden im Folgenden näher erläutert.) Im Großen und Ganzen scheint dies ein gutes Modell zu sein . Die (untransformierten) Prognosen für das Modell zeigen einen linearen Aufwärtstrend, der in die Zukunft projiziert wird: Der Trend in den Langzeitprognosen ist auf die Tatsache zurückzuführen, dass das Modell einen Nichtseasonaldifferenz und einen konstanten Begriff beinhaltet: Dieses Modell ist grundsätzlich ein zufälliger Spaziergang mit Wachstum durch die Addition von zwei autoregressiven Begriffen - d. h. Zwei Verzögerungen der differenzierten Serie. Die Steigung der Langzeitprognosen (d. h. der durchschnittliche Anstieg von einer Periode zur anderen) entspricht dem Mittelwert in der Modellübersicht (0.467566). Die Prognosegleichung lautet: wobei 956 der konstante Term in der Modellzusammenfassung (0.258178), 981 1 der AR (1) - Koeffizient (0,25224) und 981 2 der AR (2) - Koeffizient (0.195572) ist. Mittlerweile gegen Konstante: Im Allgemeinen bezieht sich der Quatenzausdruck in der Ausgabe eines ARIMA-Modells auf den Mittelwert der differenzierten Reihe (dh der durchschnittliche Trend, wenn die Reihenfolge der Differenzierung gleich 1 ist), während die Quantenkonstante der konstante Term ist Auf der rechten Seite der Prognosegleichung. Die mittlere und konstante Begriffe beziehen sich auf die Gleichung: CONSTANT MEAN (1 minus die Summe der AR-Koeffizienten). In diesem Fall haben wir 0,258178 0.467566 (1 - 0.25224 - 0.195572) Alternatives Modell für die UNITS-Serie - ARIMA (0,2,1): Erinnern wir uns, dass wir bei der Analyse der UNITS-Serie nicht ganz sicher waren Korrekte Reihenfolge der Differenzierung zu verwenden. Eine Reihenfolge der Nicht-Seasonal-Differenzierung ergab die niedrigste Standardabweichung (und ein Muster der milden positiven Autokorrelation), während zwei Ordnungen von nicht-seasonal differencing eine stationärere Zeitreihenfolge (aber mit ziemlich starker negativer Autokorrelation) ergaben. Hier sind sowohl die ACF als auch die PACF der Serie mit zwei Nichtseasonalunterschieden: Die einzelne negative Spike bei Verzögerung 1 im ACF ist eine MA (1) Signatur gemäß Regel 8 oben. Wenn wir also 2 nichtseasonale Unterschiede verwenden würden, wären wir auch einen MA (1) Begriff, der ein ARIMA (0,2,1) Modell liefert. Nach Regel 5 wollen wir auch den konstanten Begriff unterdrücken. Hier sind also die Ergebnisse der Anpassung eines ARIMA (0,2,1) Modells ohne Konstante: Beachten Sie, dass die geschätzte Weißrauschen-Standardabweichung (RMSE) für dieses Modell nur sehr geringfügig höher ist als die vorherige (1.46301 hier gegenüber 1.45215 vorher). Die Prognosegleichung für dieses Modell lautet: wobei theta-1 der MA (1) Koeffizient ist. Es sei daran erinnert, dass dies einem Linear-Exponential-Glättungsmodell ähnlich ist, wobei der MA (1) - Koeffizient der Größe 2 (1-alpha) im LES-Modell entspricht. Der MA (1) - Koeffizient von 0,76 in diesem Modell deutet darauf hin, dass ein LES-Modell mit Alpha in der Nähe von 0,72 genau gleich gut passen würde. Tatsächlich, wenn ein LES-Modell an die gleichen Daten angepasst ist, erweist sich der optimale Wert von alpha auf etwa 0,61, was nicht zu weit weg ist. Hier ist ein Modellvergleichsbericht, der die Ergebnisse der Montage des ARIMA (2,1,0) Modells mit konstantem ARIMA (0,2,1) Modell ohne Konstante und das LES Modell zeigt: Die drei Modelle verlaufen nahezu identisch Die Schätzperiode und das ARIMA (2,1,0) - Modell mit konstantem erscheint etwas besser als die beiden anderen in der Validierungsperiode. Auf der Grundlage dieser statistischen Ergebnisse allein wäre es schwer, unter den drei Modellen zu wählen. Wenn wir jedoch die langfristigen Prognosen des ARIMA-Modells (0,2,1) ohne Konstante (die im Wesentlichen die gleichen sind wie die des LES-Modells) darstellen, sehen wir einen signifikanten Unterschied zu denen des früheren Modells: Die Prognosen haben etwas weniger Aufwärtstrend als die des früheren Modells - denn der lokale Trend nahe dem Ende der Serie ist etwas geringer als der durchschnittliche Trend über die ganze Serie - aber die Konfidenzintervalle sind viel schneller gewachsen. Das Modell mit zwei Ordnungen von differencing geht davon aus, dass der Trend in der Serie zeitabhängig ist, daher betrachtet er die ferne Zukunft viel ungewisser als das Modell mit nur einer Reihenfolge der Differenzierung. Welches Modell sollten wir wählen Das hängt von den Annahmen ab, die wir in Bezug auf die Konstanz des Trendes in den Daten bequem machen. Das Modell mit nur einer Reihenfolge der Differenzierung nimmt einen konstanten durchschnittlichen Trend an - es handelt sich im Wesentlichen um ein fein abgestimmtes zufälliges Wandermodell mit Wachstum - und macht daher relativ konservative Trendprojektionen. Es ist auch ziemlich optimistisch über die Genauigkeit, mit der es mehr als eine Periode vorhersagen kann. Das Modell mit zwei Ordnungen von differencing nimmt einen zeitveränderlichen lokalen Trend an - es handelt sich im Wesentlichen um ein lineares exponentielles Glättungsmodell - und seine Trendprojektionen sind etwas stärker. Als allgemeine Regel in dieser Art von Situation, würde ich empfehlen, die Wahl des Modells mit der niedrigeren Reihenfolge der Differenzierung, andere Dinge sind etwa gleich. In der Praxis scheinen zufällige Spaziergänge oder einfach-exponentiell-glättende Modelle oft besser zu funktionieren als lineare exponentielle Glättungsmodelle. Gemischte Modelle: In den meisten Fällen stellt sich das beste Modell heraus, das ein Modell verwendet, das entweder nur AR-Begriffe oder nur MA-Begriffe verwendet, obwohl in einigen Fällen ein quotmixedquot-Modell mit sowohl AR - als auch MA-Terminen die besten Anpassungen an die Daten liefern kann. Bei der Montage von Mischmodellen ist jedoch Vorsicht geboten. Es ist möglich, dass ein AR-Term und ein MA-Term alle anderen Effekte aufheben. Obwohl beide im Modell signifikant erscheinen können (wie durch die t-Statistik ihrer Koeffizienten beurteilt). So sei z. B. angenommen, dass das quotcorrectquot Modell für eine Zeitreihe ein ARIMA (0,1,1) Modell ist, sondern stattdessen ein ARIMA (1,1,2) Modell - d. h. Sie beinhalten einen weiteren AR-Term und einen weiteren MA-Termin. Dann können die zusätzlichen Begriffe am Ende im Modell deutlich erscheinen, aber intern können sie nur gegeneinander arbeiten. Die resultierenden Parameterschätzungen können zweideutig sein, und der Parameterabschätzprozess kann sehr viele (z. B. mehr als 10) Iterationen durchführen, um zu konvergieren. Folglich: Regel 8: Es ist möglich, dass ein AR-Term und ein MA-Term alle anderen Effekte aufheben, also wenn ein gemischtes AR-MA-Modell an die Daten anzupassen scheint, probier auch ein Modell mit einem weniger AR-Term und einem weniger MA-Term - besonders wenn die Parameterschätzungen im Originalmodell mehr als 10 Iterationen konvergieren müssen. Aus diesem Grund können ARIMA-Modelle nicht durch einen rückwärts schrittweisen Ansatz identifiziert werden, der sowohl AR - als auch MA-Terme enthält. Mit anderen Worten, Sie können nicht beginnen, indem Sie mehrere Begriffe jeder Art und dann werfen diejenigen, deren geschätzte Koeffizienten sind nicht signifikant. Stattdessen folgen Sie normalerweise einem vorwärts schrittweisen Ansatz, indem Sie Begriffe der einen oder anderen Art hinzufügen, wie durch das Aussehen der ACF - und PACF-Plots angezeigt. Einheitswurzeln: Wenn eine Serie grob unter - oder überdifferenziert ist - d. h. Wenn eine ganze Reihenfolge der Differenzierung hinzugefügt oder abgebrochen werden muss, wird dies oft durch ein Quoten-Rootquot in den geschätzten AR - oder MA-Koeffizienten des Modells signalisiert. Ein AR (1) - Modell soll eine Einheitswurzel haben, wenn der geschätzte AR (1) - Koeffizient fast genau gleich 1 ist. (Von quotexactly gleichem, ich meine wirklich nicht signifikant anders als in den Koeffizienten eigenen Standardfehler. ) Wenn dies geschieht, bedeutet dies, dass der AR (1) Begriff genau einen ersten Unterschied nachahmt, in welchem ​​Fall Sie den AR (1) Begriff entfernen und stattdessen eine Reihenfolge der Differenzierung hinzufügen sollten. (Das ist genau das, was passieren würde, wenn man ein AR (1) - Modell auf die undifferenzierte UNITS-Serie montiert hat, wie bereits erwähnt.) In einem übergeordneten AR-Modell existiert eine Einheitswurzel im AR-Teil des Modells, wenn die Summe von Die AR-Koeffizienten ist genau gleich 1. In diesem Fall sollten Sie die Reihenfolge des AR-Termes um 1 reduzieren und eine Reihenfolge der Differenzierung hinzufügen. Eine Zeitreihe mit einer Einheitswurzel in den AR-Koeffizienten ist nicht stationär - i. e. Es braucht eine höhere Ordnung der Differenzierung. Regel 9: Wenn es eine Einheitswurzel im AR-Teil des Modells gibt - d. h. Wenn die Summe der AR-Koeffizienten fast genau 1 ist, sollten Sie die Anzahl der AR-Terme um eins reduzieren und die Reihenfolge der Differenzierung um eins erhöhen. Ähnlich soll ein MA (1) - Modell eine Einheitswurzel haben, wenn der geschätzte MA (1) - Koeffizient genau gleich 1 ist. Wenn dies geschieht, bedeutet dies, dass der MA (1) - Test genau einen ersten Unterschied annulliert In diesem Fall solltest du den MA (1) Begriff entfernen und auch die Reihenfolge der Differenzierung um eins reduzieren. In einem übergeordneten MA-Modell existiert eine Einheitswurzel, wenn die Summe der MA-Koeffizienten genau gleich 1 ist. Regel 10: Wenn es eine Einheitswurzel im MA-Teil des Modells gibt - d. h. Wenn die Summe der MA-Koeffizienten fast genau 1 ist, sollten Sie die Anzahl der MA-Terme um eins reduzieren und die Reihenfolge der Differenzierung um eins reduzieren. Wenn Sie zum Beispiel ein lineares exponentielles Glättungsmodell (ein ARIMA (0,2,2) Modell passen), wenn ein einfaches exponentielles Glättungsmodell (ein ARIMA (0,1,1) Modell) ausreichend wäre, können Sie das finden Die Summe der beiden MA-Koeffizienten ist fast gleich gleich 1. Durch die Verringerung der MA-Ordnung und die Reihenfolge der Differenzierung um jeweils eine erhalten Sie das passendere SES-Modell. Ein Prognosemodell mit einer Einheitswurzel in den geschätzten MA-Koeffizienten wird als nichtinvertierbar bezeichnet. Dass die Residuen des Modells nicht als Schätzungen des quottruequot-zufälligen Rauschens betrachtet werden können, das die Zeitreihen erzeugt hat. Ein weiteres Symptom einer Einheitswurzel ist, dass die Prognosen des Modells quadrieren oder sich anders verhalten können. Wenn die Zeitreihenfolge der längerfristigen Prognosen des Modells seltsam aussieht, sollten Sie die geschätzten Koeffizienten Ihres Modells auf das Vorhandensein einer Einheitswurzel überprüfen. Regel 11: Wenn die Langzeitprognosen unregelmäßig oder instabil erscheinen, kann es zu einem Einheitswurzel in den AR - oder MA-Koeffizienten kommen. Keines dieser Probleme entstand bei den beiden hier gezeigten Modellen, denn wir waren vorsichtig mit plausiblen Ordnungen der Differenzierung und einer angemessenen Anzahl von AR - und MA-Koeffizienten durch das Studium der ACF - und PACF-Modelle zu beginnen. Detaillierte Diskussionen über Einheitswurzeln und Streichungseffekte zwischen AR - und MA-Terminen finden Sie in der mathematischen Struktur von ARIMA-Modellen Handzettel. Einführung in ARIMA: Nichtseasonale Modelle ARIMA (p, d, q) Prognosegleichung: ARIMA-Modelle sind theoretisch, Die allgemeinste Klasse von Modellen zur Prognose einer Zeitreihe, die durch Differenzierung (falls nötig), vielleicht in Verbindung mit nichtlinearen Transformationen, wie z. B. Protokollierung oder Entleerung (falls erforderlich), hergestellt werden kann220stationary8221. Eine zufällige Variable, die eine Zeitreihe ist, ist stationär, wenn ihre statistischen Eigenschaften alle über die Zeit konstant sind. Eine stationäre Serie hat keinen Trend, ihre Variationen um ihre Mittel haben eine konstante Amplitude, und es wackelt in einer konsistenten Weise. D. h. seine kurzzeitigen zufälligen Zeitmuster sehen immer in einem statistischen Sinn gleich aus. Die letztere Bedingung bedeutet, daß ihre Autokorrelationen (Korrelationen mit ihren eigenen vorherigen Abweichungen vom Mittelwert) über die Zeit konstant bleiben oder äquivalent, daß sein Leistungsspektrum über die Zeit konstant bleibt. Eine zufällige Variable dieses Formulars kann (wie üblich) als eine Kombination von Signal und Rauschen betrachtet werden, und das Signal (wenn man offensichtlich ist) könnte ein Muster der schnellen oder langsamen mittleren Reversion oder sinusförmigen Oszillation oder eines schnellen Wechsels im Zeichen sein , Und es könnte auch eine saisonale Komponente haben. Ein ARIMA-Modell kann als 8220filter8221 betrachtet werden, das versucht, das Signal vom Rauschen zu trennen, und das Signal wird dann in die Zukunft extrapoliert, um Prognosen zu erhalten. Die ARIMA-Prognosegleichung für eine stationäre Zeitreihe ist eine lineare (d. h. regressionstypische) Gleichung, bei der die Prädiktoren aus Verzögerungen der abhängigen Variablen und Verzögerungen der Prognosefehler bestehen. Das heißt: vorhergesagter Wert von Y eine Konstante undeiner gewichteten Summe von einem oder mehreren neueren Werten von Y und einer gewichteten Summe von einem oder mehreren neueren Werten der Fehler. Wenn die Prädiktoren nur aus verzögerten Werten von Y bestehen, ist es ein reines autoregressives Modell (8220 selbst-regressed8221), das nur ein Spezialfall eines Regressionsmodells ist und mit Standardregressionssoftware ausgestattet werden kann. Zum Beispiel ist ein autoregressives (8220AR (1) 8221) Modell erster Ordnung für Y ein einfaches Regressionsmodell, bei dem die unabhängige Variable nur Y um eine Periode (LAG (Y, 1) in Statgraphics oder YLAG1 in RegressIt hinterlässt). Wenn einige der Prädiktoren die Fehler der Fehler sind, ist es ein ARIMA-Modell, es ist kein lineares Regressionsmodell, denn es gibt keine Möglichkeit, 828last period8217s error8221 als unabhängige Variable anzugeben: Die Fehler müssen auf einer Periodenperiode berechnet werden Wenn das Modell an die Daten angepasst ist. Aus technischer Sicht ist das Problem bei der Verwendung von verzögerten Fehlern als Prädiktoren, dass die Vorhersagen des Modells8217 nicht lineare Funktionen der Koeffizienten sind. Obwohl sie lineare Funktionen der vergangenen Daten sind. So müssen Koeffizienten in ARIMA-Modellen, die verzögerte Fehler enthalten, durch nichtlineare Optimierungsmethoden (8220hill-climbing8221) geschätzt werden, anstatt nur ein Gleichungssystem zu lösen. Das Akronym ARIMA steht für Auto-Regressive Integrated Moving Average. Die Verzögerungen der stationärisierten Serien in der Prognosegleichung werden als quartalspezifische Begriffe bezeichnet, die Verzögerungen der Prognosefehler werden als quadratische Begrenzungsterme bezeichnet, und eine Zeitreihe, die differenziert werden muss, um stationär zu sein, wird als eine quotintegrierte Quotversion einer stationären Serie bezeichnet. Random-Walk - und Random-Trend-Modelle, autoregressive Modelle und exponentielle Glättungsmodelle sind alle Sonderfälle von ARIMA-Modellen. Ein Nicht-Seasonal-ARIMA-Modell wird als ein Quoten-Modell von quaremA (p, d, q) klassifiziert, wobei p die Anzahl der autoregressiven Terme ist, d die Anzahl der für die Stationarität benötigten Nichtseasondifferenzen und q die Anzahl der verzögerten Prognosefehler in Die Vorhersagegleichung. Die Prognosegleichung wird wie folgt aufgebaut. Zuerst bezeichne y die d-te Differenz von Y. Das bedeutet: Beachten Sie, dass die zweite Differenz von Y (der Fall d2) nicht der Unterschied von 2 Perioden ist. Vielmehr ist es der erste Unterschied zwischen dem ersten Unterschied. Welches das diskrete Analog einer zweiten Ableitung ist, d. h. die lokale Beschleunigung der Reihe und nicht deren lokaler Trend. In Bezug auf y. Die allgemeine Prognosegleichung lautet: Hier werden die gleitenden Durchschnittsparameter (9528217s) so definiert, dass ihre Zeichen in der Gleichung nach der von Box und Jenkins eingeführten Konventionen negativ sind. Einige Autoren und Software (einschließlich der R-Programmiersprache) definieren sie so, dass sie stattdessen Pluszeichen haben. Wenn tatsächliche Zahlen in die Gleichung gesteckt sind, gibt es keine Mehrdeutigkeit, aber it8217s wichtig zu wissen, welche Konvention Ihre Software verwendet, wenn Sie die Ausgabe lesen. Oft werden die Parameter dort mit AR (1), AR (2), 8230 und MA (1), MA (2), 8230 usw. bezeichnet. Um das entsprechende ARIMA-Modell für Y zu identifizieren, beginnen Sie mit der Bestimmung der Reihenfolge der Differenzierung (D) die Serie zu stationieren und die Brutto-Merkmale der Saisonalität zu entfernen, vielleicht in Verbindung mit einer abweichungsstabilisierenden Transformation wie Protokollierung oder Entleerung. Wenn Sie an dieser Stelle anhalten und vorhersagen, dass die differenzierte Serie konstant ist, haben Sie nur einen zufälligen Spaziergang oder ein zufälliges Trendmodell ausgestattet. Allerdings können die stationärisierten Serien immer noch autokorrelierte Fehler aufweisen, was darauf hindeutet, dass in der Prognosegleichung auch eine Anzahl von AR-Terme (p 8805 1) und einigen einigen MA-Terme (q 8805 1) benötigt werden. Der Prozess der Bestimmung der Werte von p, d und q, die am besten für eine gegebene Zeitreihe sind, wird in späteren Abschnitten der Noten (deren Links oben auf dieser Seite), aber eine Vorschau auf einige der Typen diskutiert werden Von nicht-seasonalen ARIMA-Modellen, die häufig angetroffen werden, ist unten angegeben. ARIMA (1,0,0) Autoregressives Modell erster Ordnung: Wenn die Serie stationär und autokorreliert ist, kann man sie vielleicht als Vielfaches ihres eigenen vorherigen Wertes und einer Konstante voraussagen. Die prognostizierte Gleichung in diesem Fall ist 8230which ist Y regressed auf sich selbst verzögerte um einen Zeitraum. Dies ist ein 8220ARIMA (1,0,0) constant8221 Modell. Wenn der Mittelwert von Y Null ist, dann wäre der konstante Term nicht enthalten. Wenn der Steigungskoeffizient 981 & sub1; positiv und kleiner als 1 in der Grße ist (er muß kleiner als 1 in der Grße sein, wenn Y stationär ist), beschreibt das Modell das Mittelwiederkehrungsverhalten, bei dem der nächste Periode8217s-Wert 981 mal als vorher vorausgesagt werden sollte Weit weg von dem Mittelwert als dieser Zeitraum8217s Wert. Wenn 981 & sub1; negativ ist, prognostiziert es ein Mittelrückkehrverhalten mit einem Wechsel von Zeichen, d. h. es sagt auch, daß Y unterhalb der mittleren nächsten Periode liegt, wenn es über dem Mittelwert dieser Periode liegt. In einem autoregressiven Modell zweiter Ordnung (ARIMA (2,0,0)) wäre auch ein Y-t-2-Term auf der rechten Seite und so weiter. Abhängig von den Zeichen und Größen der Koeffizienten könnte ein ARIMA (2,0,0) Modell ein System beschreiben, dessen mittlere Reversion in einer sinusförmig oszillierenden Weise stattfindet, wie die Bewegung einer Masse auf einer Feder, die zufälligen Schocks ausgesetzt ist . ARIMA (0,1,0) zufälliger Spaziergang: Wenn die Serie Y nicht stationär ist, ist das einfachste Modell für sie ein zufälliges Spaziergangmodell, das als Begrenzungsfall eines AR (1) - Modells betrachtet werden kann, in dem das autoregressive Koeffizient ist gleich 1, dh eine Serie mit unendlich langsamer mittlerer Reversion. Die Vorhersagegleichung für dieses Modell kann wie folgt geschrieben werden: wobei der konstante Term die mittlere Periodenänderung (dh die Langzeitdrift) in Y ist. Dieses Modell könnte als ein Nicht-Intercept-Regressionsmodell eingebaut werden, in dem die Die erste Differenz von Y ist die abhängige Variable. Da es (nur) eine nicht-seasonale Differenz und einen konstanten Term enthält, wird es als ein quotARIMA (0,1,0) Modell mit constant. quot eingestuft. Das random-walk-without - drift-Modell wäre ein ARIMA (0,1, 0) Modell ohne Konstante ARIMA (1,1,0) differenzierte Autoregressive Modell erster Ordnung: Wenn die Fehler eines zufälligen Walk-Modells autokorreliert werden, kann das Problem eventuell durch Hinzufügen einer Verzögerung der abhängigen Variablen zu der Vorhersagegleichung behoben werden - - ie Durch den Rücktritt der ersten Differenz von Y auf sich selbst um eine Periode verzögert. Dies würde die folgende Vorhersagegleichung ergeben: die umgewandelt werden kann Dies ist ein autoregressives Modell erster Ordnung mit einer Reihenfolge von Nicht-Seasonal-Differenzen und einem konstanten Term - d. h. Ein ARIMA (1,1,0) Modell. ARIMA (0,1,1) ohne konstante, einfache exponentielle Glättung: Eine weitere Strategie zur Korrektur autokorrelierter Fehler in einem zufälligen Walk-Modell wird durch das einfache exponentielle Glättungsmodell vorgeschlagen. Erinnern Sie sich, dass für einige nichtstationäre Zeitreihen (z. B. diejenigen, die geräuschvolle Schwankungen um ein langsam variierendes Mittel aufweisen), das zufällige Wandermodell nicht so gut wie ein gleitender Durchschnitt von vergangenen Werten ausführt. Mit anderen Worten, anstatt die jüngste Beobachtung als die Prognose der nächsten Beobachtung zu nehmen, ist es besser, einen Durchschnitt der letzten Beobachtungen zu verwenden, um das Rauschen herauszufiltern und das lokale Mittel genauer zu schätzen. Das einfache exponentielle Glättungsmodell verwendet einen exponentiell gewichteten gleitenden Durchschnitt von vergangenen Werten, um diesen Effekt zu erzielen. Die Vorhersagegleichung für das einfache exponentielle Glättungsmodell kann in einer Anzahl von mathematisch äquivalenten Formen geschrieben werden. Eine davon ist die so genannte 8220error Korrektur8221 Form, in der die vorherige Prognose in Richtung des Fehlers eingestellt wird, die es gemacht hat: Weil e t-1 Y t-1 - 374 t-1 per Definition, kann dies wie folgt umgeschrieben werden : Das ist eine ARIMA (0,1,1) - ohne Konstante Prognose Gleichung mit 952 1 1 - 945. Dies bedeutet, dass Sie eine einfache exponentielle Glättung passen können, indem Sie es als ARIMA (0,1,1) Modell ohne Konstant und der geschätzte MA (1) - Koeffizient entspricht 1-minus-alpha in der SES-Formel. Erinnern daran, dass im SES-Modell das Durchschnittsalter der Daten in den 1-Perioden-Prognosen 1 945 beträgt. Dies bedeutet, dass sie dazu neigen, hinter Trends oder Wendepunkten um etwa 1 945 Perioden zurückzukehren. Daraus folgt, dass das Durchschnittsalter der Daten in den 1-Periodenprognosen eines ARIMA (0,1,1) - without-constant-Modells 1 (1 - 952 1) beträgt. So, zum Beispiel, wenn 952 1 0.8, ist das Durchschnittsalter 5. Wenn 952 1 sich nähert, wird das ARIMA (0,1,1) - without-konstantes Modell zu einem sehr langfristigen gleitenden Durchschnitt und als 952 1 Nähert sich 0 wird es zu einem zufälligen Walk-ohne-Drift-Modell. Was ist der beste Weg, um Autokorrelation zu korrigieren: Hinzufügen von AR-Terme oder Hinzufügen von MA-Terme In den vorangegangenen zwei Modellen, die oben diskutiert wurden, wurde das Problem der autokorrelierten Fehler in einem zufälligen Walk-Modell auf zwei verschiedene Arten festgelegt: durch Hinzufügen eines verzögerten Wertes der differenzierten Serie Zur Gleichung oder Hinzufügen eines verzögerten Wertes des Prognosefehlers. Welcher Ansatz ist am besten Eine Faustregel für diese Situation, die später noch ausführlicher erörtert wird, ist, dass eine positive Autokorrelation in der Regel am besten durch Hinzufügen eines AR-Termes zum Modell behandelt wird und eine negative Autokorrelation wird meist am besten durch Hinzufügen eines MA Begriff. In geschäftlichen und ökonomischen Zeitreihen entsteht oftmals eine negative Autokorrelation als Artefakt der Differenzierung. (Im Allgemeinen verringert die Differenzierung die positive Autokorrelation und kann sogar einen Wechsel von positiver zu negativer Autokorrelation verursachen.) So wird das ARIMA (0,1,1) - Modell, in dem die Differenzierung von einem MA-Term begleitet wird, häufiger als ein ARIMA (1,1,0) Modell. ARIMA (0,1,1) mit konstanter, einfacher, exponentieller Glättung mit Wachstum: Durch die Implementierung des SES-Modells als ARIMA-Modell erhalten Sie gewisse Flexibilität. Zunächst darf der geschätzte MA (1) - Koeffizient negativ sein. Dies entspricht einem Glättungsfaktor größer als 1 in einem SES-Modell, was in der Regel nicht durch das SES-Modell-Anpassungsverfahren erlaubt ist. Zweitens haben Sie die Möglichkeit, einen konstanten Begriff im ARIMA-Modell einzubeziehen, wenn Sie es wünschen, um einen durchschnittlichen Trend ungleich Null abzuschätzen. Das ARIMA (0,1,1) - Modell mit Konstante hat die Vorhersagegleichung: Die Prognosen von einem Periodenvorhersage aus diesem Modell sind qualitativ ähnlich denen des SES-Modells, mit der Ausnahme, dass die Trajektorie der Langzeitprognosen typischerweise ein Schräge Linie (deren Steigung gleich mu ist) anstatt einer horizontalen Linie. ARIMA (0,2,1) oder (0,2,2) ohne konstante lineare exponentielle Glättung: Lineare exponentielle Glättungsmodelle sind ARIMA-Modelle, die zwei Nichtseason-Differenzen in Verbindung mit MA-Terme verwenden. Der zweite Unterschied einer Reihe Y ist nicht einfach der Unterschied zwischen Y und selbst, der um zwei Perioden verzögert ist, sondern vielmehr der erste Unterschied der ersten Differenz - i. e. Die Änderung der Änderung von Y in der Periode t. Somit ist die zweite Differenz von Y in der Periode t gleich (Y t - Y t - 1) - (Y t - 1 - Y t - 2) Y t - 2Y t - 1 Y t - 2. Eine zweite Differenz einer diskreten Funktion ist analog zu einer zweiten Ableitung einer stetigen Funktion: sie misst die quotaccelerationquot oder quotcurvaturequot in der Funktion zu einem gegebenen Zeitpunkt. Das ARIMA (0,2,2) - Modell ohne Konstante prognostiziert, dass die zweite Differenz der Serie gleich einer linearen Funktion der letzten beiden Prognosefehler ist: die umgeordnet werden kann: wobei 952 1 und 952 2 die MA (1) und MA (2) Koeffizienten Dies ist ein allgemeines lineares exponentielles Glättungsmodell. Im Wesentlichen das gleiche wie Holt8217s Modell, und Brown8217s Modell ist ein Sonderfall. Es verwendet exponentiell gewichtete Bewegungsdurchschnitte, um sowohl eine lokale Ebene als auch einen lokalen Trend in der Serie abzuschätzen. Die langfristigen Prognosen von diesem Modell konvergieren zu einer geraden Linie, deren Hang hängt von der durchschnittlichen Tendenz, die gegen Ende der Serie beobachtet wird. ARIMA (1,1,2) ohne konstante gedämpfte Trend-lineare exponentielle Glättung. Dieses Modell wird in den beiliegenden Folien auf ARIMA-Modellen dargestellt. Es extrapoliert den lokalen Trend am Ende der Serie, aber erhebt es bei längeren Prognosehorizonten, um eine Note des Konservatismus einzuführen, eine Praxis, die empirische Unterstützung hat. Sehen Sie den Artikel auf quotWhy der Damped Trend Workquot von Gardner und McKenzie und die quotGolden Rulequot Artikel von Armstrong et al. für Details. Es ist grundsätzlich ratsam, an Modellen zu bleiben, bei denen mindestens eines von p und q nicht größer als 1 ist, dh nicht versuchen, ein Modell wie ARIMA (2,1,2) zu passen, da dies wahrscheinlich zu Überfüllung führen wird Und quotcommon-factorquot-Themen, die ausführlicher in den Anmerkungen zur mathematischen Struktur von ARIMA-Modellen diskutiert werden. Spreadsheet-Implementierung: ARIMA-Modelle wie die oben beschriebenen sind einfach in einer Kalkulationstabelle zu implementieren. Die Vorhersagegleichung ist einfach eine lineare Gleichung, die sich auf vergangene Werte der ursprünglichen Zeitreihen und vergangene Werte der Fehler bezieht. So können Sie eine ARIMA-Prognosekalkulationstabelle einrichten, indem Sie die Daten in Spalte A, die Prognoseformel in Spalte B und die Fehler (Daten minus Prognosen) in Spalte C speichern. Die Prognoseformel in einer typischen Zelle in Spalte B wäre einfach Ein linearer Ausdruck, der sich auf Werte in vorhergehenden Zeilen der Spalten A und C bezieht, multipliziert mit den entsprechenden AR - oder MA-Koeffizienten, die in Zellen anderswo auf dem Spreadsheet gespeichert sind. Es gibt eine Reihe von Ansätzen zur Modellierung von Zeitreihen. Wir skizzieren einige der häufigsten Ansätze unten. Trend, saisonale, restliche Zerlegungen Ein Ansatz besteht darin, die Zeitreihe in eine Trend-, Saison - und Restkomponente zu zerlegen. Eine dreifache exponentielle Glättung ist ein Beispiel für diesen Ansatz. Ein anderes Beispiel, genannt saisonale Löss, basiert auf lokal gewichteten kleinsten Quadraten und wird von Cleveland (1993) diskutiert. Wir sprechen nicht über jahreszeitlichen Löss in diesem Handbuch. Häufigkeit basierte Methoden Ein weiterer Ansatz, der üblicherweise in wissenschaftlichen und technischen Anwendungen verwendet wird, besteht darin, die Serie im Frequenzbereich zu analysieren. Ein Beispiel für diesen Ansatz bei der Modellierung eines sinusförmigen Typs Datensatz ist in der Strahlablenkung Fallstudie gezeigt. Die spektrale Darstellung ist das primäre Werkzeug für die Frequenzanalyse von Zeitreihen. Autoregressive (AR) - Modelle Ein gemeinsamer Ansatz zur Modellierung univariater Zeitreihen ist das autoregressive (AR) Modell: Xt delta phi1 X phi2 X cdots phip X At, wobei (Xt) die Zeitreihe ist (At) ist weißes Rauschen und Delta Links (1 - sum p phii rechts) mu. Mit (mu) den Prozessmittel bedeuten. Ein autoregressives Modell ist einfach eine lineare Regression des aktuellen Wertes der Serie gegen einen oder mehrere vorherige Werte der Serie. Der Wert von (p) heißt die Reihenfolge des AR-Modells. AR-Modelle können mit einer von verschiedenen Methoden analysiert werden, einschließlich standardmäßiger linearer Quadrate-Techniken. Sie haben auch eine einfache Interpretation. Moving Average (MA) Modelle Ein weiterer gemeinsamer Ansatz zur Modellierung univariater Zeitreihenmodelle ist das gleitende Mittelwert (MA) Modell: Xt mu At - theta1 A - theta2 A - cdots - thetaq A, wobei (Xt) die Zeitreihe ist (mu ) Ist der Mittelwert der Reihe, (A) sind weiße Rauschbegriffe, und (theta1, ldots, thetaq) sind die Parameter des Modells. Der Wert von (q) heißt die Reihenfolge des MA-Modells. Das heißt, ein gleitender Durchschnittsmodell ist konzeptionell eine lineare Regression des aktuellen Wertes der Reihe gegen das weiße Rauschen oder zufällige Schocks eines oder mehrerer vorheriger Werte der Reihe. Die zufälligen Schocks an jedem Punkt werden von der gleichen Verteilung, typischerweise einer Normalverteilung, mit der Position bei Null und konstantem Maßstab angenommen. Die Unterscheidung in diesem Modell ist, dass diese zufälligen Schocks zu zukünftigen Werten der Zeitreihen übertragen werden. Die Anpassung der MA-Schätzungen ist komplizierter als bei AR-Modellen, da die Fehlerterme nicht beobachtbar sind. Dies bedeutet, dass iterative nichtlineare Anpassungsverfahren anstelle von linearen kleinsten Quadraten verwendet werden müssen. MA-Modelle haben auch eine weniger offensichtliche Interpretation als AR-Modelle. Manchmal wird das ACF und PACF darauf hindeuten, dass ein MA-Modell eine bessere Modellwahl wäre und manchmal auch AR - und MA-Begriffe im selben Modell verwendet werden sollten (siehe Abschnitt 6.4.4.5). Beachten Sie jedoch, dass die Fehlertermine nach dem Modell unabhängig sind und den Standardannahmen für einen univariaten Prozess folgen. Box und Jenkins popularisierten einen Ansatz, der den gleitenden Durchschnitt und die autoregressiven Ansätze in dem Buch Time Series Analysis: Prognose und Kontrolle (Box, Jenkins und Reinsel, 1994) kombiniert. Obwohl sowohl autoregressive als auch gleitende durchschnittliche Ansätze bereits bekannt waren (und ursprünglich von Yule untersucht wurden), war der Beitrag von Box und Jenkins in der Entwicklung einer systematischen Methodik zur Identifizierung und Schätzung von Modellen, die beide Ansätze beinhalten könnten. Das macht Box-Jenkins Modelle zu einer leistungsstarken Klasse von Modellen. Die nächsten Abschnitte werden diese Modelle im Detail besprechen.

Comments

Popular Posts