On Out-of-Sample Statistics for Time-Series

Yoshua Bengio, François Gingras and Claude Nadeau

Abstract: This paper studies an out-of-sample statistic for time-series prediction that is analogous to the widely used R2 in-sample statistic. We propose and study methods to estimate the variance of this out-of-sample statistic. We suggest that the out-of-sample statistic is more robust to distributional and asymptotic assumptions behind many tests for in-sample statistics. Furthermore we argue that it may be more important in some cases to choose a model that generalizes as well as possible rather than choose the parameters that are closest to the true parameters. Comparative experiments are performed on a financial time-series (daily and monthly returns of the TSE300 index). The experiments are performed for varying prediction horizons and we study the relation between predictibility (out-of-sample R2), variability of the out-of-sample R2 statistic, and the prediction horizon. Cet article étudie une statistique hors-échantillon pour la prédiction de séries temporelles qui est analogue à la très utilisée statistique R2 de l'ensemble d'entraînement (in-sample). Nous proposons et étudions une méthode qui estime la variance de cette statistique hors-échantillon. Nous suggérons que la statistique hors-échantillon est plus robuste aux hypothèses distributionnelles et asymptotiques pour plusieurs tests faits pour les statistiques sur l'ensemble d'entraînement (in-sample). De plus, nous affirmons qu'il peut être plus important, dans certains cas, de choisir un modèle qui généralise le mieux possible plutôt que de choisir les paramètres qui sont le plus proches des vrais paramètres. Des expériences comparatives furent réalisées sur des séries financières (rendements journaliers et mensuels de l'indice du TSE300). Les expériences réalisées pour plusieurs horizons de prédictions, et nous étudions la relation entre la prédictibilité (hors-échantillon), la variabilité de la statistique R2 hors-échantillon, et l'horizon de prédiction.

Keywords: Out-of-sample statistic; time series; TSE300; Statistique hors-échantillon; séries financières; TSE300 (search for similar items in EconPapers)
Date: 2002-05-01
References: View references in EconPapers View complete reference list from CitEc
Citations:

Downloads: (external link)
https://cirano.qc.ca/files/publications/2002s-51.pdf

Related works:
This item may be available elsewhere in EconPapers: Search for items with the same title.

Export reference: BibTeX RIS (EndNote, ProCite, RefMan) HTML/Text

Persistent link: https://EconPapers.repec.org/RePEc:cir:cirwor:2002s-51

Access Statistics for this paper

More papers in CIRANO Working Papers from CIRANO Contact information at EDIRC.
Bibliographic data for series maintained by Webmaster ().