[Statistics Toolbox] Détecter des données erronées

Présentation
Tout expérimentateur s'est une fois au moins demandé s'il était justifié ou non de supprimer d'une série de mesures des points manifestements abérants. Quand ces points sont nombreux, et en continuité avec les points normaux, la question devient cornélienne.

Je m'intéresse ici au cas ou les données s'avèrent "bizares" quand elles ont un résidu important par rapport à un modèle (depuis la simple régression linéaire jusqu'au modèle sophistiqué de 10000 lignes de code). Dans ce cas là, on a l'habitude de considérer les résidus (les erreurs au modèle) comme normalement distribués.

La question qui m'intéresse se réduit donc à la détection de valeurs improbables dans une distribution normale.

Il se trouve que le maximum et le minimum d'une série de N tirages dans une loi normale suit la loi de Gumbel. C'est ce que j'exploite pour nettoyer mes séries de données avec le programme MATLAB que voici.

Lancer la fonction sans argument déclenche une série de tests.
Téléchargement
Compatibilité
Linux Mac Windows
0  0 
Téléchargé 21 fois Voir les 2 commentaires
Détails
Avatar de Olivier Planchon
Membre éprouvé
Voir tous les téléchargements de l'auteur
Licence : Autre
Date de mise en ligne : 11 avril 2013




Avatar de HAL-9000 HAL-9000 - Membre habitué https://www.developpez.com
le 05/10/2010 à 18:09
Ca fait belle lurette que l'on ne considère plus les résidus comme gaussien dans les modèles économétriques
Avatar de ol9245 ol9245 - Membre éprouvé https://www.developpez.com
le 07/10/2010 à 13:57
Citation Envoyé par HAL-9000  Voir le message
Ca fait belle lurette que l'on ne considère plus les résidus comme gaussien dans les modèles économétriques

Pour des résidus non gaussiens, il y a deux possibilités :

1/ tester et évaluer la qualité du résultat empiriquement. Par exemple, j'ai testé sur un bruit blanc, qui donc n'a rien de gaussien et l'algo s'est très bien comporté.
2/ modifier . Si tu connais la loi de tes résidus, l'algo est très facile à modifier. En particulier grâce aux nombreux commentaires inclus dans le code. Au besoin je peux t'y aider.

Edit : dans le cas 2 (introduire une autre loi), attention, il faut que la queue de ta loi soit quadratique. Sinon, ce n'est pas la loi de Gumbel qui s'y applique. Toutefois, toutes les queues sont décrites par seulement trois lois (Gumbel, Fréchet et Weibull). Il est donc possible de généraliser ma technique à virtuellement toutes les lois existantes en codant les deux autres lois.
Developpez.com décline toute responsabilité quant à l'utilisation des différents éléments téléchargés.
Contacter le responsable de la rubrique MATLAB