Régression linéaire et non linéaire Mark Asch Septembre 2010 TADE- EDSS, UPJV 2010-11 Régression linéaire La droite de moindres carrés Le problème suivant est souvent rencontré dans tous les domaines où des mathématiques sont (souvent des instants de temps), des obser faites, et les or7 Sni* to View nts discrets ti ne quelconque sont résultats sont enrégistr s comme un ensemble de couples D ((tl , b1 (t2 , b2 j, (tm , bm Sur la base des ces observations, le problème est de faire des estimations ou des prévisions aux points (instants) t différents des ti .
L’approche classique est alors e trouver l’équation de la courbe qui est ajustée au mieux aux points dans D afin de pouvoir ensuite estimer le phénomène selon y f (t). Commençons par ajuster une ligne droite aux points dans D. Une points stationnaires, Nous calculons aisement, (a + Pti —b ) bi ) ti = qui peut être réecrit en termes des deux inconnus, PAG » rif 7 carrés unique, donnée par x — AT A Ab, si et seulement si le rank(A) = n. Si Ax b est consistente, alors la solution de Ax = b est la même que celle de moindres carrés. 2 La courbe de moindres carrés Le problème est ici de trouver un polynôme de degré donné, (t) =aO+a1 an—l tn-l qui se rapproche autant que possible, dans le sens des moindres carrés, à un ensemble de mesures D = {(tl , bi (Q , b2), (tm , brn , où les ti sont distincts et n g m. Le but, de nouveau, est de minimiser la somme de carrés, 2 (p(ti ) — bi ) PAGF3C,F7 x n, avec m > n, est définie par A. La factorisation SVD de A est AZUA’ T où LJ est une matrice orthogonale m x m, V est une matrice orthogonale n x n et est une matrice diagonale de dimension m x n avec oij = oi pour i = pou et oi sont les valeurs singulières de A.
Finalement le pseudoinverse est aussi donnée par A+=VE+UT. La factorisation QR de A est où Q est une matrice orthogonale de dimension m x m, et R est une matrice triangulaire supérieure de dimenslon nxn. Finalement le A+ZR-IQ où QI est la partition m x obtenue de la méthode de Newton en ramplacant 2 g(x) par H(x) est la méthode de Gauss-Newton : oxo donn ‘-1 gi (xk ) gi (xk )T, Xk41 – Hk g(xk Pour l’ajustement de données (ti , yi ), soit la fonction résiduelle ri (x) yi —f (t, xi où x est un vecteur de paramètres inconnus, f est une fonction non linéaire connue.
Nous voulons minimiser cp(x) = IT r (x)r(x). Son gradient est elation entre la concentration du substrat [S] et la vitesse de réaction dans une réaction enzymatique à partir de données reportées dans la Table 1 On souhaite ajuster les données à une courbe de la forme : rate = Vmax [S] KM + L’estimation par moindres carrés porte sur les paramètres Vmax et KM . our , 7 on note par xi les valeurs de [S] et par yi la vitesse de réaction. On pose Pl = Vmax et (32 = KM . Nous allons chercher Pl et P2 pour minimiser la somme des carrés des résidus, ri —yi — P2+Xi La jacobienne Jr du vecteur des résidus ri par rapport aux inconnus pj est une atrice 7 x 2 dont la igne i est ari api 5 itérations. La Table 2 détaille les cinq itérations et la courbe obtenue est tracée dans la Figure 1. 2. La méthode de Levenberg-Marquardt Afin d’assurer la convergence globale de la méthode de Gauss- Newton, on peut la combiner avec une recherche linéaire. L’itération obtenue est alors : dk Xk+l f (xk xk+pkdk, cependant, il ny a pas de garantie que Hk reste définie positive et en général on fait appel à la méthode de Levenberg-Marquardt qui remplace la matrice Hk par Hk + hl où À est un réel positif. La méthode est décrite par : 7 Ddk
