ANALYSE NUMÉRIQUE MATRICIELLE

BOULOUDENE MOKHTAR

24/11/2022
ii
Contents

I Méthodes itératives 1
0.1 Méthodes itératives classiques . . . . . . . . . . . . . . . . . . . . 3
0.2 Méthode de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . 4
0.3 Méthode de Gauss-Siedel . . . . . . . . . . . . . . . . . . . . . . 4
0.4 Méthode de relaxation . . . . . . . . . . . . . . . . . . . . . . . . 4
0.5 Résultats de convergence dans des cas particuliers . . . . . . . . 5

1 CALCUL APPROCHÉ DES VALEURS PROPRES 7

1.1 Méthode de la puissance itérée . . . . . . . . . . . . . . . . . . . 7
1.2 Quotient de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Algorithme de Rayleigh . . . . . . . . . . . . . . . . . . . 8
1.3 Méthode de Jaobi . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 Méthode de Householder . . . . . . . . . . . . . . . . . . . . . . . 9
1.5 Méthode de Givens . . . . . . . . . . . . . . . . . . . . . . . . . . 10

2 Méthode de la descente 13
2.1 Problème d’optimisation quadratique . . . . . . . . . . . . . . . . 13
2.1.1 Méthode de la descente . . . . . . . . . . . . . . . . . . . 13
2.1.2 Méthode du gradient à pas fixe . . . . . . . . . . . . . . . 14
2.1.3 Méthode du gradient à pas optimal . . . . . . . . . . . . . 14
2.1.4 Méthode du gradient conjugué . . . . . . . . . . . . . . . 14

iii
iv CONTENTS
 Part I

Méthodes itératives

1
0.1. MÉTHODES ITÉRATIVES CLASSIQUES 3

On considère une matrice carrée A ∈ Mn (K) inversible, un vecteur b ∈ Kn

et un système linéaire
(S) : AX = b :
Le principe général d’une méthode itérative pour résoudre (S) est de générer
une suite de vecteurs qui converge vers la solution A−1 b. Pour ce faire l’idée est
d’écrire le système (S) sous une forme équivalente permettant de voir la solution
comme le point fixe d’une certaine fonction, e.g. :

(S) ⇐⇒ BX + C = X (1)

avec B ∈ Mn (K) et C ∈ Kn bien choisis c’est-à-dire I − B inversible et C =

(I − B)A−1 b. Par exemple, si A = M − N pour deux matrices M ; N ∈ Mn (K)
avec M inversible, on peut choisir B = M −1 N et C = M −1 b. Dans la suite
on supposera toujours que B ∈ Mn (K) et C ∈ Kn sont choisis tels que I − B
inversible et C = (I − B)A−1 b. On se donne alors un vecteur X (0) ∈ Kn et on
construit une suite de vecteurs X (k) ∈ Kn à l’aide du schéma itératif

X(k+1) = Bx(k) + C, k ≥ 0(2)Si la suite (X (k) )k∈N est convergente, alors

elle converge vers la solution A−1 b de (S). En effet, si elle existe, la limite X ∗
est un point fixe de la fonction X −→ BX + C, i.e., vérifie X ∗ = BX ∗ + C qui
est équivalent à AX ∗ = b d’après (1).
La mise en oeuvre pratique d’une méthode itérative de la forme (2) nécessite
la donnée d’un point de départ x(0) (en général, sauf si l’on possède des infor-
mations a priori sur la solution, on choisit le vecteur nul) et d’une tolérance
sur la solution que l’on cherche à calculer. On calcule ensuite les itérés x(k) ;
k = 1; 2; ::: en utilisant la formule (2) jusqu’à ce que le résidu b − AX (k) soit
plus petit que la tolérance.

0.1 Méthodes itératives classiques

On considère un système linéaire (S) : AX = b avec A inversible. L’idée est de
déduire un schéma itératif de la décomposition de A sous la forme A = M − N
où M est une matrice inversible. En pratique on suppose que les systèmes de
matrice M sont faciles à résoudre (par exemple M diagonale, triangulaire, . .
. ). Le système (S) s’écrit alors M X = N X + b c’est-à-dire X = BX + C avec
B = M −1 N et C = M −1 b et on considère le schéma itératif associé :

X (0) ∈ Kn ; M X (k+1) = N X (k) + b :

Nous allons maintenant considérer trois exemples classiques : les méthodes de

Jacobi, Gauss-Seidel et de relaxation. Le point de départ de chacune de ces
méthodes est l’unique décomposition de la matrice A = (ai,j )1≤i;j≤n sous la
forme A = D − E − F avec :
•D = (di,j )1≤i,j≤n diagonale telle que di,i = ai,i , di,j = 0 si i 6= j.
4

•E = (ei,j )1≤i,j≤n triangulaite inférieure sticte telle que ei,j = −ai,j , si i > j et
ei,j = 0 si i ≤ j.
•F = (fi,j )1≤i,j≤n triangulaite supérieure sticte telle que fi,j = −ai,j , si i < j
et ei,j = 0 si i ≥ j.

0.2 Méthode de Jacobi

On considère un système linéaire (S) : AX = b avec A inversible. On pose
A = M − N avec M = D inversible et N = E + F . Le schéma itératif s’écrit
alors
DX (k+1) = (E + F )X (k) + b ⇐⇒ X (k+1) = D−1 (E + F )X (k) + D−1 b :
Définition 1 La matrice J = D−1 (E + F ) s’appelle la matrice de Jacobi as-
sociée à A.
Théorème 2 La méthode de Jacobi converge si et seulement si ρ(J) < 1 .

0.3 Méthode de Gauss-Siedel

On considère un système linéaire (S) : AX = b avec A inversible. On pose
A = M − N avec M = D − E inversible et N = F . Le schéma itératif s’écrit
alors
(D − E)X (k+1) = F X (k) + b ⇐⇒ X (k+1) = (D − E)−1 F X (k) + (D − E)−1 b :
Définition 3 La matrice G = (D − E)−1 F s’appelle la matrice de Gauss-Siedel
associée à A.
Théorème 4 La méthode de de Gauss-Siedel converge si et seulement si ρ(G) <
1.

0.4 Méthode de relaxation

On considère un système linéaire (S) : AX = b avec A inversible. On pose
A = M − N avec M = ω1 (D − ωE) inversible et N = ( 1−ω ω )D + F . Le schéma
itératif s’écrit alors
 
1 1−ω
(D−ωE)X (k+1)
= ( )D + F X (k) +b ⇐⇒ X (k+1) = (D−ωE)−1 ((1 − ω)D + ωF ) X (k) +ω(D
ω ω
Définition 5 La matrice Lω = (D−)−1 ((1 − ω)D + ωF ) s’appelle la matrice
de relaxation associée à A et ω est le facteur de relaxation. Si ω < 1, on parle
de sous-relaxation, si ω = 1, on retrouve la méthode de Gauss-Seidel et si ω > 1,
on parle de sur-relaxation.
Théorème 6 La méthode de de relaxation converge si et seulement si ρ(Lω ) <
1.
0.5. RÉSULTATS DE CONVERGENCE DANS DES CAS PARTICULIERS5

0.5 Résultats de convergence dans des cas par-

ticuliers
Théorème 7 Si la matrice A est symétrique, définie positive alors la méthode
de Gauss-Siedel converge .

Théorème 8 Si la matrice A est à diagonale strictement dominante alors A

est inversible et les méthodes de Jacobi et de Gauss-Siedel convergent .
6
Chapter 1

CALCUL APPROCHÉ
DES VALEURS PROPRES

1.1 Méthode de la puissance itérée

Soit A ∈ Mn (K) une matrice carrée dont on cherche les valeurs propres, sup-
posons que A possède n valeurs propres de modules différents λ1 , λ2 , ..., λn telles
que |λ1 | < |λ2 | < .... < |λn | et soient u~1 , u~2 , ...., u~n les vecteurs propres associés.
Alors, si X (0) est un vecteur quelconque, tel que X (0) = α1 u~1 +α2 u~2 +....+αn u~n .
Supposons que αn 6= 0, alors la suite de vecteurs X (k) , définie par:

X (0)


AX (k)
 X (k+1) = , k≥0
AX (k) 2

converge vers un vecteur propre assocoié à la valeur propre λn et AX (k)

converge vers |λn |.
Cet algorithme est appelé algorithme de la puissance itérée.

1.2 Quotient de Rayleigh

Cette section est consacrée à l’étude de la détermination des éléments propres
d’une matrice symétrique réelle par celle des extrema d’une fonction nommée
quotient de Rayleigh. Soient donc n ∈ N∗ et A une matrice symétrique réelle.
Pour tout vecteur-colonne non nul X ∈ Rn , on pose

hX, AXi
R(X) = 2 .
kXk2

Théorème 9 Les extremums de la fonction R sont des valeurs propres de A.

7
8 CHAPTER 1. CALCUL APPROCHÉ DES VALEURS PROPRES

1.2.1 Algorithme de Rayleigh

On se donne un vecteur initial X (0) , on pose

λ0 = R(X (0) )

Si la ma trice (A − λ0 I) n’est pas inversible, alors λ0 est une valeur propre de

A.
Si (A − λ0 I) est inversible, on contruit la suite de vecteurs:

(A − λ0 I)X (k)
X (k+1) =
(A − λ0 I)X (k)

et on obtient la suite λk = R(X (k) ). La suite λk = R(X (k) ) converge vers une
valeur propre de A.

1.3 Méthode de Jaobi

On fait l’hypothese que la matrice A est symétrique réelle, donc ceci assure
des valeurs propres réelles. L’idée consiste à trouver une suite de matrices
orthogonales (Jk )k≥0 de sorte que la suite Ak+1 =t Jk AJk converge vers une
matrice diagonle formée par les valeurs propres de A. une matrice J(p, q), p < q
est définie par:
 
I 0 0 0 0
 0 cos θ 0 sin θ 0 
 
J(p, q) =  0 0 I 0 0 

 0 -sin θ 0 cos θ 0 
0 0 0 0 I

Posons B =t JAJ.
L’identification des composantes donne

bpp = app cos2 θ + aqq sin2 θ − apq sin 2θ

bqq = app sin2 θ + aqq cos2 θ + apq sin 2θ

app − aqq
bpq = apq cos 2θ + sin 2θ
2
Pour i 6= p, q
bij = aij
bpi = api cos θ − aqi sin θ
bqi = api sin θ + aqi cos θ
Or, si apq 6= 0 il existe toujours un angle θ compris entre − π4 < θ < π
4 définie
par
aqq − app
cot 2θ =
2apq
1.4. MÉTHODE DE HOUSEHOLDER 9

cette valeur rend bpq = 0.

Supposons que Ak a déjà été calculée. Comment choisir la matrice unitaire Jk
de sorte que Ak+1 =t Jk Ak Jk .
Méthode de Jacobi classique : on choisit le couple (p, q) tel que
(k)
a(k)
pq = max aij
i6=j

Méthode de Jacobi cyclique : on fait un balayage cyclique des éléments hors

diagonaux. (1, 2); (1, 3), ...., (1, n); (2, 3), ....., (2, n), ....., (n − 1, n)

1.4 Méthode de Householder

Définition 10 Soit v ∈ Rn . On appelle matrice de Householder, la matrice
orthogonale

A
H(v)
de taille n × n donnée par:
2 t
H(v) = I − 2 v. v, si v est non-nul,
kvk2
et H(v) = I si v est le vecteur nul.
la méthode de Householder permet la réduction d’une matrice symétrique A à
une matrice tridiagonale symétrique et semblable à A au bout d’un nombre fink
d’opérations élémentaires.
Soit A une matrice carrée symétrique. À l’étape une on cherche à annuler les
éléments non diagonaux de la première colonne de A. Pour cela, on pose
 
a11
 a21 
a1 =  . 
 
 .. 
an1
On prend comme vecteur v1 ,
v1 = a1 − ka1 k2 e1
on construit alors la matrice de Householder
H1 (v1 ) = H1
Le produit H1 A = A1 est une matrice de la forme
 (1) (1)

ka1 k a12 ... a1n
(1) (1) 
 0 a22 a2n 

A1 =  .
 .. .. .. 
 ..

. . . 
(1) (1)
0 an2 ann
10 CHAPTER 1. CALCUL APPROCHÉ DES VALEURS PROPRES

À l’étape k, on considère le vecteur

 
0
 .. 
 . 
 
 0 
 
 (k) 
ak =  akk 
 (k) 
ak+1k 
 .. 
 
 . 
(k)
ank

Le vecteur vk = ak − kak k ek , et de la même manière, on construit la matrice

de Householder Hk = Hk (vk ), et ainsi de suite jusqu’à Hn−1 . D’où le produit
Hn−1 Hn−2 ....H1 A = R nous donne une matrice triangulaire supérieure, c’est à
dire
A = H1 ...Hn−2 Hn−1 R = QR
avec
Q = H1 ....Hn−2 Hn−1

1.5 Méthode de Givens

La méthode de décomposition de Givens procède de la même idée de base que
celle de Householder, mais en remplaçant les symétries par des rotations. Elle
a la réputation d’être un peu plus complexe mais plus stable sur le plan calcu-
latoire, c’est à dire plus fiable pour les sytèmes mal conditionnés.
Soit A une matrice régulière. La matrice de Givens d’ordre (p, q) de A, notée
G(p, q, A) est définie par:
 
I 0 0 0 0
 0 c(p,q,A) 0 s(p,q) 0 
 
G(p, q, A) =  0
 0 I 0 0 

 0 -s(p,q,A) 0 c(p,q,A) 0 
0 0 0 0 I
avec 
1 si app aqp = 0
a

c(p, q, A) = q pp sinon

 a2pp + a2qp

 0 si app aqp = 0
a

s(p, q, A) = q qp sinon

 app + a2qp
2

On commence par faire les multiplications : G(2, 1, A)A = A(2, 1) qui aura un
0 en position (2, 1) puis G(3, 1, A(2, 1))A(2, 1) qui aura des zéros en positions
1.5. MÉTHODE DE GIVENS 11

(2, 1) et (3, 1) et ainsi de suite jusqu’à: G(n, 1, A(n − 1, 1))A(n − 1, 1) = A(n, 1)

dont la première colonne sera nulle sauf le premier élément. Après on continue
avec G(3, 2, A(n, 1)) = A(2, 2) ........... G(n, 2, A(n − 1, 2))A(n − 1, 2) = A(n, 2)
qui aura des zéros sous la diagonale pour les deux premières colonnes. et ainsi de
suite, la forme des matrices G(p, q, X) et l’ordre des multiplications assurant que
les zéros acquis ne sont pas perdus. On arrive à la fin à G(n, n−1, A(n, n−2)) =
A(n, n − 1) qui doit être triangulaire. Ainsi si G désigne la matrice :

Π1p=n−1 Πp+1
q=n G(q, p, A(q, p))

G est orthogonale comme produit de rotations et GA est triangulaire. D’où

nous tirons A =t GR qui est la décomposition cherchée.
12 CHAPTER 1. CALCUL APPROCHÉ DES VALEURS PROPRES
Chapter 2

Méthode de la descente

2.1 Problème d’optimisation quadratique

Soit la matrice A ∈ Mn (R) et le vecteur b ∈ Rn . Résoudre le système linéaire

AX = b

revient à minimser la fonction vectorielle:

1
J(X) = hAX, Xi − hb, Xi
2
Proposition 11 Si A est symétrique définie positive, alors le problème

min J(X)
X∈Rn

admet une solution unique X vérifiant AX = b

2.1.1 Méthode de la descente

Définition 12 Soit J une fonction de Rn à valeurs dans R. Soit X ∈ Rn . On
dit que d ∈ Rn , avec d 6= 0, est une direction de descente de J en X s’il existe
α0 > 0 tel que:
J(X + αd) ≤ J(X), ∀α ∈ [0, α0 ]

Ainsi, une méthode de descente pour la recherche de X solution de

min J(X)
X∈Rn

consiste à construire une suite (xk )k∈N de la manière suivante: X 0 donné,

pour k ≥ 0, on cherche la direction de descente dk au point X k et on détermine
le pas αk . Ensuite, on calcule

X k+1 = X k + αk dk .

13
14 CHAPTER 2. MÉTHODE DE LA DESCENTE

2.1.2 Méthode du gradient à pas fixe

La méthode du gradient à pas fixe α > 0 consiste à choisir comme direction de
descente dk à l’étape k + 1, dk+1 = −∇J(X k ). Pour un problème quadratique
l’algorithme s’écrit comme suit: On choisit X 0 ∈ Rn et un pas α > 0. Pour
k ≥ 0, on calcule
dk = b − AX k ,


X k+1 = X k + αdk
Proposition 13 Si A est symétrique définie positive, alors la méthode du gra-
2
dient à pas fixe converge si et seulement si α ∈]0, ρ(A) [.

2.1.3 Méthode du gradient à pas optimal

L’algorithme du gradient à pas optimal s’écrit comme suit: On choisit X 0 ∈ Rn .
Pour k ≥ 0, on calcule
dk = b − AX k ,


 2
dk 2

α k = k k
,
 k+1 hAdk , d i k


X = X + αk d

2.1.4 Méthode du gradient conjugué

L’algorithme du gradient conjugué s’écrit comme suit: On choisit X 0 ∈ Rn . On
pose g 0 = AX 0 = −d0 . Pour k ≥ 0, on calcule
 2
 gk 2

 αk = ,
hAdk , dk i






 ,
X k+1 = X k + αk dk


 g k+1 = Axk+1 − b = g k + αk Adk ,
 2
g k+1 2



βk =


 2
kg k k2



dk+1 = −g k+1 + βk dk
