Splitting Methods in Communication Imaging

Science and Engineering Roland Glowinski pdf

download

https://textbookfull.com/product/splitting-methods-in-
communication-imaging-science-and-engineering-roland-glowinski/

Download more ebook from https://textbookfull.com

We believe these products will be a great fit for you. Click
the link to download now, or visit textbookfull.com
to discover even more!

Approximation Methods in Science and Engineering Reza

N. Jazar

https://textbookfull.com/product/approximation-methods-in-
science-and-engineering-reza-n-jazar/

Computational and Analytic Methods in Science and

Engineering Christian Constanda

https://textbookfull.com/product/computational-and-analytic-
methods-in-science-and-engineering-christian-constanda/

Domain Decomposition Methods in Science and Engineering

XXV Ronald Haynes

https://textbookfull.com/product/domain-decomposition-methods-in-
science-and-engineering-xxv-ronald-haynes/

Computational and Analytic Methods in Science and

Engineering 1st Edition Constanda

https://textbookfull.com/product/computational-and-analytic-
methods-in-science-and-engineering-1st-edition-constanda/
Mathematical Methods in Science and Engineering 2nd
Edition Selçuk S. Bayin

https://textbookfull.com/product/mathematical-methods-in-science-
and-engineering-2nd-edition-selcuk-s-bayin/

Essentials of Mathematical Methods in Science and

Engineering Selçuk ■. Bayin

https://textbookfull.com/product/essentials-of-mathematical-
methods-in-science-and-engineering-selcuk-s-bayin/

Automation Communication and Cybernetics in Science and

Engineering 2015 2016 1st Edition Sabina Jeschke

https://textbookfull.com/product/automation-communication-and-
cybernetics-in-science-and-engineering-2015-2016-1st-edition-
sabina-jeschke/

Domain Decomposition Methods in Science and Engineering

XXIII 1st Edition Chang-Ock Lee

https://textbookfull.com/product/domain-decomposition-methods-in-
science-and-engineering-xxiii-1st-edition-chang-ock-lee/

Essentials of Mathematical Methods in Science and

Engineering 2nd Edition S. Selcuk Bayin

https://textbookfull.com/product/essentials-of-mathematical-
methods-in-science-and-engineering-2nd-edition-s-selcuk-bayin/
Scientific Computation

Roland Glowinski
Stanley J. Osher
Wotao Yin Editors

Splitting Methods
in Communication,
Imaging, Science,
and Engineering
Splitting Methods in Communication, Imaging,
Science, and Engineering
Scientific Computation
Editorial Board
J.-J. Chattot, Davis, CA, USA
P. Colella, Berkeley, CA, USA
R. Glowinski, Houston, TX, USA
P. Joly, Le Chesnay, France
D.I. Meiron, Pasadena, CA, USA
O. Pironneau, Paris, France
A. Quarteroni, Lausanne, Switzerland
and Politecnico of Milan, Italy
J. Rappaz, Lausanne, Switzerland
R. Rosner, Chicago, IL, USA
P. Sagaut, Paris, France
J.H. Seinfeld, Pasadena, CA, USA
A. Szepessy, Stockholm, Sweden
M.F. Wheeler, Austin, TX, USA
M.Y. Hussaini, Tallahassee, FL, USA

More information about this series at http://www.springer.com/series/718

Roland Glowinski • Stanley J. Osher • Wotao Yin
Editors

Splitting Methods
in Communication, Imaging,
Science, and Engineering

123
Editors
Roland Glowinski Stanley J. Osher
Department of Mathematics Department of Mathematics
University of Houston UCLA
Houston, TX, USA Los Angeles, CA, USA

Wotao Yin
Department of Mathematics
UCLA
Los Angeles, CA, USA

ISSN 1434-8322 ISSN 2198-2589 (electronic)

Scientific Computation
ISBN 978-3-319-41587-1 ISBN 978-3-319-41589-5 (eBook)
DOI 10.1007/978-3-319-41589-5

Library of Congress Control Number: 2016951957

Mathematics Subject Classification (2010): 49-02, 65-06, 90-06, 68U10, 47N10

© Springer International Publishing Switzerland 2016

This work is subject to copyright. All rights are reserved by the Publisher, whether the whole or part of
the material is concerned, specifically the rights of translation, reprinting, reuse of illustrations, recitation,
broadcasting, reproduction on microfilms or in any other physical way, and transmission or information
storage and retrieval, electronic adaptation, computer software, or by similar or dissimilar methodology
now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors and the editors are safe to assume that the advice and information in this book
are believed to be true and accurate at the date of publication. Neither the publisher nor the authors or
the editors give a warranty, express or implied, with respect to the material contained herein or for any
errors or omissions that may have been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.

Printed on acid-free paper

This Springer imprint is published by Springer Nature

The registered company is Springer International Publishing AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
Preface

Operator-splitting methods have been around for more than a century, starting with
their common ancestor, the Lie scheme, introduced by Sophus Lie in the mid-1870s.
It seems however that one had to wait after WW2 to see these methods joining the
computational and applied mathematics mainstream, the driving force being their
applicability to the solution of challenging problems from science and engineering
modeled by partial differential equations. The main actors of this renewed inter-
est in operator-splitting methods were mainly Douglas, Peaceman, Rachford, and
Wachpress in the USA with the alternating direction implicit (ADI) methods and
Dyakonov, Marchuk, and Yanenko in the USSR with the fractional step methods.
These basic methodologies have known many variants and improvements and gen-
erated a quite important literature consisting of many articles and few books, of the-
oretical and applied natures, with computational mechanics and physics being the
main sources of applications. In the mid-1970s, tight relationships between the aug-
mented Lagrangian methods of Hestenes and Powell and ADI methods were iden-
tified, leading to the alternating direction methods of multipliers (ADMM). Albeit
originating from problems from continuum mechanics modeled by partial differen-
tial equations and inequalities, it was quickly realized that the ADMM methodology
applies to problems outside the realm of partial differential equations and inequali-
ties, in information sciences in particular, an area where ADMM has enjoyed a very
fast-growing popularity. The main reason of this popularity is that most often large-
scale optimization problems have decomposition properties that ADMM can take
advantage of, leading to modular algorithms, well suited to parallelization. Another
factor explaining ADMM’s growing popularity during the last decade was the dis-
covery around 2007 of its many commonalities with the split-Bregman algorithm
widely used first in image processing and then in compressed sensing, among other
applications.
Late 2012, the three editors of this book were participating in a conference in
Hong Kong, the main conference topics being scientific computing, image pro-
cessing, and optimization. Since most lectures at the conference had some rela-
tions with operator splitting, ADMM, and split-Bregman algorithms, the idea of
a book dedicated to these topics was explored, considering the following facts:
v
vi Preface

(i) The practitioners of the above methods have become quite specialized, form-
ing subcommunities with very few interactions between them. (ii) New applications
of operator-splitting and related algorithms appear on an almost daily basis. (iii)
The diversification of the algorithms and their applications has become so large that
a volume containing the contributions of a relatively large number of experts is nec-
essary in order to interest a large audience; indeed, the last review publications on
the above topics being quite specialized (as shown in Chapter 1), the editors did
their very best to produce a large spectrum volume.
Following a Springer agreement to publish a book on operator splitting, ADMM,
split-Bregman, and related algorithms, covering both theory and applications, ex-
perts were approached to contribute to this volume. We are pleased to say that most
of them enthusiastically agreed to be part of the project.
This book is divided in chapters covering the history, foundations, applications,
as well as recent developments of operator splitting, ADMM, split Bregman, and re-
lated algorithms. Due to size and time constraints, many relevant information could
not be included in the book: the editors apologize to those authors whose contribu-
tions have been partially or totally overlooked.

Many thanks are in order:

• First, to the organizers of the December 2012 Hong Kong conference on Ad-
vances in Scientific Computing, Imaging Sciences and Optimization. Indeed,
the inception of this project took place during this meeting.
• To Springer for accepting to publish this volume. The editors acknowledge in
particular the assistance provided by Achi Dosanjh; she was involved with the
project from day one and never lost her faith in it (and in the editors), despite
the many (unavoidable) delays encountered during its completion.
• To the authors of the various chapters and to those colleagues who accepted to
review them. They are really the ones who brought this book into existence.
• To Hengda Wen and Tsorng-Whay Pan for their assistance on many issues as-
sociated with the preparation of the “manuscript” (some of them LATEXrelated).
Both of them saved the day more than once.
• To the various institutions supporting the authors, the editors, and the reviewers.
• To Indhumathi at SPi Global for her leadership in transforming a complicated
manuscript into a book
We would like to thank also all the scientists who contributed in their own way to
operator-splitting and related methods; they made this book possible. Among them,
we would like to give a special tribute to Ernie Esser and Michèle Schatzman; their
untimely departure was a shock to their friends and colleagues. Both of them had
outstanding contributions to various topics addressed in this book, for which we
thank them and dedicate this book to their memory.

Houston, TX, USA Roland Glowinski

Los Angeles, CA, USA Stanley J. Osher
Los Angeles, CA, USA Wotao Yin
February 2016
Contents

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Roland Glowinski, Stanley J. Osher, and Wotao Yin
1 Motivation and Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 Lie’s Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3 On the Strang Symmetrized Operator-Splitting Scheme . . . . . . . . . . . . 5
4 On the Solution of the Sub-initial Value Problems . . . . . . . . . . . . . . . . . 6
5 Further Comments on Multiplicative Operator-Splitting Schemes . . . . 7
6 On ADI Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
7 Operator Splitting in Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
8 Bregman Methods and Operator Splitting . . . . . . . . . . . . . . . . . . . . . . . . 14
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

2 Some Facts About Operator-Splitting and Alternating Direction

Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Roland Glowinski, Tsorng-Whay Pan, and Xue-Cheng Tai
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2 Operator-Splitting Schemes for the Time Discretization of Initial
Value Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1 Generalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2 Time-Discretization of (2.1) by Lie’s Scheme . . . . . . . . . . . . . . . . 22
2.3 Time-Discretization of (2.1) by Strang’s Symmetrized Scheme . . 23
2.4 Time-Discretization of (2.1) by Peaceman-Rachford’s
Alternating Direction Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.5 Time-Discretization of (2.1) by Douglas-Rachford’s
Alternating Direction Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.6 Time-Discretization of (2.1) by a Fractional θ -Scheme . . . . . . . . 28
2.7 Two Applications: Smallest Eigenvalue Computation
and Solution of an Anisotropic Eikonal Equation . . . . . . . . . . . . . 30
2.8 Time-Discretization of (2.1) by a Parallel Splitting Scheme . . . . . 33

vii
viii Contents

3 Augmented Lagrangian Algorithms and Alternating Direction

Methods of Multipliers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2 Decomposition-Coordination Methods by Augmented
Lagrangians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3 On the Relationship Between Alternating Direction
Methods and ALG2, ALG3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4 Operator-Splitting Methods for the Direct Numerical Simulation
of Particulate Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.1 Generalities. Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 A Fictitious Domain Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3 Solving Problem (2.79)–(2.84) by Operator-Splitting . . . . . . . . . . 46
4.4 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5 Operator-Splitting Methods for the Numerical Solution of Nonlinear
Problems from Condensate and Plasma Physics . . . . . . . . . . . . . . . . . . . 52
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.2 On the Solution of the Gross-Pitaevskii Equation . . . . . . . . . . . . . 52
5.3 On the Solution of Zakharov Systems . . . . . . . . . . . . . . . . . . . . . . . 56
6 Applications of Augmented Lagrangian and ADMM Algorithms
to the Solution of Problems from Imaging . . . . . . . . . . . . . . . . . . . . . . . . 61
6.1 Variational Models for Image Processing . . . . . . . . . . . . . . . . . . . . 61
6.2 Fast Numerical Algorithms for Variational Image Processing
Models Based on Operator- Splitting and Augmented
Lagrangian Methods (ALM) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
7 Further Comments and Complements . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3 Operator Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Shev MacNamara and Gilbert Strang
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2 Splitting for Ordinary Differential Equations . . . . . . . . . . . . . . . . . . . . . 97
2.1 Gaining an Order of Accuracy by Taking an Average . . . . . . . . . . 100
2.2 Higher Order Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.3 Convection and Diffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
2.4 A Reaction-Diffusion PDE: Splitting Linear from Nonlinear . . . . 102
2.5 Stability of Splitting Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.6 Ordinary Splitting Does NOT Preserve the Steady State . . . . . . . 105
3 Balanced Splitting: A Symmetric Strang Splitting That Preserves
the Steady State . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.1 Balanced Splitting Preserves the Steady State . . . . . . . . . . . . . . . . 106
3.2 Splitting Fast from Slow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 A Very Special Toeplitz-Plus-Hankel Splitting . . . . . . . . . . . . . . . . . . . . 107
4.1 All Matrix Functions f (K) Are Toeplitz-Plus-Hankel . . . . . . . . . 109
4.2 The Wave Equation Is Toeplitz-Plus-Hankel . . . . . . . . . . . . . . . . . 111
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Contents ix

4 Convergence Rate Analysis of Several Splitting Schemes . . . . . . . . . . . 115

Damek Davis and Wotao Yin
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
1.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
1.2 Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
1.3 The Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
1.4 Basic Properties of Averaged Operators . . . . . . . . . . . . . . . . . . . . . 120
2 Summable Sequence Lemma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
3 Iterative Fixed-Point Residual Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.1 o(1/(k + 1)) FPR of Averaged Operators . . . . . . . . . . . . . . . . . . . . 122
3.2 o(1/(k + 1)) FPR of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . . . . 125
3.3 O(1/Λk2 ) Ergodic FPR of Fejér Monotone Sequences . . . . . . . . . 126
4 Subgradients and Fundamental Inequalities . . . . . . . . . . . . . . . . . . . . . . . 126
4.1 A Subgradient Representation of Relaxed PRS . . . . . . . . . . . . . . . 127
4.2 Optimality Conditions of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . 128
4.3 Fundamental Inequalities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5 Objective Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.1 Ergodic Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.2 Nonergodic Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
6 Optimal FPR Rate and Arbitrarily Slow Convergence . . . . . . . . . . . . . . 134
6.1 Optimal FPR Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2 Arbitrarily Slow Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
7 Optimal Objective Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
7.1 Ergodic Convergence of Minimization Problems . . . . . . . . . . . . . 137
7.2 Optimal Nonergodic Objective Rates . . . . . . . . . . . . . . . . . . . . . . . 139
8 From Relaxed PRS to Relaxed ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . 144
8.1 Primal Objective Convergence Rates in ADMM . . . . . . . . . . . . . . 145
9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
A Further Applications of the Results of Section 3 . . . . . . . . . . . . . . . . . . . 149
1.1 o(1/(k + 1)2) FPR of FBS and PPA . . . . . . . . . . . . . . . . . . . . . . . . 149
1.2 o(1/(k + 1)2) FPR of One Dimensional DRS . . . . . . . . . . . . . . . . 151
B Further Lower Complexity Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
2.1 Ergodic Convergence of Feasibility Problems . . . . . . . . . . . . . . . . 152
2.2 Optimal Objective and FPR Rates with Lipschitz Derivative . . . . 152
C ADMM Convergence Rate Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.1 Dual Feasibility Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . 155
3.2 Converting Dual Inequalities to Primal Inequalities . . . . . . . . . . . 156
3.3 Converting Dual Convergence Rates to Primal
Convergence Rates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
D Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.1 Feasibility Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
4.2 Parallelized Model Fitting and Classification . . . . . . . . . . . . . . . . . 160
4.3 Distributed ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
x Contents

5 Self Equivalence of the Alternating Direction Method

of Multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
Ming Yan and Wotao Yin
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
1.1 ADM Works in Many Different Ways . . . . . . . . . . . . . . . . . . . . . . . 167
1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
1.3 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
2 Notation, Definitions, and Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . 171
3 Equivalent Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
4 Primal-Dual Equivalence of ADM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
4.1 Primal-Dual Equivalence of ADM on (5.1) with Three
Subproblems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
4.2 Example: Basis Pursuit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
4.3 Example: Basis Pursuit Denoising . . . . . . . . . . . . . . . . . . . . . . . . . . 180
5 ADM as a Primal-Dual Algorithm on the Saddle-Point Problem . . . . . 182
6 Equivalence of ADM for Different Orders . . . . . . . . . . . . . . . . . . . . . . . . 183
7 Equivalence Results of Relaxed PRS . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
8 Application: Total Variation Image Denoising . . . . . . . . . . . . . . . . . . . . . 191
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
6 Application of the Strictly Contractive Peaceman-Rachford
Splitting Method to Multi-Block Separable Convex
Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Bingsheng He, Han Liu, Juwei Lu, and Xiaoming Yuan
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
2.1 The Variational Inequality Reformulation of (6.5) . . . . . . . . . . . . . 201
2.2 Some Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
3 Global Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
4 Worst-Case Convergence Rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
4.1 Worse-Case Convergence Rate in a Nonergodic Sense . . . . . . . . . 211
4.2 Worse-Case Convergence Rate in the Ergodic Sense . . . . . . . . . . 213
5 A Divergence Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
5.1 Divergence of the Direct Application of the SC-PRSM
Algorithm (6.10) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
5.2 Divergence of the E-SC-PRSM Algorithm (6.7) . . . . . . . . . . . . . . 218
6 Numerical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
6.1 Image Restoration with Mixed Impulsive and Gaussian Noises . . 220
6.2 Robust Principal Component Analysis with Missing and Noisy
Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
6.3 Quadratic Discriminant Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
Contents xi

7 Nonconvex Sparse Regularization and Splitting Algorithms . . . . . . . . 237

Rick Chartrand and Wotao Yin
1 Early History of Nonconvex Regularization for Sparsity . . . . . . . . . . . . 237
2 Forward-Backward Splitting and Thresholdings . . . . . . . . . . . . . . . . . . . 238
3 Coordinate Descent Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
4 Other Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
8 ADMM and Non-convex Variational Problems . . . . . . . . . . . . . . . . . . . 251
Roland Glowinski
1 Introduction and Synopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
2 On the ADMM Based Solution of Equilibrium Problems
in Incompressible Finite Elasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
2.1 Introduction. Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . 265
2.2 On the Existence of Solutions to Problem (8.116) . . . . . . . . . . . . . 268
2.3 On the ADMM Solution of Problem (8.116) . . . . . . . . . . . . . . . . . 270
3 On the ADMM Based Solution of the Dirichlet Problem
for the Elliptic Monge-Ampère Equation in Dimension Two . . . . . . . . 273
3.1 Introduction. Synopsis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
3.2 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
3.3 An Augmented Lagrangian Approach for the Solution
of Problem (8.149) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
3.4 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
4 Application to the Solution of a Non-smooth Eigenvalue Problem
from Visco-plasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
4.1 Formulation. Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
4.2 Some Regularization Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
4.3 Finite Element Approximation of Problem (8.177) . . . . . . . . . . . . 285
4.4 Applying ALG2 to the Solution of Problem (8.187) . . . . . . . . . . . 287
4.5 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
5 Further Comments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
9 Operator Splitting Methods in Compressive Sensing and Sparse
Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
Tom Goldstein and Xiaoqun Zhang
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
2 Preliminaries: Convex Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
3 Forward-Backward Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
4 Duality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
5 Method of Multipliers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
6 Alternating Direction Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
7 Compressive Sensing Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
xii Contents

10 First Order Algorithms in Variational Image Processing . . . . . . . . . . . 345

M. Burger, A. Sawatzky, and G. Steidl
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
2 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
3 Proximal Operator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
3.1 Definition and Basic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
3.2 Special Proximal Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
4 Fixed Point Algorithms and Averaged Operators . . . . . . . . . . . . . . . . . . 355
5 Proximal Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.1 Proximal Point Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.2 Proximal Gradient Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
5.3 Accelerated Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
6 Primal-Dual Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
6.1 Basic Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
6.2 Alternating Direction Method of Multipliers . . . . . . . . . . . . . . . . . 366
6.3 Primal Dual Hybrid Gradient Algorithms . . . . . . . . . . . . . . . . . . . . 372
6.4 Proximal ADMM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
6.5 Bregman Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
7 Iterative Regularization for Ill-Posed Problems . . . . . . . . . . . . . . . . . . . . 381
8 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
8.1 Positron Emission Tomography (PET) . . . . . . . . . . . . . . . . . . . . . . 385
8.2 Spectral X-Ray CT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
11 A Parameter Free ADI-Like Method for the Numerical Solution
of Large Scale Lyapunov Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
Danny C. Sorensen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409
2 The Alternating Direction Implicit Method . . . . . . . . . . . . . . . . . . . . . . . 410
3 The Approximate Power Method (APM) . . . . . . . . . . . . . . . . . . . . . . . . . 413
4 A Parameter Free ADI Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
5 Implementation Details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
12 Splitting Enables Overcoming the Curse of Dimensionality . . . . . . . . . 427
Jérôme Darbon and Stanley J. Osher
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
2 Split Bregman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
3 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
4 Summary and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
Contents xiii

13 ADMM Algorithmic Regularization Paths for Sparse Statistical

Machine Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
Yue Hu, Eric C. Chi, and Genevera I. Allen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
1.1 ADMM in Statistical Machine Learning . . . . . . . . . . . . . . . . . . . . . 436
1.2 Developing an Algorithmic Regularization Path: Sparse
Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438
2 The Algorithmic Regularization Path . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
3.1 Sparse Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
3.2 Reduced-Rank Multi-Task Learning . . . . . . . . . . . . . . . . . . . . . . . . 449
3.3 Convex Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457
14 Decentralized Learning for Wireless Communications
and Networking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
Georgios B. Giannakis, Qing Ling, Gonzalo Mateos,
Ioannis D. Schizas, and Hao Zhu
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
2 In-Network Learning with ADMM in a Nutshell . . . . . . . . . . . . . . . . . . 464
3 Batch In-Network Estimation and Inference . . . . . . . . . . . . . . . . . . . . . . 466
3.1 Decentralized Signal Parameter Estimation . . . . . . . . . . . . . . . . . . 466
3.2 Decentralized Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
4 Decentralized Adaptive Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
4.1 Decentralized Least-Mean Squares . . . . . . . . . . . . . . . . . . . . . . . . . 475
4.2 Decentralized Recursive Least-Squares . . . . . . . . . . . . . . . . . . . . . 478
4.3 Decentralized Model-Based Tracking . . . . . . . . . . . . . . . . . . . . . . . 481
5 Decentralized Sparsity-Regularized Rank Minimization . . . . . . . . . . . . 482
5.1 Network Anomaly Detection via Sparsity and Low Rank . . . . . . 482
5.2 In-Network Traffic Anomaly Detection . . . . . . . . . . . . . . . . . . . . . 484
5.3 RF Cartography via Decentralized Sparse Linear Regression . . . 487
6 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
6.1 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488
6.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 490
6.3 Linear Rate of Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
15 Splitting Methods for SPDEs: From Robustness to Financial
Engineering, Optimal Control, and Nonlinear Filtering . . . . . . . . . . . . 499
Christian Bayer and Harald Oberhauser
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
2 From Robustness to Splitting Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . 504
3 Rough Path Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 508
4 Strong Splitting Schemes for SPDEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 512
xiv Contents

5 Applications of Strong Schemes to Nonlinear Filtering and Optimal

Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 515
6 Weak Splitting Schemes for SPDEs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 519
6.1 The Ninomiya–Victoir Splitting . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
7 Applications of Weak Schemes in Financial Engineering . . . . . . . . . . . 528
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 536
16 Application of Operator Splitting Methods in Finance . . . . . . . . . . . . . 541
Karel in ’t Hout and Jari Toivanen
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542
2 Models for Underlying Assets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
2.1 Geometric Brownian Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
2.2 Stochastic Volatility and Stochastic Interest Rate
Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 544
2.3 Jump Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 546
3 Linear Complementarity Problem for American Options . . . . . . . . . . . . 547
4 Spatial Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
5 Time Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
5.1 The θ -Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
5.2 Operator Splitting Methods Based on Direction . . . . . . . . . . . . . . 550
5.3 Operator Splitting Methods Based on Operator Type . . . . . . . . . . 553
5.4 Operator Splitting Method for Linear Complementarity
Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 555
6 Solvers for Algebraic Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 556
6.1 Direct Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
6.2 Iterative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
6.3 Multigrid Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
7 Numerical Illustrations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
7.1 Black–Scholes Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559
7.2 Merton Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
7.3 Heston Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 565
7.4 Bates Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 569
8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 570
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 572
17 A Numerical Method to Solve Multi-Marginal Optimal Transport
Problems with Coulomb Cost . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
Jean-David Benamou, Guillaume Carlier, and Luca Nenna
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
1.1 On Density Functional Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
1.2 Optimal Transport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 578
2 From Density Functional Theory to Optimal Transportation . . . . . . . . . 580
2.1 Optimal Transportation with Coulomb Cost . . . . . . . . . . . . . . . . . . 580
2.2 Analytical Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 582
Contents xv

3 Iterative Bregman Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 586

3.1 The Discrete Problem and Its Entropic Regularization . . . . . . . . . 587
3.2 Alternate Projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 589
3.3 From the Alternate Projections to the Iterative Proportional
Fitting Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590
3.4 A Heuristic Mesh Refinement Strategy . . . . . . . . . . . . . . . . . . . . . . 592
4 Numerical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
4.1 N = 2 Electrons: Comparison Between Numerical
and Analytical Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
4.2 N = 2 Electrons in Dimension d = 3: Helium Atom . . . . . . . . . . . 594
4.3 N = 3 Electrons in Dimension d = 1 . . . . . . . . . . . . . . . . . . . . . . . 595
4.4 N = 3 Electrons in Dimension d = 3 Radial Case:
Lithium Atom . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 596
5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 597
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 600
18 Robust Split-Step Fourier Methods for Simulating the Propagation
of Ultra-Short Pulses in Single- and Two-Mode Optical
Communication Fibers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 603
Ralf Deiterding and Stephen W. Poole
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 604
2 Governing Equation for Ultra-Fast Pulses in a Single-Mode Fiber . . . . 605
3 Numerical Methods for Ultra-Fast Pulses in Single-Mode Fibers . . . . . 606
3.1 Split-Step Fourier Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 606
3.2 Linear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 607
3.3 Nonlinear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 608
3.4 High-Resolution Upwind Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . 610
3.5 Simulation of a Propagating Pulse . . . . . . . . . . . . . . . . . . . . . . . . . . 611
3.6 Spatially Dependent Fiber Parameters . . . . . . . . . . . . . . . . . . . . . . 613
4 Governing Equations for Two Interacting Ultra-Fast Pulses . . . . . . . . . 615
5 Numerical Methods for Two Interacting Ultra-Fast Pulses . . . . . . . . . . 616
5.1 Extended Split-Step Fourier Method . . . . . . . . . . . . . . . . . . . . . . . . 616
5.2 Nonlinear Sub-steps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
5.3 Simulation of Two Interacting Propagating Pulses . . . . . . . . . . . . 620
5.4 Spatially Dependent Fiber Parameters . . . . . . . . . . . . . . . . . . . . . . 622
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
19 Operator Splitting Methods with Error Estimator and Adaptive
Time-Stepping. Application to the Simulation of Combustion
Phenomena . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
Stéphane Descombes, Max Duarte, and Marc Massot
1 Context and Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 628
2 Splitting Error Estimator and Adaptive Time-stepping . . . . . . . . . . . . . . 630
3 Dedicated Splitting Solver for Stiff PDEs . . . . . . . . . . . . . . . . . . . . . . . . 632
xvi Contents

4 Operator Splitting for Combustion Problems . . . . . . . . . . . . . . . . . . . . . . 635

5 Numerical Illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 638
20 Splitting Methods for Some Nonlinear Wave Problems . . . . . . . . . . . . . 643
Annalisa Quaini and Roland Glowinski
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
2 Application of the Strang’s Symmetrized Operator-Splitting Scheme
to the Solution of Problems (20.1), (20.3) and (20.1), (20.4) . . . . . . . . . 646
2.1 A Brief Discussion on the Strang’s Operator-Splitting Scheme . . 646
2.2 Application to the Solution of the Nonlinear Wave
Problem (20.1), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 648
2.3 Application to the Solution of the Nonlinear Wave
Problem (20.1), (20.4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650
3 On the Numerical Solution of the Sub-initial Value Problems (20.19)
and (20.22) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651
3.1 A Finite Element Method for the Space Discretization
of the Linear Wave Problem (20.23) . . . . . . . . . . . . . . . . . . . . . . . . 652
3.2 A Centered Second Order Finite Difference Scheme
for the Time Discretization of the Initial Value
Problem (20.28) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 653
4 On the Numerical Solution of the Sub-initial Value Problems (20.18)
and (20.20) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
4.1 A Centered Scheme for the Time Discretization of Problem
(20.34) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 655
4.2 On the Dynamical Adaptation of the Time Step σ . . . . . . . . . . . . 656
5 Application of the Strang’s Symmetrized Operator-Splitting Scheme
to the Solution of Problem (20.5), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . 657
6 On the Numerical Solution of the Sub-initial Value Problems (20.47)
and (20.51) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
7 Numerical Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 661
7.1 Numerical Experiments for the Nonlinear Wave Problem
(20.1), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 662
7.2 Numerical Experiments for the Nonlinear Wave Problem
(20.1), (20.4) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 666
7.3 Numerical Experiments for the Nonlinear Wave Problem
(20.5), (20.3) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
21 Operator Splitting Algorithms for Free Surface Flows:
Application to Extrusion Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677
Andrea Bonito, Alexandre Caboussat, and Marco Picasso
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 678
Contents xvii

2 Mathematical Modeling of Newtonian Fluids with Free Surfaces . . . . . 679

2.1 Navier-Stokes System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 679
2.2 Implicit Representation of the Liquid Domain . . . . . . . . . . . . . . . . 680
3 Operator Splitting Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682
3.1 The Lie Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 682
3.2 Application to Free Surface Flows . . . . . . . . . . . . . . . . . . . . . . . . . 683
4 Numerical Approximation of Free Surface Flows . . . . . . . . . . . . . . . . . . 686
4.1 Time Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 686
4.2 Two-Grid Spatial Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
4.3 Numerical Results for Newtonian Flows . . . . . . . . . . . . . . . . . . . . 695
5 Visco-Elastic Flows with Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . 699
5.1 Mathematical Modeling of Visco-Elastic Flows with
Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 699
5.2 Extension of the Operator Splitting Strategy . . . . . . . . . . . . . . . . . 702
5.3 Numerical Results for Visco-Elastic Flows . . . . . . . . . . . . . . . . . . 704
6 Multiphase Flows with Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
6.1 Mathematical Modeling of Multiphase Flows with
Free Surfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 708
6.2 Extension of the Operator Splitting Strategy . . . . . . . . . . . . . . . . . 712
6.3 Numerical Results for Multiphase Flows . . . . . . . . . . . . . . . . . . . . 721
7 Perspectives: Application to Emulsion in Food Engineering . . . . . . . . . 724
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 727
22 An Operator Splitting Approach to the Solution
of Fluid-Structure Interaction Problems in Hemodynamics . . . . . . . . . 731
Martina Bukač, Sunčica Čanić, Boris Muha, and Roland Glowinski
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
2 Model Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 735
2.1 Energy Inequality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 741
2.2 ALE Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742
3 The Splitting Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 744
3.1 Description of the Splitting Scheme . . . . . . . . . . . . . . . . . . . . . . . . 744
3.2 Unconditional Stability of the Splitting Scheme . . . . . . . . . . . . . . 748
4 The Numerical Implementation of the Scheme . . . . . . . . . . . . . . . . . . . . 752
4.1 The Structure Sub-problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 752
4.2 Calculation of the ALE Mapping and ALE Velocity wn+1 . . . . . . 754
4.3 The Fluid Sub-problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 755
5 Numerical Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 756
5.1 Example 1: A 2D Benchmark Problem . . . . . . . . . . . . . . . . . . . . . . 756
5.2 Example 2: A 3D Straight Tube Test Case . . . . . . . . . . . . . . . . . . . 761
5.3 Example 3: A 3D Curved Cylinder . . . . . . . . . . . . . . . . . . . . . . . . . 763
5.4 Example 4: Stenosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 765
6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 768
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769
xviii Contents

23 On Circular Cluster Formation in a Rotating Suspension

of Non-Brownian Settling Particles in a Fully Filled Circular
Cylinder: An Operator Splitting Approach to the Numerical
Simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773
Suchung Hou and Tsorng-Whay Pan
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 774
2 Governing Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 775
3 Time and Space Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
3.1 A First Order Operator-Splitting Scheme:
Lie’s Scheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 778
3.2 Space Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780
3.3 On the Solution of Subproblems (23.37), (23.38), (23.39),
(23.40)–(23.42), and (23.43)–(23.44) . . . . . . . . . . . . . . . . . . . . . . . 782
4 Numerical Experiments and Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . 784
4.1 The Interaction of Two Balls Side by Side Initially . . . . . . . . . . . . 784
4.2 The Effect of the Angular Speed and of the Number
of Particles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 788
4.3 The Cluster Effect on the Fluid Flow Field . . . . . . . . . . . . . . . . . . 793
5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 798
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 800

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 803
Chapter 1
Introduction

Roland Glowinski, Stanley J. Osher, and Wotao Yin

Abstract The main goal of this chapter is to present a brief overview of operator
splitting methods and algorithms when applied to the solution of initial value prob-
lems and optimization problems, topics to be addressed with many more details
in the following chapters of this book. The various splitting algorithms, methods,
and schemes to be considered and discussed include: the Lie scheme, the Strang
symmetrized scheme, the Douglas-Rachford and Peaceman-Rachford alternating
direction methods, the alternating direction method of multipliers (ADMM), and
the split Bregman method. This chapter also contains a brief description of (most
of) the following chapters of this book.

1 Motivation and Background

In December 2012, the three editors of this volume were together in Hong-Kong,
attending a conference honoring one of them (SO). A most striking fact during this
event was the large number of lectures involving, if not fully dedicated to, operator-
splitting methods, split Bregman and ADMM (for Alternating Direction Methods
of Multipliers) algorithms, and their applications. This was not surprising consider-
ing that the title of the conference was Advances in Scientific Computing, Imaging
Science and Optimization. Indeed, for many years, operator-splitting has provided
efficient methods for the numerical solution of a large variety of problems from

R. Glowinski ()
Department of Mathematics, University of Houston, Houston, TX 77204, USA
e-mail: [email protected]
S.J. Osher • W. Yin
Department of Mathematics, UCLA, Los Angeles, CA 90095, USA
e-mail: [email protected]; [email protected]

© Springer International Publishing Switzerland 2016 1

R. Glowinski et al. (eds.), Splitting Methods in Communication, Imaging, Science,
and Engineering, Scientific Computation, DOI 10.1007/978-3-319-41589-5_1
2 R. Glowinski et al.

Mechanics, Physics, Finance, etc. modeled by linear and nonlinear partial differen-
tial equations and inequalities, with new applications appearing almost on a daily
basis. Actually, there are situations where the only working solution methods are
based on operator-splitting (a dramatic example being provided by the numerical
simulation of super-novae explosions). Similarly, split Bregman and ADMM algo-
rithms enjoy now a very high popularity as efficient tools for the fast solution of
problems from the information sciences. Finally, ADMM algorithms have found
applications to the solution of large-scale optimization problems, due to their ability
at taking advantage of those special structures and associated decomposition prop-
erties, which are common in large-scale optimization.
What the three editors observed also was the lack of communications between
the communities and cultures, associated with the ‘vertices’ of the ‘triangle’ PDE
oriented scientific computing - information sciences - optimization (some bridges
do exist fortunately, but it is our opinion that more are needed).
From the various facts above, the three editors came to the conclusion that time
has come to have a multi-author book, with chapters dedicated to the theory, prac-
tice, and applications of operator-splitting, ADMM, and Bregman algorithms and
methods, one of the many goals of this book being also to show the existing com-
monalities between these methods. Another justification of the present volume is
that the number of publications on the above topics with a review flavor are scarce,
the most visible ones being, by chronological order:
1. The 1990 article by G.I. Marchuk in the Volume I of the Handbook of Numerical
Analysis [23]. This book size article (266 pages) is dedicated, mostly, to the
numerical solution of linear and nonlinear time dependent partial differential
equations from Mechanics and Physics, by operator-splitting and alternating
direction methods, making it thus quite focused.
2. The (94 pages) article by R.I. McLachlan, G. Reinout W. Quispel in Acta
Numerica 2002 [24]. Despite the broad appeal of its title, namely Splitting
methods, this long article is mostly focused on the time-discretization of dy-
namical systems, modeled by ordinary differential equations, by (symplectic)
operator-splitting schemes. It ignores for example the contributions of Dou-
glas, Marchuk, Peaceman, Rachford (and of many other contributors to splitting
methods).
3. Distributed optimization and statistical learning via the alternating direction
method of multipliers [1]. This large article (122 pages) appeared in Founda-
tions and Trends’ in Machine Learning; since its publication in 2011 it has been
the most cited article on ADMM methods (2, 678 citations as of November
26, 2015), an evidence of both the popularity of ADMM and of the impor-
tance of this publication. Actually, this article is mostly concerned with finite
dimensional convex problems and ignores applications involving differential
equations and inequalities.
It seemed to us, at the time of the above Hong-Kong conference (and also now),
that a book (necessarily multi-authors), less focused than the above publications,
1 Introduction 3

and blending as much as possible the methods and points of view of the various
splitting sub-communities, will be a useful and welcome tool for the splitting com-
munity at large. It will be useful also for those in search of efficient, modular, and
relatively easy to implement solution methods for complex problems. We are glad
that Springer shared this point of view and that outstanding contributors to this type
of methods accepted contributing to this volume.
In the following sections of this chapter we will give a relatively short com-
mented description of operator-splitting methods and related algorithms, and pro-
vide the historical facts we are aware of. As expected, references will be made to
the following chapters and to many related publications.

2 Lie’s Schemes

According to [5] it is Sophus Lie himself who introduced (in 1875) the first operator-
splitting scheme recorded in history ([21], a reprint of the 1888 edition), in or-
der to solve the following initial value problem (flow in the Dynamical System
community):

dt + (A + B)X = 0, in (0, T ),
dX
(1.1)
X(0) = X0
where in (1.1): A and B are two d × d time-independent matrices, X0 ∈ Rd (or Cd )
and 0 < T ≤ +∞. The solution of problem (1.1) reads as:
X(t) = e−(A+B)t X0 . (1.2)
 t t
n
From the relation limn→+∞ e−B n e−A n = e−(A+B)t , Lie suggested the follow-
ing scheme for the approximate solution of problem (1.1) (with Δ t > 0,t n = nΔ t,
and X n an approximation of X(t n )):

X 0 = X0 ,
(1.3)
X n+1 = e−BΔ t e−AΔ t X n , ∀n ≥ 0.
Since computing the exponential of a matrix is a nontrivial operation, particu-
larly for large values of d, splitting practitioners prefer to use the following (matrix
exponential free) equivalent formulation of scheme (1.3):
X 0 = X0 . (1.4)
1
For n ≥ 0, Xn → X n+ 2 → X n+1 via:
• Solve

dX1
dt + AX1 = 0, in (t n ,t n+1 ),
(1.5)
X1 (t n ) = X n ,
4 R. Glowinski et al.

• and set
1
X n+ 2 = X1 (t n+1 ). (1.6)

• Similarly, solve

dX2
dt + BX2 = 0, in (t n ,t n+1 ),
1 (1.7)
X2 (t n ) = X n+ 2 ,

• and set

X n+1 = X2 (t n+1 ). (1.8)

From its equivalent formulation (1.4)–(1.8), one understands better now why the
Lie scheme (1.3) is known as a fractional-step time discretization scheme. It is in
fact the common ancestor to all the fractional-step and operator-splitting schemes.
One can easily show that the Lie scheme (1.3), (1.4)–(1.8) is generically first order
accurate, that is, X n − X(t n) = O(Δ t). If A and B commute the above scheme is
obviously exact. Its generalization to splitting with more than two operators is dis-
cussed in Chapter 2. The generalization to nonlinear and/or non-autonomous initial
value problems is very simple (formally at least). Indeed, let us consider the follow-
ing initial value problem:

dt + A(X,t) = 0, in (0, T ),
dX
(1.9)
X(0) = X0 ,

with A(X,t) = A1 (X,t) + A2 (X,t), A1 and A2 being possibly nonlinear. Introducing

α1 , α2 such that 0 ≤ α1 , α2 ≤ 1, α1 + α2 = 1, we can generalize scheme (1.4)–(1.8)
as follows:
X 0 = X0 . (1.10)
1
For n ≥ 0, X n → X n+ 2 → X n+1 via:
For j = 1, 2, solve:
 dX
j−1
dt + A j (X j ,t + (∑k=1 αk )Δ t + α j (t − t )) = 0, in (t ,t ),
j n n n n+1
j−1 (1.11)
X j (t n ) = X n+ 2 ,

and set
j
X n+ 2 = X j (t n+1 ). (1.12)
Assuming that the operator A j are smooth enough, the generalized Lie scheme
(1.10)–(1.12) is generically first order accurate at best. As shown in the follow-
ing chapters, problem (1.9) is, despite its simplicity, a model for a large number of
important applications: For example, it models the flow (in the dynamical system
sense) associated with the optimality conditions of an optimization problem (= 0
being possibly replaced by  0).
1 Introduction 5

3 On the Strang Symmetrized Operator-Splitting Scheme

Motivated by the accurate solution of hyperbolic problems, G. Strang introduced in

[30] a second order variant of the Lie scheme, based on a symmetrization principle.
Let Δ t(> 0) be a time-discretization step. We can easily show that
Δt Δt
e−(A+B)Δ t − e−A 2 e−BΔ t e−A 2 = O(Δ t 3 ),

implying that the (symmetrized) scheme


X 0 = X0 ,
Δt Δt (1.13)
X n+1 = e−A 2 e−BΔ t e−A 2 X n , ∀n ≥ 0,

is second order accurate (and exact if AB = BA). Scheme (1.13) can be generalized
1
as follows in order to solve the initial value problem (1.9) (with t n+ 2 = (n + 12 )Δ t):

X 0 = X0 . (1.14)
1 1
For n ≥ 0, X n → X n+ 2 → X̂ n+ 2 → X n+1 via
• Solve
 1
dX1
dt + A1 (X1 ,t) = 0, in (t n ,t n+ 2 ),
(1.15)
X1 (t n ) = X n ,

• and set
1 1
X n+ 2 = X1 (t n+ 2 ). (1.16)

• Similarly, solve
 1
dX2
dt + A2 (X2 ,t n+ 2 ) = 0, in (0, Δ t),
1 (1.17)
X2 (0) = X n+ 2 ,

• and set
1
X̂ n+ 2 = X2 (Δ t). (1.18)

• Finally, solve
 1
dX1
dt+ A1 (X1 ,t) = 0, in (t n+ 2 ,t n+1 ),
1 1 (1.19)
X1 (t n+ 2 ) = X̂ n+ 2 ,

• and set

X n+1 = X1 (t n+1 ). (1.20)

6 R. Glowinski et al.

Generalizing scheme (1.14)–(1.20) to decompositions of A involving more than

two operators is easy: Indeed, suppose that A = A1 + A2 + A3 ; we can trivially
return to two operator situations by observing that we have the choice between
A = A1 + (A2 + A3 ), A = (A1 + A2 ) + A3 and A = (A1 + 12 A2 ) + ( 12 A2 + A3 ), other
decompositions being possible. The same idea applies for more than three oper-
ators. If the operators in (1.14)–(1.20) have the right regularity and monotonicity
properties, the above symmetrized scheme is second order accurate and uncondi-
tionally stable (it is even A - stable), making it very popular in the computational
partial differential equations community. For those situations requiring an order of
accuracy higher than two, several options do exist, the best known being:
1. The 4th order Strang-Richardson scheme discussed in [8, 6, 7].
2. The exponential operator-splitting schemes. Actually, the Lie and Strang split-
ting schemes belong to this family of time discretization methods, whose origin
(concerning schemes of order higher than two) is not easy to track back, early
significant publications being [28, 29] (see also the references therein and those
in [31], and Google Scholar). Arbitrary high accuracy can be obtained with
these methods, the price to pay being their reduced stability and robustness
(compared to the Strang scheme, for example).
We will return to these higher order schemes in Chapter 2.

4 On the Solution of the Sub-initial Value Problems

The various splitting schemes we encountered so far are generically known (for
obvious reasons) as multiplicative splitting schemes. Actually, these schemes are
only semi-constructive, in the sense that one still has to specify how to solve in
practice the various sub-initial value problems they produce. For a low order scheme
like the Lie scheme a very popular way to proceed is to solve the sub-initial value
problems using just one step of the backward Euler scheme; applying this strategy
to problem (1.9), with A(X,t) = ∑Jj=1 A j (X,t), one obtains the following scheme

X 0 = X0 . (1.21)
1 j J−1
For n ≥ 0, X n → X n+ J → . . . → X n+ J → . . . → X n+ J → X n+1 via:
∀ j = 1, . . . , J, solve
j j−1
X n+ J − X n+ J j
+ A j (X n+ J ,t n+1 ) = 0. (1.22)
Δt
Scheme (1.21)–(1.22) (known by some practitioners as the Marchuk-Yanenko
operator-splitting scheme) is first order accurate, at most, however, its robustness
and simplicity make it popular for the solution of complicated problems with
poorly differentiable solutions involving a large number of operators. Actually,
scheme (1.21)–(1.22) can accommodate easily non-smooth, possibly multi-valued,
operators.
1 Introduction 7

The practical implementation of the Strang symmetrized scheme will be dis-

cussed in Chapter 2.

5 Further Comments on Multiplicative Operator-Splitting

Schemes

We will conclude these generalities on multiplicative operator-splitting methods by

mentioning their following drawback: Due to splitting errors, these methods are
asymptotically inconsistent. What we mean by that is that when applied to the com-
putation of steady state solutions (assuming that such solutions exist), they converge
to limits, which are not steady state solutions, but just approximations of them.
Typically, if the operator-splitting scheme one employs is k-order accurate, the dis-
tance of the computed steady state solutions to the exact ones is O(|Δ t|k ). One can
reduce this splitting-error, via an appropriate averaging for example. Actually, in
Chapter 3 of this book, S. MacNamara and G. Strang show how to modify the Strang
symmetrized operator-splitting scheme in order to recover exact steady state solu-
tions. Another way to combine exact steady state solutions and the operator-splitting
paradigm is to use schemes such as Peaceman-Rachford’s and Douglas-Rachford’s,
that is ADI (for Alternating Direction Implicit) type methods. These schemes will
be discussed in Section 6, below.

6 On ADI Methods

To the best of our knowledge, J. Douglas, D. Peaceman and H. Rachford introduced

ADI methods about 60 years ago (to know more about their inception, see the 2006
SIAM News article by A. Usadi and C. Dawson [33] on the Celebration at Rice
University of 50 Years of ADI Methods). The founding publications, namely [27]
and [9], concern the numerical solution of elliptic and parabolic equations such as
the time dependent and stationary heat equations. However, one quickly realized
that these schemes apply also to situations that are more general. Taking advan-
tage of these generalizations, our starting point will be the following initial value
problem:

dt + A1 (X,t) + A2 (X,t) = 0, in (0, T ),
dX
(1.23)
X(0) = X0 ,

where A1 and A2 operate, possibly, on an infinite dimensional space, and 0 < T ≤

+∞. With Δ t(> 0) a time-discretization step, we denote (n + α )Δ t by t n+α , and
by X n+α an approximation of X(t n+α ). The idea behind the Peaceman-Rachford
scheme is quite simple: An approximation X n of X(t n ) being known, one computes
8 R. Glowinski et al.

X n+1 using a scheme of the backward (resp., forward) Euler type with respect to
1
A1 (resp., A2 ) on the time interval [t n ,t n+ 2 ]. Then, one switches the roles of A1
and A2 on the time interval [t n+1/2 ,t ]. The following scheme realizes this pro-
n+1

gram:
X 0 = X0 . (1.24)
1
For n ≥ 0, X n → X n+ 2 → X n+1 as follows:
Solve
1
X n+ 2 − X n 1 1
+ A1 (X n+ 2 ,t n+ 2 ) + A2(X n ,t n ) = 0, (1.25)
Δ t/2
and
1
X n+1 − X n+ 2 1 1
+ A1 (X n+ 2 ,t n+ 2 ) + A2 (X n+1 ,t n+1 ) = 0. (1.26)
Δ t/2
In the particular case where A1 and A2 are linear and time independent linear opera-
tors which commute, the Peaceman-Rachford scheme (1.24)–(1.26) is second order
accurate; it is at best first order accurate in general. The convergence of the above
scheme has been proved in [22] and [18] under quite general monotonicity hypothe-
ses concerning the operators A1 and A2 (see also [10, 11], and [20]); indeed, A1 and
A2 can be nonlinear, unbounded, and even multivalued (if this is the case  0 has to
replace = 0 in (1.25) and/or (1.26)).
Remark 1. For those fairly common situations where A2 is a smooth univalued op-
erator, but operator A1 is a ‘nasty’ one (discontinuous and/or multivalued, etc.), one
should use the equivalent formulation of the Peaceman-Rachford scheme obtained
by replacing (1.26) by

1
X n+1 − 2X n+ 2 + X n
+ A2(X n+1 ,t n+1 ) = A2 (X n ,t n ). (1.27)
Δ t/2

Further comments and remarks concerning scheme (1.24)–(1.26) may be found

in [14, 16] (see also the references therein and various chapters of this book,
Chapter 2 in particular). Actually, several of these comments concern the frac-
tional θ -scheme, a scheme introduced in the mid-eighties for the numerical solu-
tion of the Navier-Stokes equations modeling incompressible viscous flow [13, 14].
This scheme, which is a three sub-interval variant of the Peaceman-Rachford
scheme (1.24)–(1.26) will be discussed in Chapter 2.
A classical alternative to the Peaceman-Rachford scheme (1.24)–(1.26) is the
Douglas-Rachford scheme introduced in [9]. Applied to the solution of the initial
value problem (1.23), the Douglas-Rachford scheme reads as follows:

X 0 = X0 . (1.28)
1 Introduction 9

For n ≥ 0, X n → X̂ n+1 → X n+1 as follows:

Solve
X̂ n+1 − X n
+ A1 (X̂ n+1 ,t n+1 ) + A2 (X n ,t n ) = 0, (1.29)
Δt
and
X n+1 − X n
+ A1 (X̂ n+1 ,t n+1 ) + A2(X n+1 ,t n+1 ) = 0. (1.30)
Δt
The convergence of the above scheme has been proved in [22] and [18] under
quite general monotonicity hypotheses concerning the operators A1 and A2 (see
also [10, 11], and [20]); indeed, A1 and A2 can be nonlinear, unbounded, and even
multivalued (if this is the case  0 has to replace = 0 in (1.28) and/or (1.30)). As
shown in, e.g., Chapter 2 the Douglas-Rachford scheme (1.28)–(1.30) is generi-
cally first order accurate at best, a prediction supported by the results of various
numerical experiments. In order to improve the accuracy of the Douglas-Rachford
scheme (1.28)–(1.30), J. Douglas & S. Kim introduced in the late 90s–early 2000s
[33], a Crank-Nicolson based variant of the above scheme; we will briefly discuss
the Douglas-Kim scheme in Chapter 2 (the price to pay for the improved accuracy
is a loss of robustness).

Remark 2. For obvious reasons the Douglas-Rachford scheme (1.28)–(1.30) is

known as an additive operator-splitting scheme. The same terminology applies also
to the Peaceman-Rachford scheme (1.24)–(1.26).

Remark 3. Unlike the Peaceman-Rachford scheme (1.24)–(1.26), the Douglas-

Rachford scheme (1.28)–(1.30) can be generalized to decompositions A = ∑Jj=1 A j
involving more than two operators (see Section 2.5 of Chapter 2 for details and re-
lated references). Actually, the above observation applies also to the Douglas-Kim
scheme.

Remark 4. This is the Douglas-Rachford analogue of Remark 1: For those situations

where A1 is a ‘bad’ operator (in the sense of Remark 1), we should use (assuming
that A2 is univalued) the equivalent formulation of the Douglas-Rachford scheme
obtained by replacing (1.26) by

X n+1 − X̂ n+1
+ A2 (X n+1 ,t n+1 ) = A2 (X n ,t n ). (1.31)
Δt
Remark 5. At those wondering how to choose between Peaceman-Rachford and
Douglas-Rachford schemes we will say that on the basis of many numerical experi-
ments, it seems that the second scheme is more robust and faster for those situations
where one of the operators is non-smooth (multivalued or singular, for example),
particularly if one is interested at capturing steady state solutions. We will give a
(kind of) justification in Chapter 2, based on the inspection of some simple particu-
lar cases.
10 R. Glowinski et al.

Remark 6. Optimization algorithms and ADI methods did not interact that much
for many years. The situation started changing when in the mid-1970s unex-
pected relationships between some augmented Lagrangian algorithms and the
Douglas-Rachford scheme (1.28)–(1.30) were identified (they have been reported in
Chapter 2, Section 3, and Chapter 8, Section 1, of this volume). This discovery lead
to what is called now the Alternating Direction Methods of Multipliers (ADMM),
and was known as ALG2 at the time. Although the problems leading to ADMM
were partial differential equations or inequalities related, this family of algorithms
has found applications outside the realm of differential operators, as shown by [1]
and several chapters of this book. Further details on the ‘birth’ of ADMM can be
found in [15] and the Chapter 4 of [16].
The above remark is a natural introduction to the more detailed discussion, below,
on the role of operator-splitting methods in Optimization.

7 Operator Splitting in Optimization

Several chapters of this book study operator splitting methods for solving optimiza-
tion problems in (non-PDE related) signal processing, imaging, statistical and ma-
chine learning, as well as those defined on a network that require decentralized com-
puting. They cover a large variety of problems and applications. The optimization
problems considered in these chapters include both constrained and unconstrained
problems, smooth and nonsmooth functionals, as well as convex and nonconvex
functionals.
Operator splitting methods are remarkably powerful since they break numeri-
cally inconvenient combinations, such as smooth + nonsmooth functionals, smooth
functionals + constraints, functionals of local variables + functionals of the shared
global variable, and convex + nonconvex functionals, in a problem and place them
in separate subproblems. It also breaks a sum of functionals that involve different
parts of the input data into subproblems so that they can be solved with less amounts
of memory. These features are especially important to the modern applications that
routinely process a large amount of data.
Operator splitting methods appear in optimization in a variety of different spe-
cial forms, and thus under different names, such as gradient-projection, proximal-
gradient, alternating-direction, split Bregman [19], and primal-dual splitting meth-
ods. All of them have strong connections (often as special cases) of the forward-
backward, Douglas-Rachford, and Peaceman-Rachford splitting methods. Recently,
their applications in optimization have significantly increased because of the emerg-
ing need to analyze massive amounts of data in a fast, distributed, and even stream-
ing manner.
A common technique in data analysis is sparse optimization, a new subfield of
optimization. Sparse here means simple structures in the solutions — a generaliza-
tion from its literal meaning of having very few nonzero elements. Owing much
Exploring the Variety of Random
Documents with Different Content
 La France du sud-ouest envahit la France du
Nord 158

Armagnac, beau-père du duc d'Orléans 169

1411 (1er sept.). Jean-sans-Peur appelle les Anglais

contre les Armagnacs et assiège Bourges 171
1412 (18 mai). Le parti d'Orléans et Armagnac
appelle les Anglais 172

(14 juill.). Jean-sans-Peur obligé de traiter; paix

de Bourges 173

Impuissance des deux partis 174

Chapitre III. Essais de réforme dans l'État et dans

l'Église.—Cabochiens de Paris; grande ordonnance.—
Concile de Pise (1409-1415) 177
1413 (30 janv.). Le duc de Bourgogne assemble les
États inutilement. Le Parlement se récuse 179
L'Université entreprend la réforme de l'État 182
(28 avril). La Bastille assiégée par le peuple 186
Puissance des bouchers 187
Ils veulent réformer d'abord la famille royale, le
dauphin 189
Ils se font livrer les courtisans du dauphin 191

Tyrannie des écorcheurs 195

(22 mai). Nouvel enlèvement des seigneurs et
courtisans 200
 (25 mai). Promulgation de la grande ordonnance
de réforme ibid.
Quels en ont été les auteurs? 203
(Mai-juillet). Gouvernement violent des
cabochiens, emprunt forcé, etc. 209
(21 juill.). Réaction 211

(5 sept.). L'ordonnance annulée 214

1414 (10 févr.). Le duc de Bourgogne déclaré rebelle
215
(4 sept.). Siège, traité d'Arras; la réaction convaincue
d'impuissance à son tour ibid.
1415 (5 janv.). Sermon de Gerson contre le
gouvernement populaire. 216
Affaires ecclésiastiques; livre de Clémengis sur la
Corruption de l'Église 218
1409. Inutilité du concile de Pise 223
Pauvreté intellectuelle de l'époque 226

LIVRE IX.

Chapitre Ier. L'Angleterre, l'État, l'Église.—Azincourt

(1415) 229
Étroite union de la Royauté et de l'Église sous la
maison de Lancastre ibid.
L'Église comme grand propriétaire 230
Élévation des Lancastre: Henri IV, Henri V 231
 Persécutions des hérétiques. 235
1414-1415. Danger du roi et de l'Église ibid.
1415 (16 avril). Henri V se prépare à envahir la
France 240
(14 août-22 sept.). Il débarque à Harfleur;
Harfleur se rend. 244
Henri V entreprend d'aller d'Harfleur à Calais 247
(19 oct.). Il parvient à passer la Somme 252

(25 oct.). Bataille d'Azincourt 255

Captivité de Charles d'Orléans; ses poésies 266

Chapitre II. Mort du connétable d'Armagnac, mort du

duc de Bourgogne.—Henri V (1416-1421) 270
Armagnac, connétable et maître de Paris; sa
tyrannie 271
1416. Il essaye de reprendre Harfleur 272
1417. Le duc de Bourgogne défend de payer l'impôt
275
Henri V s'empare de Caen et de la basse
Normandie ibid.
1418 (29 mai). Les Bourguignons reprennent Paris
278
(12 juin). Massacre des Armagnacs 279

(21 août). Nouveau massacre 281

 Duplicité et impuissance du duc de Bourgogne
282
Négociations d'Henri V avec les deux partis 284

(Fin juin). Il assiège Rouen 286

Détresse de cette ville 288
1419 (19 janv.). Elle se rend 292
Coopération des évêques anglais à la conquête
293
Projets gigantesques d'Henri V sur l'Italie, etc.
294
(11 juill.). Le duc de Bourgogne traite avec le
dauphin 296
(10 sept.). Il est assassiné dans l'entrevue de
Montereau 299
(2 décemb.). Son fils reconnaît le droit d'Henri V
à la couronne de France 300

1420 (21 mai). Traité de Troyes; Henri héritier et

régent 302

(Juill.-nov.). Siège de Melun 304

(Déc). Entrée d'Henri V à Paris 305
1421 (3 janv.). Le dauphin est déclaré déchu de ses
droits à la couronne 306

Chapitre III. Suite du précédent.—Concile de

Constance (1414-1418).—Mort d'Henri V et de
Charles VI (1422) 307
 Henri V au Louvre; sa suprématie dans la
chrétienté ibid.
1414-1418. Affaires ecclésiastiques: Concile de
Constance 309
Vues de Gerson et des gallicans 310
Jean Huss et Jérôme de Prague 311

1418. Impuissance du Concile; retraite et fin de

Gerson 317

Quelle avait été l'influence de l'Angleterre dans le

Concile 319
Position difficile d'Henri; ses embarras financiers;
domination des évêques 320
1421 (23 mars). Les Anglais défaits en Anjou 325
1421-1412 (6 oct.-10 mai). Siège de Meaux 326
Mésintelligence des Anglais et des Bourguignons
327
1422 (31 août). Détresse d'Henri V, son
découragement, sa mort 330
(21 oct.). Mort de Charles VI; avènement de
Charles VII et d'Henri VI 334
1418-1422. Dépopulation; épidémies, famines;
désespoir 336
Gaieté frénétique 339

La danse des morts 341

Appendice 347

È
 FIN DE LA TABLE DU TOME QUATRIÈME.

IMPRIMERIE E. FLAMMARION, 26, RUE RACINE, PARIS.

 Notes

1: Moderne, c'est-à-dire renouvelée alors récemment. Les anciens

avaient eu aussi des devises. App. 1.

2: App. 2.

3: L'obésité est un caractère des figures de cette sensuelle époque.

Voir les statues de Saint-Denis; celles du quatorzième siècle sont
visiblement des portraits. Voir surtout la statue du duc de Berri dans
la chapelle souterraine de Bourges, avec l'ignoble chien gras qui est
à ses pieds.

4: «Les dames et demoiselles menoient grands et excessifs estats,

et cornes merveilleuses, hautes et larges; et avoient de chacun
costé, au lieu de bourlées, deux grandes oreilles si larges que quand
elles vouloient passor l'huis d'une chambre, il falloit qu'elles se
tournassent de costé et baissassent.» (Juvénal des Ursins.)—«Quid
de cornibus et caudis loquar?... Adde quod in effigie cornutæ
fœminæ Diabolus plerumque pingitur.» (Clémengis.)

5: Voir plus bas l'entrée de la reine Isabeau.

6: App. 3.

7: App. 4.

8: App. 5.

9: Michael Drayton's, The miseries of Queen Margaret.

10: Religieux de Saint-Denis.

11: Par la mort de la reine Jeanne, femme de Philippe-le-Bel.

12: Pour les appels, sans parler de l'influence indirecte des juges
royaux.

13: Pendant que son frère expirait, le duc d'Anjou s'était tenu caché
dans une chambre voisine, puis il avait fait main basse sur tous les
meubles, toute la vaisselle, tous les joyaux.—On disait que le feu roi
avait fait sceller des barres d'or et d'argent dans les murs du château
de Melun, et que les maçons employés à ce travail avaient ensuite
disparu. Le trésorier avait juré de garder le secret. Le duc d'Anjou,
n'en pouvant rien tirer, fit venir le bourreau: «Coupe la tête à cet
homme», lui dit-il. Le trésorier indiqua la place.

14: Religieux de Saint-Denis.

15: Les trois oncles de Charles VI étaient tout aussi ambitieux et

avares que les oncles de Richard II. Il leur fallait aussi des
couronnes. En France même, le trône pouvait vaquer. Les jeunes
enfants du maladif Charles V pouvaient suivre leur père. La devise
du duc de Berri, telle qu'on la lisait dans sa belle chapelle de
Bourges, indiquait assez ces vagues espérances: «Oursine, le temps
venra!» App. 6.

16: Maints débiteurs profitèrent du tumulte pour faire enlever chez

leurs créanciers les titres de leurs obligations. (Religieux.)

17: «Teterrimos carceres composuerat, uni Claustri Brunelli, alteri

Vici Straminum adaptans nomina». (Idem.)

18: Religieux de Saint-Denis.

19: «Quibusdam ex potentioribus urbibus... Potius mori optamus

quam leventur.» (Religieux.).
20: App. 7.

21: App. 8.

22: Ils tuèrent ainsi un écuyer écossais, après l'avoir couronné de

fer rouge, et un religieux de la Trinité, qu'ils traversèrent de part en
part d'une broche de fer. Le lendemain, ayant pris un prêtre qui allait
à la cour de Rome, ils lui coupèrent le bout des doigts, lui enlevèrent
la peau de sa tonsure et le brûlèrent.

23: App. 9.

24: On trouva, dit-on, au pillage de Courtrai des lettres de bourgeois

de Paris qui établissaient leurs intelligences avec les Flamands. Voy.
aussi App. 18.—App. 10.

25: App. 11.

26: App. 12.

27: App. 13.

28: App. 14.

29: App. 15.

30: Le Religieux de Saint-Denis prétend que cette armée montait à

plus de cent mille hommes. Ce fut un seul fournisseur, un bourgeois
de Paris, Nicolas Boulard, qui se chargea d'approvisionner pour
quatre mois le marché qui se tenait au camp.

31: Les Gantais avaient demandé du secours aux Anglais; mais, de

crainte qu'on ne voulût leur faire payer ce secours, ils réclamèrent
les sommes que la Flandre avait autrefois prêtées à Édouard III. Ils
n'eurent ni secours ni argent. App. 16.

32: App. 17.

33: App. 18.

34: «... Quasi leoninam civium superbiam conculcarent...»

(Religieux de Saint-Denis.)

35: Cette exagération prouve seulement l'idée qu'on se formait déjà

de la population de cette grande ville. (Religieux de Saint-Denis.)

36: Le lundi qui suivit la rentrée du roi, on exécuta un orfèvre et un

marchand de drap, plusieurs autres dans la quinzaine suivante,
parmi lesquels Nicolas le Flamand, un des amis d'Étienne Marcel, qui
avait assisté au meurtre de Robert de Clermont.

37: On prétend qu'à sa mort il refusa de dire merci au roi, et dit

seulement merci à Dieu. Il était l'auteur d'un Recueil de décisions
notoires, établies par enquestes, par tourbes, de 1300 à 1387.

38: App. 19.

39: App. 20.

40: «Nec inde regale ærarium datatum est.» (Religieux.)

41: App. 21.

42: «La jeune dame, en estant debout, se tenoit coie et ne mouvoit

ni cil ni bouche; et aussi à ce jour ne savoit point de françois.»
(Froissart.)

43: App. 22.

44: Knyghton, Walsingham.

45: App. 23.

46:
 ... And Ocean, 'mid his uproar wild,
Speaks safety to his island child.

«L'Océan qui la garde, en son rauque murmure, dit amour et salut à

son île, à son enfant!» (Coleridge.)

47: Le sire de Laval dit au duc de Bretagne: «Il n'y auroit en

Bretagne chevalier ni écuyer, cité, chastel ni bonne ville, ni homme
nul, qui ne vous haït à mort et ne mît peine à vous déshériter. Ni le
roi d'Angleterre ni son conseil ne vous en sauroient nul gré. Vous
voulez-vous perdre pour la vie d'un homme?» (Froissart.)

48: Et plus à gagner: «Plus est riche et puissant le duc de

Bourgogne, tant y vaut la guerre mieulx... Pour une buffe que je
recevrai, j'en donnerai six.» (Froissart.)

49: On renvoya, il est vrai, le plus grand nombre comme impropre

au service. Le même Nicolas Boulard, dont nous avons parlé,
pourvut aux approvisionnements. App. 24.

50: App. 25.

51: Une expédition sollicitée par les Génois et commandée par le

duc de Bourbon alla échouer en Afrique (1390). Le comte
d'Armagnac, ramassant tous les soldats qui pillaient la France, passa
les Alpes, attaqua les Visconti et se fit prendre (1391). Le roi lui-
même projetait une croisade d'Italie; il aurait établi le jeune Louis
d'Anjou à Naples, et terminé le schisme par la prise de Rome.

52: App. 26.

53: Le Religieux.

54: «Non nisi usque ad colli summitatem peregerunt.» (Religieux.).

55: App. 27.

56: «Ad templi similitudinem.» (Religieux.)

57: App. 28.

58: App. 29.

59: «En eut le roy plusieurs coups et horions sur les espaules bien
assez. Et au soir, en la présence des dames et damoiselles, fut la
chose sçue et récitée, et le roy mesme se farçoit des horions qu'il
avoit reçus.» (Grandes chroniques de Saint-Denis.)

60: Ce mariage eut de grandes conséquences qu'on verra plus tard.

Elle apporta Asti en dot, avec 450,000 florins. (Archives.)

61: Le Religieux.

62: App. 30.

63: «Quoiqu'ils fussent logés de lez le pape et les cardinaux, si ne

se pouvoient-ils tenir... que toute nuit ils ne fassent en danses, en
caroles et en esbattements avec les dames et damoiselles d'Avignon,
et leur administroit leurs reviaux (fêtes) le comte de Genève, lequel
étoit frère du pape.» (Froissart.)

64: Selon le bénédictin de Saint-Denis, on soupçonna généralement

les Dominicains.

65: «Et leur donnoit anals d'or et fermaillets (agrafes) à

chascune...» (Froissart.)

66:... Sauf une jarretière d'autre couleur au bras... (Ordonnances.)

67: Saint-Jacques était le Saint-Denis, le Westminster des confréries;

l'ambition des bouchers, des armuriers, était d'y être enterré. Le
premier bienfaiteur de cette église fut une teinturière. Les bouchers
l'enrichirent. Ces hommes rudes aimaient leur église. Nous voyons
par les chartes que le boucher Alain y acheta une lucarne pour voir
la messe de chez lui; le boucher Haussecul acquit à grand prix une
clef de l'église.—Cette église était fort indépendante, entre Notre-
Dame et Saint-Martin, qui se la disputaient. C'était un redoutable
asile que l'on n'eût pas violé impunément. Voilà pourquoi le rusé
Flamel, écrivain non juré, non autorisé de l'Université, s'établit à
l'ombre de Saint-Jacques. Il put y être protégé par le curé du temps,
homme considérable, greffier du Parlement, qui avait cette cure sans
même être prêtre (voir les Lettres de Clémengis). Flamel se tint là
trente ans dans une échoppe de cinq pieds sur trois, et il s'y aida si
bien de travail, de savoir-faire, d'industrie souterraine, qu'à sa mort il
fallut, pour contenir les titres de ses biens, un coffre plus grand que
l'échoppe. App. 31.

68: App. 32.

69: App. 33.

70: Il avait perdu un œil à la bataille d'Auray, en 1364.

71: Le duc de Berri lui dit un jour: «Méchant traître, c'est toi qui as
causé la mort de notre frère.» Et il donna ordre de l'arrêter, mais
personne n'obéit. (Religieux.)

72: Ils ne tardèrent pas à obtenir la grâce de Craon (13 mars 1395).
App. 34.

73: Nous suivons pas à pas le Religieux de Saint-Denis. Ce grave

historien mérite ici d'autant plus d'attention qu'il était lui-même à
l'armée et témoin oculaire des événements.

74: Il venait d'épouser la fille du duc de Milan, qui avait une

couleuvre dans ses armes.

75: App. 35.

76: On était loin de s'attendre à un traitement si humain. Les

Parisiens allaient tous les jours à la Grève, dans l'espoir de les voir
pendre.

77: L'inventeur de la mascarade fut un des brûlés, à la grande joie

du peuple. Il avait toujours traité les pauvres gens avec la plus
cruelle insolence. Il les battait comme des chiens, les forçait
d'aboyer, les foulait aux pieds avec ses éperons. Quand son corps
passa dans Paris, plusieurs crièrent après lui son mot ordinaire:
«Aboie, chien!» (Religieux.)

78: On fut obligé de murer toutes les entrées de l'hôtel Saint-Paul.

App. 36.

79: On expliquait aussi par un talisman l'influence de Diane de

Poitiers sur Henri II. (Guilbert.)

80: Voir ses belles paroles, à ce sujet, dans son Instruction à son
fils: «Chier fils, je t'enseigne que les guerres et les contens qui
seront en ta terre, ou entre tes homes, que tu metes peine de
l'apaiser à ton pouvoir; car c'est une chose qui moult plest à Notre-
Seigneur: et messire saint Martin nous a donné moult grant
exemple, car il ala pour metre pès entre les clers qui estoient en sa
archevêché, au tems qu'il savoit par Notre-Seigneur que il devoit
mourir; et li sembla que il metoit bone fin en sa vie en ce fere.»

81: App. 37.

82: App. 38.

83: La jeune Isabelle avait sept ans. Richard assura qu'il en était
épris sur la vue de son portrait.

84: App. 39.

85: App. 40.

86: Nous analyserons plus tard le terrible pamphlet de Clémengis.

87: App. 41.

88: Le Religieux.

89: Le Religieux.

90: Idem.

91: App. 42.

92: App. 43.

93: «L'Amorath parla au comte de Nevers par la bouche d'un latinier

qui transportoit la parole.» (Froissart.)

94: Shakespeare n'exagère rien dans la scène où le père court

dénoncer son fils à l'usurpateur qu'il vient lui-même de combattre.
Cette scène, d'un comique horrible, n'exprime que trop fidèlement la
mobile loyauté de ce temps si prompt à se passionner pour les forts.
Peut-être aussi faut-il y reconnaître la facilité qu'on acquérait, parmi
tant de serments divers, de se mentir à soi-même et de tourner son
hypocrisie en un fanatisme farouche. Dans tout ceci, Shakespeare
est aussi grand historien que Tacite. Mais lorsque Froissart montre le
chien même du roi Richard qui laisse son maître et vient faire fête au
vainqueur, il n'est pas moins tragique que Shakespeare.

95: L'Église eut au fond la part principale dans cette révolution. La

maison de Lancastre, qui avait d'abord soutenu Wicleff et les
lollards, se concilia ensuite les évêques et réussit par eux. Turner
seul a bien compris ceci.

96: «Leur coustume d'Angleterre est que, quand ils sont au-dessus
de la bataille, ils ne tuent riens, et par espécial du peuple, car ils
connoissent que chacun quiert leur complaire, parce qu'ils sont les
plus forts.» (Comines.)

97: App. 44.

98: App. 45.

99: App. 46.

100: App. 47.

101: App. 48.

102: App. 49.

103: App. 50.

104: App. 51.

105: Le Religieux.

106: Les cartes étaient connues avant Charles VI, mais peu en
usage. App. 52.

107: App. 53.

108: App. 54.

109: «Si nous rêvions toutes les nuits la même chose, elle nous
affecteroit peut-être autant que les objets que nous voyons tous les
jours. Et si un artisan étoit sûr de rêver toutes les nuits douze
heures durant qu'il est roi, je crois qu'il seroit presque aussi heureux
qu'un roi qui rêveroit toutes les nuits douze heures qu'il est artisan.»
(Pascal.)

110: App. 55.

111: «Si on me presse de dire pourquoy je l'aymois, je sens que

cela ne se peut exprimer qu'en respondant: Parceque c'estoit luy,
parceque c'estoit moy.» (Montaigne.)

112: Louis d'Orléans était poète aussi, s'il est vrai qu'il avait célébré
dans des vers les secrètes beautés de la duchesse de Bourgogne.
(Barante.)

113: App. 56.

114: L'éducation d'un jeune chevalier par les femmes est l'invariable
sujet des romans ou histoires romanesques du quinzième siècle.
App. 57.

115:

Quan la doss aura venta

Deves vostre pais,
M'es veiaire que senta
Odor de Paradis.

«Quand le doux zéphyr souffle de votre pays, ô ma Dame, il me

semble que je sens une odeur de Paradis.» (Bernard de Ventadour.)

116: Christine de Pisan semble avoir commencé la suite des femmes

de lettres, pauvres et laborieuses, qui ont nourri leur famille du
produit de leur plume. App. 58.

117: App. 59.

118: Le Religieux de Saint-Denis ajoute toutefois que, quoiqu'il

parlât peu, il avait de l'esprit; ses yeux étaient intelligents. Il en
existe un portrait fort ancien au musée de Versailles et au château
d'Eu. Il est en prières, déjà vieux, les chaires molles, l'air bonasse et
vulgaire. Christine l'appelle en 1404: «Prince de toute bonté,
salvable, juste, saige, bénigne, douls et de toute bonne meurs.»

119: App. 60.

120: Voy. 1402 et les projets du parti d'Orléans, 1411.

121: Au témoignage de Charles-le-Téméraire. (Gachard.)

122: App. 61.

123: App. 62.

124: «Mon pays de Bourgoigne n'a point d'argent; il sent la

France.» Mot de Charles-le-Téméraire. (Gachard.)

125: Voy. au tome III, livre VI, chap. I, les étranges promesses par
lesquelles les Anglais s'efforçaient de les attirer...

126: App. 63.

127: La misère força peut-être Craon à cet acte monstrueux

d'ingratitude. Il avait dû la grâce de son premier crime aux prières
de la jeune Isabelle de France, épouse de Richard II. Voy. App. 34.

128: De plus, il emmena avec lui le duc et ses deux frères.—Lorsque

le jeune duc de Bretagne retourna chez lui, on lui donna, non
seulement le comté d'Évreux, mais la ville royale de Saint-Malo, l'un
des plus précieux fleurons de la couronne de France. Il n'en resta
pas moins à moitié Anglais; son frère Arthur tenait le comté de
Richemont du roi d'Angleterre.

129: App. 64.

130: Monstrelet.

131: Monstrelet.—Quant à Isabelle de France, il récriminait d'une

manière toute satirique: «Plût à Dieu que vous n'eussiez fait rigueur,
cruauté ni vilenie envers nulle dame ni damoiselle, non plus qu'avons
fait envers elle; nous croyons que vous en vaudriez mieux.»

132: App. 65.

133: App. 66.

134: C'était le temps de la révolte des Percy.

135: C'étaient les Bretons de Clisson, conduits par Guillaume

Duchâtel.
136: Rymer.

137: Le comte de Clermont, très jeune encore, était le chef nominal

de cette armée.

138: Le Religieux dit qu'il s'était muni d'un ordre du roi.

139: Le comte de Saint-Pol avait pris les armes pour les intérêts de
sa fille, belle-fille du duc de Bourgogne.

140: App. 67.

141: App. 68.

142: App. 69.

143: D. Plancher.

144: Le Religieux.

145: App. 70.

146: La renonciation de la veuve n'est pas en effet sans analogie

avec le reniement du mariage, par lequel la loi de Castille permettait
à la femme noble qui avait épousé un roturier de reprendre sa
noblesse à la mort de son mari. Il fallait qu'elle allât à l'église avec
une hallebarde sur l'épaule; là elle touchait de la pointe la fosse du
défunt et elle lui disait: «Vilain, garde la vilainie, que je puisse
reprendre ma noblesse.» (Note communiquée par M. Rossew-Saint-
Hilaire.) App. 71.

147: «Et de ce demanda instrument à un notaire public, qui estoit là

présent.» (Monstrelet.) App. 72.

148: Voy. tome III.

149: Il se l'était fait céder en 1400 par le duc de Berri.

150: Meyer.

151: Le Religieux.

152: App. 73.

153: App. 74.

154: App. 75.

155: Le Religieux.

156: «Loricatis, fimbriatis et manicatis vestibus.» (Religieux.)

157: «Domina Venus.» (Idem.)—Cet Augustin, qui prêcha contre le

duc d'Orléans, lui avait dédié un livre qui, peut-être, n'avait pas été
assez payé.

158: «Te induere de substantia, lacrimis et gemitibus miserrimæ

plebis.» (Idem.)

159: Ceux de Rouen répondirent avec dérision: «Nous porterons

nos armes au château, c'est-à-dire que nous irons armés, armés
aussi nous reviendrons.»

160: «C'estoit grande pitié de la maladie du roy, laquelle luy tenoit

longuement. Et quand il mangeoit, c'estoit bien gloutement et
louvissement. Et ne le pouvoit-on faire despoüiller, et estoit tout
plein de poux, vermine et ordure. Et avoit un petit lopin de fer,
lequel il mit secrettement au plus près de sa chair. De laquelle chose
on ne sçavoit rien, et luy avoit tout pourry la pauvre chair, et n'y
avoit personne qui ozast approcher de luy pour y remédier. Toutefois
il avoit un physicien qui dit qu'il estoit nécessité d'y remedier, ou qu'il
estoit en danger, et que de la garison de la maladie il n'y avoit
remede, comme il luy sembloit. Et advisa qu'on ordonnast quelque
dix ou douze compagnons desguisez, qui fussent noircis, et
aucunement garnis dessous, pour doute qu'il ne les blessast. Et ainsi
fut fait, et entrèrent les compagnons, qui estoient bien terribles à
voir, en sa chambre. Quand il les vid, il fut bien esbahi, et vinrent de
faict à luy: et avoit-on fait faire tous habillements nouveaux,
chemise, gippon, robbe, chausses, bottes, qu'un portoit. Ils le
prirent, luy cependant disoit plusieurs paroles, puis le dépouillerent,
et luy vestirent lesdites choses qu'ils avoient apportées. C'estoit
grande pitié de le voir, car son corps estoit tout mangé de poux et
d'ordure. Et si trouverent ladite piece de fer: toutes les fois qu'on le
vouloit nettoyer, failoit que ce fust par ladite manière.» (Juvénal des
Ursins.)

161: Il témoigna beaucoup de reconnaissance à une dame qui avait

soin du dauphin et suppléait à la négligence de sa mère. Il lui donna
le gobelet d'or dans lequel il venait de boire. (Religieux.)

162: App. 76.

163: Il logea avec le dauphin pour être plus sûr de lui.

164: Le Religieux.

165: App. 77.

166: «Sur les pennonceaux de leurs lances les Bourguignons

portoient: ich houd, je tiens, à rencontre des Orléanois, qui avoient:
je l'envie». (Monstrelet.)

167: Bulæus.

168: «In casu fidei ad consilium milites non evocaretis.» (Religieux.)

169: Monstrelet prétend que le duc d'Orléans avait pris l'Université

pour juge et arbitre.—Ce qui est plus sûr, c'est qu'il s'adressa au
parlement: «Si requeroit la cour qu'elle ne souffrist ledict dauphin
estre transporté...» (Archives, Reg. du Parlem. Cons., vol. XII, fo
222.)
170: Si l'on en croyait la chronique suivie par M. de Barante, ils
auraient couché dans le même lit.

171: App. 78.

172: L'hiver, au contraire, découragea le duc de Bourgogne.

(Juvénal des Ursins.)

173: App. 79.

174: App. 80.

175: App. 81.

176: Bulæus.

177: On a débattu pendant cinq cents ans cette question insoluble

si l'Université était un corps ecclésiastique ou laïque.

178: «Quasi ovem errabundam.» (Religieux.)

179: Il déclara même qu'il était prêt à pendre le coupable de sa

propre main. (Religieux.)

180: Le roi ne put sauver qu'une galerie peinte à fresque, qui était
bâtie sur les murs de la ville, et on lui en fit payer la valeur.

181: «Cum lituis et instrumentis musicis.» (Religieux.)

182: «Post oris osculum.» (Religieux.)

183: En récompense, les ménétriers semblent s'être multipliés. Leur

corporation devient importante. Elle fait confirmer ses statuts.
(Portef. Fontanieu, 24 avril 1407.)

184: Ils le suspendirent pour quatre ans (7 septembre 1407).

185:
 Marne l'enceint.....
Et belle tour qui garde les détrois.
Où l'en se puet retraire à sauveté;
Pour tous ces poins li doulz prince courtois
Donna ce nom à ce lieu de Beauté.

Eustache Deschamps.

186: Saint-Maur était alors une grande abbaye fortifiée.

187: C'est de la Marne qu'un pêcheur retire le corps du jeune fils de

Chilpéric, noyé par sa marâtre.

188: Elle mourut jeune, et l'on crut qu'elle était empoisonnée. Ce

château d'Agnès dans une île fait penser au labyrinthe de la belle
Rosamonde. Voy. la jolie ballade.

189: «Ad multa vitia præceps fuit, quæ tamen horruit cum ad
virilem ætatem pervenisset.» (Religieux.)

190: Son testament fut trouvé écrit tout entier de sa main, quatre
ans avant sa mort. La bonté de son âme confiante et sans fiel se
manifestait dans la recommandation qu'il faisait de ses enfants aux
soins de son oncle le duc Philippe, tandis qu'ils étaient déjà au plus
fort de leurs querelles. App. 82.

191: Jean Petit prétend qu'ils conspiraient ensemble. (Monstrelet.)

192: Telle était la tradition du couvent. Les moines avaient fait

peindre cette vision dans leur chapelle à côté de l'autel; on y voyait
la Mort tenant une faux à la main, et montrant au duc d'Orléans
cette légende: «Juvenes ac senes rapio.» (Millin.)

193: App. 83.

194: Dans l'attente d'une guerre prochaine, il s'était assuré de

l'alliance du duc de Lorraine (6 avril 1407), et il avait pris à son
service le maréchal de Boucicaut. Boucicaut promet de le servir
envers et contre tous, sauf le roi et ses enfants, «en mémoire de ce
que le duc de Bourgogne lui a sauvé la vie, estant pris des Turcs».
(Fonds Baluze, 18 juillet 1407.)

195: On disait après la mort du duc d'Orléans: «Baculum nodosum

factum esse planum.» (Meyer.)—Devises: Mgr d'Orléans, Je suis
mareschal de grant renommée, Il en appert bien, j'ay forge levée.
Mgr de Bourgogne, Je suis charbonnier d'étrange contrée, J'ay assez
charbon pour faire fumée. (Mss. Colbert, Regius.)

196: Les maisons placées ainsi n'avaient pas bon renom. On le voit
par les plaintes que faisaient les chanoines de Saint-Méry contre les
mauvais lieux qui se trouvaient le long de la vieille enceinte de
Philippe-Auguste. Ils obtinrent une ordonnance d'Henri VI, roi de
France et d'Angleterre, pour en purger ce quartier.

197: «Dolorem... studuit mitigare... cœna jocunda peracta.»

(Religieux.)

198: Monstrelet.

199: App. 84.

200: App. 85.

201: «Lesquelles playes estoient telles et si énormes que le test

estoit fendu, et que toute la cervelle en sailloit... Item que son bras
destre estoit rompu tant que le maistre os sailloit dehors au droit du
coude...» (Information du sire de Tignonville, prévôt de Paris.)

202: App. 86.

203: App. 87.

204: App. 88.

205: App. 89.

206: Henri III s'écria en voyant le corps du duc de Guise: «Mon

Dieu, qu'il est grand! Il paroît encore plus grand mort que vivant.» Il
disait mieux qu'il ne croyait; cela est vrai dans un bien autre sens.

207: Je faisais l'autre jour cette observation dans la forêt de Saint-

Germain (12 septembre 1839).

208: App. 90.

209: «Qu'il lui avoit été emblé, et qu'il n'y avoit à peine des enfants
qui fust si bien taillé de venger la mort de son père qu'il estoit.»
(Juvénal.)

210: App. 91.

211: App. 92.

212: La devise de Valentine se lisait dans sa chapelle aux Cordeliers

de Blois.

213: «Le roi se rendit à l'église de Santa-Clara, où il fit exhumer le

corps de la femme qu'il chérissait. Il ordonna que son Inès fut
revêtue des ornements royaux, et qu'on la plaçât sur un trône où ses
sujets vinrent baiser les ossements qui avaient été une si belle
main.» (Faria y Souza.) App. 93.

214: App. 94.

215: App. 95.

216: App. 96.

217: Ce tombeau ne fut élevé que par Louis XII.

218: «... Pour la mort d'un seul homme...» (Monstrelet.)

219: App. 97.

220: App. 98.

221: App. 99.

222: App. 100.

223: App. 101.

224: App. 102.

225: App. 103.

226: C'est du moins ce que rapporte le chroniqueur bourguignon:

«Mesmement les petits enfants en plusieurs carrefours à haute voix
crioient Noël.» (Monstrelet.)

227: «Fist faire.. à puissance d'ouvriers, une forte chambre de

pierre, bien taillée, en manière d'une tour.» (Monstrelet.)

228: Un canonicat de Bruges, auquel Gerson renonça de bonne

heure.

229: App. 104.

230: Par exemple Savoisy.

231: App. 105.

232: «Les légistes disent que toute occision d'homme, juste ou

injuste, est homicide. Mais les théologiens disent qu'il y a deux
manières d'homicides, etc.»

233: App. 106.

234: «Celui qui l'occit par bonne subtilité, par cautelle en l'épiant,
pour sauver la vie de son roi... il ne fait pas nefas...»—Ceci fait
penser aux Provinciales.

235: Cartons de Fontanieu, année 1407.

236: App. 107.

237: «Messeigneurs, leur dit-il, se raillant de leur puissance et de

leur obstination, outre le pardon que vous m'accordez, je vous ai
grande obligation; car lorsque vous m'avez attaqué, je me tins pour
assuré d'être mis hors de mon état; mais je craignais qu'il ne vous
vint en idée de conclure aussi à ce que je fusse marié, et je suis bien
certain que si une fois vous eussiez mis cette conclusion en avant, il
m'aurait fallu, bon gré, mal gré, me marier. Par votre grâce, vous
avez bien voulu m'exempter de cette rigueur, ce dont je vous
remercie très humblement.» (Chronique, no 10297.)

238: App. 108.

239: App. 109.

240: Le Religieux. App. 110.

241: «Quod anum sordidissimæ omasariæ osculari mallet quam os

Petri.» (Religieux.)

242: App. 111.

243: App. 112.

244: App. 113.

245: Il eût pu être nommé, tout aussi bien que son cousin l'évêque,
Jean-sans-pitié. Monstrelet dit lui-même: «Quand il fut demandé,
après la déconfiture, si on cesseroit de plus occire iceux Liégeois, il
fit réponse qu'ils mourroient tous ensemble, et que pas ne vouloit
qu'on les prenst à rançon ni mist à finance.»
246: App. 114.

247: À la rentrée du parlement, le vieux chancelier traça un tableau

touchant de la désolation du royaume. (Archives, Registre du
Parlement, Conseil, XIII, folio 49.)

248: Le Religieux.

249: Bibliothèque royale, mss., Dupuy, vol. 744. Fontanieu, 107-

108, ann. 1409.

250: Le Religieux.

251: Le Religieux.

252: App. 115.

253: Le duc de Bourgogne déploie dans cette année 1409 une

remarquable activité. Il cherche des alliances au Midi et au Nord.
Voy. les traités avec le roi de Navarre, le comte de Fois, le duc de
Bavière et Édouard de Bar. (Mss., Baluse, 9484, 2.)

254: «Mole carnis gravata nimium.» (Religieux.)

255: App. 116.

256: App. 117.

257: App. 118.

258: Peu après, nous voyons le duc de Bourgogne assister aux

obsèques du boucher Legoix: «Et lui fit-on moult honorables
obsèques, autant que si c'eust été un grand comte.» (Juvénal.)

259: Dans une de ces alarmes, on fit loger le roi au Palais avec une
forte troupe de gens d'armes, au grand effroi du greffier. App. 119.
260: Deux mille charrettes, selon Meyer; douze mille, selon
Monstrelet.—«Leur requist bien instamment qu'ils le voulsissent
servir encore huit jours... Commencèrent à crier à haulte voix: Wap!
wap! (qui est à dire en françois: À l'arme! à l'arme!)... boutèrent le
feu par tous leurs logis, en criant derechef tous ensemble: Gau! gau!
se départirent et prirent leur chemin vers leurs pays... Le duc de
Bourgogne... le chaperon ôté hors de la tête devant eux, leur pria à
mains jointes très humblement... eux disant et appelant frères,
compains et amis...» (Monstrelet.)

261: Quelquefois cinquante enfants, de dix femmes différentes...

(Guillaume de Poitiers.)

262: App. 120.

263: Le roi n'en est pas moins le grand fieffeux; il n'a rien et il a
tout.

264: Voir au tome II, ceux qui vinrent avec la reine Constance.

265: Voy. tomes II et III. Sous la plupart de ces princes, aux

douzième et treizième siècles, les Poitevins et les Gascons
gouvernèrent l'Angleterre.

266: Aventures du baron de Feneste, par d'Aubigné (1620).

267: L'affaire de Portugal, pour être moins éclaircie, n'en est pas
moins probable.

268: C'est le sobriquet d'amitié que les Gascons donnaient à leur

Henri.

269: Monstrelet.

270: Je lis dans une lettre de grâce que des Picards entendant
parler d'une somme de 800 livres, que le capitaine de Gisors exigeait
des Normands, disaient: «Se c'estoit en Picardie, l'en abateroit les
maisons de ceulz qui se accorderoient de les paier.» (Archives,
Trésor des chartes, Registre 148, 214; ann. 1395.)

271: D'Aubigné, l'auteur du Baron de Feneste, était né en

Saintonge, établi en Poitou.

272: App. 121.

273: App. 122.

274: App. 123.

275: «Ite ad regem vestrum insanum, inutilem et captivum.»

(Religieux.)

276: Selon le Religieux de Saint-Denis, qui prit des informations à ce

sujet, le duc d'Orléans pria le roi d'Angleterre, au nom de la parenté
qui les unissait, de ne pas envoyer de troupes à son adversaire.
Henri IV répondit qu'il avait craint de soulever les Anglais (alliés des
Flamands), et qu'il avait accepté les offres du duc de Bourgogne.

277: Rymer.

278: App. 124.

279: Rymer.

280: App. 125.

281: App. 126.

282: «Indignum se reputavit regimine tanti regni ut erat regnum

Franciæ.» (Religieux.)

283: C'était l'opinion de Clémengis. Il implore dans ses lettres

l'intervention du Parlement comme l'unique remède aux maux
présents et futurs du royaume. App. 127.
284: App. 128.

285: App. 129.

286: Voy. Ordonnances, passim, particulièrement aux années 1344,

1359, 1389, 1400.

287: Ord., ann. 1358, 1369, 1372, 1382.

288: Ord., ann. 1366.

289: Ord., ann. 1375.

290: Ord., ann. 1374.

291: Ord., ann. 1408.

292: On ajoute qu'on élira aussi des nobles, ce qui prouve

qu'ordinairement la chose n'arrivait guère. (Ord., ann. 1407-8.)

293: Les règlements de ces deux facultés se modifièrent en sens

inverse. La faculté de théologie prolongea ses cours; elle exigea six
ans d'études au lieu de cinq avant le baccalauréat. La faculté des
arts réduisit ses cours de six ans à cinq, puis à trois et demi, et
enfin, en 1600, à deux. La scolastique perdait peu à peu son
importance. (Bulæus.)

294: App. 130.

295: Fils d'un cordonnier de Malines, il vint à Paris comme

domestique ou marmiton, selon l'histoire manuscrite de Sainte-
Geneviève: le jour il était à sa cuisine, la nuit il se retirait au clocher
de l'église et y étudiait au clair de lune. Il entra au collège de
Montaigu, releva ce collège alors ruiné, et en fut comme le second
fondateur. Il n'est pas moins célèbre pour la violence avec laquelle il
prêcha contre le divorce de Louis XII.

296: App. 131.

297: La règle des Carmes était très propre à développer l'exaltation:
de longs jeûnes, de longs silences, les jours et les nuits passés dans
une cellule.

298: App. 132.

299: Desessarts et son frère recevaient ou prenaient beaucoup

d'argent. Mais l'Université avait contre le prévôt un sujet particulier
de haine. Il avait pris parti contre les écoliers dans leur querelle avec
un sergent du prévôt qui était en même temps aubergiste et qui, en
dérision des écoliers, avait traîné un âne mort à la porte du collège
d'Harcourt.

300: Ils respectèrent la courageuse résistance du clerc de l'hôtel de

ville.

301: Le duc lui dit: «Mon ami, ne te soucie, car je te jure que tu
n'auras autre garde que de mon propre corps.» Et lui fit la croix sur
le dos de la main et l'emmena. (Juvénal.)

302: App. 133.

303: App. 134.

304: App. 135.

305: App. 136.

306: App. 137.

307: «Ex quibus posset componi tractatus valde magnus.»

(Religieux.)

308: «Gardèrent curieusement les portes..., et disoient aucuns d'eux

qu'on le faisoit pour sa correction, car il estoit de jeune âge.»
(Monstrelet.)

309: App. 138.

310: «Et en prinrent hommes d'église, femmes d'honneur,
marchandes qui à tout vendoient les denrées.» (Journal d'un
Bourgeois de Paris.)

311: Le dauphin ayant fait l'espièglerie de tirer en bas une corne de

son chaperon, de manière à ce qu'elle figurât une bande (signe des
Armagnacs), les bouchers faillirent éclater: «Regardez, disaient-ils,
ce bon enfant de dauphin, il en fera tant qu'il nous mettra en
colère.» (Juvénal.)

312: App. 139.

313: Quelques-uns disaient qu'il fallait s'attendre à tous les maux,

depuis la malédiction prononcée par Boniface et depuis renouvelée
par Benoît XIII.

314: Il savait que les princes faisaient venir le duc de Clarence, et le

duc de Bourgogne le comte d'Arundel.

315: App. 140.

316: «Et dans les trois tours dudit hostel mirent et ordonnèrent
leurs gens d'armes.» (Monstrelet.)—«... Ont esté à Saint-Paul..., et
après une collation faite par M. Eustace de Pavilly, maistre en
théologie, de l'ordre de N.-D. des Carmes, tendant à fin d'oster les
bons des mauvais...» (Archives, Registres du Parlement, Conseil.)

317: «Très mauvaises herbes et périlleuses, c'est a savoir quelques

serviteurs et servantes qu'il falloit sarcler et oster.» (Juvénal.) App.
141.

318: Le dauphin «s'abstint de pleurer ce qu'il put en torchant ses

lermes». (Monstrelet.)

319: «Et, ce fait, le roi s'en alla dîner.» (Monstrelet.)

320: Ord., t. X, p. 71-134.

Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and

personal growth!

textbookfull.com