0% ont trouvé ce document utile (0 vote)

293 vues100 pages

Cours Predictive Analytics

Transféré par

Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.

Formats disponibles

Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

0% ont trouvé ce document utile (0 vote)

293 vues100 pages

Cours Predictive Analytics

Transféré par

Malo Aymard

Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.

Formats disponibles

Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Vous êtes sur la page 1/ 100

Predictive Analytics

Slim Ouerghi
Data Scientist Solocal
[email protected]

2020 ANALYSE PREDECTIVE – SLIM OUERHI 1

Machine learning, analyses prédictives et
intelligence artificielle
Objectifs:

➢ Comprendre le concept du Machine Learning et la nature des problèmes qu’il permet de résoudre.
➢ Connaitre les principales méthodes et techniques de l'analyse prédictive
➢ Connaitre le cycle d’un projet de data science.
➢ Mettre en œuvre des cas pratiques avec Python (sci-kit learn & statsmodel) sur des données réelles

2020 ANALYSE PREDECTIVE – SLIM OUERHI 2

Machine learning, analyses prédictives et
intelligence artificielle

➢ Machine Learning, quelles opportunités, quels enjeux et principales applications ?

➢ Analyse prédictive : comprendre les fondamentaux :
✓ Comprendre correctement le problème et le phénomène à modéliser
✓ Préparer les données
✓ Modélisation
✓ Savoir évaluer un modèle de prédiction et pouvoir comparer plusieurs modèles
✓ Implémentation du modèle dans l ’entreprise et suivre les résultats

✓ Au-delà des modèles statistiques, les étudiants doivent être capables d’utiliser les résultats des
modèles pour définir des solutions décisionnelles adaptées à la stratégie de l’entreprise

2020
ANALYSE PREDECTIVE – SLIM OUERHI 3
Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

La science historique des données : la statistique

✓ La statistique est l’étude de la collecte de données, leur analyse, leur

traitement, l’interprétation des résultats et leur présentation afin de
rendre les données compréhensibles par tous. C’est `a la fois une
science, une méthode et un ensemble de techniques. (Source :
Wikipédia)

✓ La statistique est utilisée dans presque tous les domaines de l’activité

humaine : sciences sociales, économie, médecine, biologie, industrie ...

✓ Mais aujourd’hui, Open Data, Big Data, Big Science... changent les
règles du jeu.
2020 ANALYSE PREDECTIVE – SLIM OUERHI 4
Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Data science Définition :

✓ La Data Science, ou science des données, est un mélange disciplinaire

entre la data inférence, le développement d’algorithme et la
technologie, dont l’objectif est la résolution de problèmes analytiques
complexes. Au cœur de ce grand mélange, on retrouve les données, les
quantités massives d’informations brutes stockées.

✓ C’est la discipline qui permet à une entreprise d’explorer et d’analyser

les données brutes pour les transformer en informations précieuses
permettant de résoudre les problèmes de l’entreprise

✓ Concrètement, la data science permet d’utiliser les données de façon

créative pour générer une valeur pour les entreprises
2020 ANALYSE PREDECTIVE – SLIM OUERHI 5
Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Data science : la croisée de 3 profils

✓ Statisticien :Connaître et comprendre les techniques de modélisation,

d’analyse de données, d’inférence… savoir exploiter les régularités «
cachées » dans les données, pourvoyeuses de connaissances

✓ Informaticien: Maîtriser les outils pour manipuler les données,

développer des stratégies nouvelles pour gérer la profusion de
l’information,…

✓ Connaissances métier : Toute analyse s’inscrit dans un domaine… qu’il

faut connaître pour savoir décoder et exploiter les résultats

2020 ANALYSE PREDECTIVE – SLIM OUERHI 6

Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Data science : un projet

✓ Un projet data science est un cycle itératif et progressif qui se

déroule principalement en 3 étapes :

➢ Compréhension du métier et des données

➢ Phase de préparation des données et test de quelques
hypothèses (80% des charges du projet, aucun résultat
montrable)
➢ Phase d’évaluation et modélisation du modèle. Certains
résultats de l’évaluation du modèle peuvent conduire à
créer une nouvelle boucle d’itération afin de revoir les
hypothèses initiales et pivoter.
2020 ANALYSE PREDECTIVE – SLIM OUERHI 7
Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Qu’est ce que l’analyse prédictive?

✓ Personne ne peut prédire l’avenir, mais il existe des méthodes qui permettent de
tracer les tendances et les évolutions à venir, grâces aux données historiques. C’est la
mission et le but de l’analyse prédictive (Predictive Analytics).

✓ Nous pouvons définir l’analyse prédictive comme une série de techniques analytiques
et statistiques permettant de prédire des actions ou des comportements futurs.

✓ Dans les entreprises, l’analyse prédictive est utilisée pour prendre des décisions
proactives et déterminer des actions, au moyen de modèles statistiques permettant de
découvrir des schémas dans des données historiques et transactionnelles, dans le but
d’identifier des risques potentiels et des opportunités.
2020 ANALYSE PREDECTIVE – SLIM OUERHI 8
Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Qu’est ce que le machine learning?

✓ Champ d´étude qui donne aux ordinateurs la capacité d’apprendre sans

avoir été programmés explicitement (Arthur Samuel (1959))

✓ Machine learning consists in teaching a computer to make decisions based

on samples

✓ Machine Learning is one (very effective) way to solve AI problems

2020 ANALYSE PREDECTIVE – SLIM OUERHI 9

Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

ML: Apprendre des données et faire des prédictions

✓ Les algorithmes construisent un modèle à partir d’exemples donnés
en entrée, dans but de faire des prédictions ou de prendre des décisions...

✓ ...plutôt que de suivre strictement une suite statique d’instructions :

c’est utile quand il serait impossible ou inefficace de concevoir et de
programmer de tels algorithmes

✓ Le Machine Learning est considéré comme une extension moderne de

l’analyse prédictive. La reconnaissance efficace de modèles et l’auto-
apprentissage constituent les piliers des schémas d’apprentissage
automatique, qui s’adaptent automatiquement à l’évolution des modèles
pour garantir le choix d’actions appropriées

2020 ANALYSE PREDECTIVE – SLIM OUERHI 10

Buzz word : statistique, data science , analyse prédictives, machine
learning , intelligence artificielle …

Qu’est ce que le machine learning?

Expérience Tâches Performance

Input data Task Input data

✓ Prix… ✓ Prévisions des prix ✓ Erreur de prévisions

✓ Images ✓ Catégorisation d’images ✓ Tri correct
✓ Données transactionnelles ✓ Segmentation clients ✓ Cohérence des groupes
✓ Données d’usage des sites ✓ Optimiser le parcour ✓ Amélioration des KPI du site

2020 ANALYSE PREDECTIVE – SLIM OUERHI 11

Buzz word : statistique, data science , analyse prédictive, machine
learning , intelligence artificielle …

Quizz
Créer un programme capable de détecter si l’email est spam ou non spam

✓ Il faut identifier la tâche, l’expérience et la performance :

✓ Classifier l’email en spam ou non spam

✓ Une base contenant un champ indiquant si l’email est spam ou non

spam

✓ Le nombre d’émails bien classés

Quelles sont les deux types du Machine Learning ? Quelle est la différence avec
analyse prédictive?

2020 ANALYSE PREDECTIVE – SLIM OUERHI 12

Buzz word : statistique, data science , analyse prédictive, machine
learning , Intelligence Artificielle …

Data science Vs analyse prédictive Vs ML Vs IA.

IA Data Science

Machine Learning

Analyses
Machine Prédictives
Learning

2020 ANALYSE PREDECTIVE – SLIM OUERHI 13

Cas d’usage: Connaissance Client

2020 ANALYSE PREDECTIVE – SLIM OUERHI 14

Cas d’usage: connaissance marché

2020 ANALYSE PREDECTIVE – SLIM OUERHI 15

Cas d’usage : Optimisation marketing

2020 ANALYSE PREDECTIVE – SLIM OUERHI 16

Cas d’usage: personnalisation

2020 ANALYSE PREDECTIVE – SLIM OUERHI 17

Cas d’usage : Détection

2020 ANALYSE PREDECTIVE – SLIM OUERHI 18

Cas d’usage: Prédiction

2020 ANALYSE PREDECTIVE – SLIM OUERHI 19

Les Grandes familles d’algorithmes

2020 ANALYSE PREDECTIVE – SLIM OUERHI 20

Apprentissage non supervisées
Définition

✓ Prend en entrée des exemples d’apprentissage contenant que des données d’entrée

✓ Pas de notion de classe

✓ L’algorithme détecte les similarités dans les données pour créer des groupes

2020 ANALYSE PREDECTIVE – SLIM OUERHI 21

Apprentissage non supervisée
Démarche Globale

2020 ANALYSE PREDECTIVE – SLIM OUERHI 22

Apprentissage supervisée

Définition
✓ Prend en entrée des exemples d’apprentissage
contenant à la fois des données d’entrée et
des sortie

✓ Les exemples d’apprentissage sont fournis

avec leur classe

✓ Objectif : classer correctement un nouvel

exemple

2020 ANALYSE PREDECTIVE – SLIM OUERHI 23

Apprentissage supervisée: estimation des prix de logement

Type Nb chambre Surface Transport Prix

Appartement 3 50 Oui 450
Maison 5 100 Non 900
Duplex 4 68 Oui 712
Appartement 2 32 Oui 234

2020 ANALYSE PREDECTIVE – SLIM OUERHI 24

Apprentissage supervisées: Estimation des prix de logement

Features Label
Type Nb chambre Surface Transport Prix
Apprentissage

Appartement 3 50 Oui 450

Maison 5 100 non 900
Duplex 4 68 Oui 712
Appartement 2 32 Oui 234

2020 ANALYSE PREDECTIVE – SLIM OUERHI 25

Apprentissage supervisées: Estimation des prix de logement

Features Label
Type Nb chambre Surface Transport Prix
Apprentissage

Appartement 3 50 Oui 450

Maison X Train 900
Y Train
Duplex 4 68 Oui 712
Appartement 2 32 Oui 234

2020 ANALYSE PREDECTIVE – SLIM OUERHI 26

Apprentissage supervisées: Estimation des prix de logement

Features Label
Type Nb chambre Surface Transport Prix
Apprentissage

Appartement 3 50 Oui 450

Maison X Train 900
Y Train
Duplex 4 68 Oui 712
Appartement 2 32 Oui 234

Type Nb chambre Surface Transport Prix

Test

Appartement 2 45 Oui ?
Maison 4 105 Non ?

2020 ANALYSE PREDECTIVE – SLIM OUERHI 27

Apprentissage supervisées: Estimation des prix de logement

Features Label
Type Nb chambre Surface Transport Prix
Apprentissage

Appartement 3 50 Oui 450

Maison X Train 900
Y Train
Duplex 4 68 Oui 712
Appartement 2 32 Oui 234

Type Nb chambre Surface Transport Prix

Test

Appartement 3 50 X Test Oui 450

Y Pred
Maison 6 100 Non 900

2020 ANALYSE PREDECTIVE – SLIM OUERHI 28

Apprentissage supervisées: Démarche Globale

2020 ANALYSE PREDECTIVE – SLIM OUERHI 29

2020 ANALYSE PREDECTIVE – SLIM OUERHI 30
Donnés manquantes
Texte brute

Données aberrantes

Format

Doublons

2020 ANALYSE PREDECTIVE – SLIM OUERHI 31

2020 ANALYSE PREDECTIVE – SLIM OUERHI 32
2020 ANALYSE PREDECTIVE – SLIM OUERHI 33
2020 ANALYSE PREDECTIVE – SLIM OUERHI 34
2020 ANALYSE PREDECTIVE – SLIM OUERHI 35
Process

2020 ANALYSE PREDECTIVE – SLIM OUERHI 36

Algorythme

2020 ANALYSE PREDECTIVE – SLIM OUERHI 37

Process

2020 ANALYSE PREDECTIVE – SLIM OUERHI 38

2020 ANALYSE PREDECTIVE – SLIM OUERHI 39
Les plus utilisés

2020 ANALYSE PREDECTIVE – SLIM OUERHI 40

2020 ANALYSE PREDECTIVE – SLIM OUERHI 41
2020 ANALYSE PREDECTIVE – SLIM OUERHI 42
2020 ANALYSE PREDECTIVE – SLIM OUERHI 43
Mise en œuvre de vos talents de data scientist :
Prédire les chances de survie au naufrage du Titanic

✓ Scikit-learn est une librairie pour Python

spécialisée dans le machine learning

✓ L’apprentissage statistique pour tous: pas de

prérequis en ML ou domaine spécifique

✓ Librairie logicielle de qualité: interface pensée

utilisateur
✓ Développement communautaire

✓ Une bibliothèque, pas un programme : plus

expressif et polyvalent et facile à intégrer

2020 ANALYSE PREDECTIVE – SLIM OUERHI 44

Mise en œuvre de vos talents de data scientist :
Prédire les chances de survie au naufrage du Titanic

✓ Python :

✓ Un langage haut niveau : interactif et

facile a débugger

✓ Appel transparent à C

✓ Ecosystème très dynamique

2020 ANALYSE PREDECTIVE – SLIM OUERHI 45

Mise en œuvre de vos talents de data scientist :
Prédire les chances de survie au naufrage du Titanic

✓ Librairies :
✓ Une librairie (package) regroupe plusieurs
modules dans différents sous répertoires. Le
chargement spécifique d’un des modules se fait en
précisant le chemin.

✓ Principales librairies :

✓ matplotlib pour les graphes

✓ pandas : structure de données et feuilles de calcul
✓ patsy : formules statistiques
✓ statsmodels : modélisation statistique

2020 ANALYSE PREDECTIVE – SLIM OUERHI 46

Mise en œuvre de vos talents de data scientist :
Prédire les chances de survie au naufrage du Titanic

✓ seaborn : visualisation de données

✓ scikit-learn : algorithmes d’apprentissage
statistique
✓ pandas : structure de données et feuilles de calcul
✓ patsy : formules statistiques
✓ statsmodels : modélisation statistique
✓ seaborn : visualisation de données
✓ scikit-learn : algorithmes d’apprentissage
statistique
✓ numpy : pour utiliser vecteurs et tableaux
✓ scipy : intègre les principaux algorithmes
numériques

2020 ANALYSE PREDECTIVE – SLIM OUERHI 47

Mise en œuvre de vos talents de data scientist :
Méthodologie

✓ Comprendre le contexte et cas d’usage ( 5%)

✓ Exploration des données( 20%)

✓ Features engineering ( 50%)

✓ Mise en place d’une procédure d’évaluation ( 10%)

✓ Création du Modèle( 15%)

2020 ANALYSE PREDECTIVE – SLIM OUERHI 48

Mise en œuvre de vos talents de data scientist :
Méthodologie : Exploration des données

✓ Compréhension de ce que représente chaque variable

✓ Analyse de la variable cible( donnés équilibré?)

✓ Type des variables explicatives : Catégorielles, ordinales, Continues

✓ Analyse des variables explicatives

✓ Corrélation entre les variables

✓ ➔ Se familiariser avec le jeu de données

2020 ANALYSE PREDECTIVE – SLIM OUERHI 49

Mise en œuvre de vos talents de data scientist :
Méthodologie : Features engineering

✓ Transformation de la donnée pour être exploitée au mieux par les algorithmes

d’apprentissage