Pour la boutique en ligne, j’ai utilisé les données de l’année 2017 provenant du Google Merchandise Store, que j’ai manuellement exportées en fichiers csv. Une meilleure méthode serait d’utiliser une des nombreuses librairies permettant d’accéder au Analytics Reporting API. Toutefois, le demo account de Google Analytics ne permet pas l’accès par API, donc tous les fichiers requis ont été exportés à la mitaine.
Pour la boutique physique, j’ai créé un fichier d’exemple en modifiant extensivement des données d’un marchand du Royaume-Uni. Les données originales sont disponibles sur Kaggle.
J’ai aussi créé une page Kaggle pour les fichiers finaux de cette page.
Début du projet
Nous avons tout d’abord besoin des librairies suivantes:
tidyverse, une librairie de librairies contenant tout ce qu’on a besoin pour le data wrangling.
readr, une librairie plus intuitive et rapide pour lire les fichiers csv.
#Loading Packages
library(tidyverse)
library(readr)
La première étape est d’importer les données. Ici à partir d’un fichier local, mais il est aussi possible de faire des requêtes http à un fichier sur un serveur, ou des GET requests à un API avec la librairie httr. Par défaut, read_csv ne va pas parser des colonnes contenant des lettres en tant que colonne de type numérique, afin d’éviter de perdre des données. Il faut ainsi le demander formellement pour enlever les signes de $ ou de %.
#Importer les données
Online_original <- read_csv("All_Transactions_SKU.csv",
skip = 6)
Enfin, nous allons filtrer les données des différents fichiers importés afin de conserver un seul type de catégories (il y en avait trois qui se dupliquaients), des Transaction ID uniques pour les dates et des Product SKU uniques pour les informations sur les produits. Puis, nous allons joindre toutes les tables en une seule table contenant toutes les informations, et enfin, retirer les informations qui ne sont pas pertinentes.
#Filtrer les données de la table catégorie pour conserver uniquement un type de catégorie
KEY_SKU_Category <- filter(KEY_SKU_Category,
`Product Category (Enhanced E-commerce)` == "Accessories"|
`Product Category (Enhanced E-commerce)` == "Android"|
`Product Category (Enhanced E-commerce)` == "Apparel"|
`Product Category (Enhanced E-commerce)` == "Backpacks"|
`Product Category (Enhanced E-commerce)` == "Bags"|
`Product Category (Enhanced E-commerce)` == "Bottles"|
`Product Category (Enhanced E-commerce)` == "Drinkware"|
`Product Category (Enhanced E-commerce)` == "Fun"|
`Product Category (Enhanced E-commerce)` == "Gift Cards"|
`Product Category (Enhanced E-commerce)` == "Google"|
`Product Category (Enhanced E-commerce)` == "Headgear"|
`Product Category (Enhanced E-commerce)` == "Housewares"|
`Product Category (Enhanced E-commerce)` == "Lifestyle"|
`Product Category (Enhanced E-commerce)` == "More Bags"|
`Product Category (Enhanced E-commerce)` == "Nest"|
`Product Category (Enhanced E-commerce)` == "Nest-Canada"|
`Product Category (Enhanced E-commerce)` == "Nest-USA"|
`Product Category (Enhanced E-commerce)` == "Notebooks & Journals"|
`Product Category (Enhanced E-commerce)` == "Office"|
`Product Category (Enhanced E-commerce)` == "Waze"
)
#Enlever les duplicatas de KEY_TransactionID_Date (Transaction ID 45426 et 33673, probablement des modifications manuelles à des commandes eronnées)
KEY_TransactionID_Date <- distinct(KEY_TransactionID_Date, `Transaction ID`, .keep_all = TRUE)
#Enlever les duplicatas de KEY_SKU_ProductName
KEY_SKU_ProductName <- distinct(KEY_SKU_ProductName, `Product SKU`, .keep_all = TRUE)
#Enlever les duplicatas de KEY_SKU_Category
KEY_SKU_Category <- distinct(KEY_SKU_Category, `Product SKU`, .keep_all = TRUE)
#Joindre les données de toutes les tables
Online_joined <- left_join(Online_original, KEY_TransactionID_Date, by = "Transaction ID")
Online_joined <- left_join(Online_joined, KEY_SKU_ProductName, by = "Product SKU")
Online_joined <- left_join(Online_joined, KEY_SKU_Category, by = "Product SKU")
#Conserver uniquement les colonnes pertinentes et les réorganiser
Online <- select(Online_joined, "Transaction ID", "Date", "Product SKU", "Product", "Product Category (Enhanced E-commerce)", "Quantity.x", "Avg. Price.x", "Revenue", "Tax", "Delivery" )
#Renommer les colonnes avec un indicateur de doublon maintenant qu'il n'est plus nécéssaire
colnames(Online)[colnames(Online)=="Quantity.x"] <- "Quantity"
colnames(Online)[colnames(Online)=="Avg. Price.x"] <- "Avg. Price"
Voila notre fichier d’exemple de transactions d’une boutique en ligne fin prêt!
Création du fichier de magasin physique
Considérant que je rends publiques les données de cette exemple, je ne peux utiliser les données privées sur lesquelles je fais normalement ce genre de travail. J’ai donc décidé d’utiliser un fichier provenant de Kaggle, et de l’ajuster à la situation présente.
#Lire le fichier original
Retail_original <- read_csv("UK retailer data.csv")
#Retirer les retours
Retail_clean <- Retail_original %>% filter(Quantity > 0)
Maintenant, nous allons modifier les dates d’achat afin d’obtenir uniquement des dates du 1ier janvier 2018 au 31 décembre 2018, comme dans notre fichier e-commerce
#Nous chargeons la librairie lubridate qui permet de mieux jouer avec les dates
library(lubridate)
#Convertir la colone de type caractères en type date, en enlevant l'information d'heure
Retail_clean$InvoiceDate <- as.Date(Retail_clean$InvoiceDate, format = "%m/%d/%Y")
#Ajouter 1 mois puis 6 ans, et retirer 1 journée à toutes les dates
Retail_clean$InvoiceDate <- Retail_clean$InvoiceDate %m+% months(1)
Retail_clean$InvoiceDate <- Retail_clean$InvoiceDate %m+% years(6)
Retail_clean$InvoiceDate <- Retail_clean$InvoiceDate %m-% days(1)
#Retirer tout ce qui n'est pas en 2017
Retail_clean <- Retail_clean %>% filter(InvoiceDate < "2018-01-01" & InvoiceDate > "2016-12-31")
Maintenant, nous allons simuler les quantités achetées et les stocker en attendant de les appliquer sur notre fichier.
#Visualiser les quantités achetées sur la boutique en ligne en retirant les outliers
freqs <- Online %>% group_by(Quantity) %>% tally()
#Enlever les outliers
freqs <- freqs %>% filter(Quantity <= 10)
#Visualiser
ggplot(data = freqs, aes(x = Quantity, y = n)) +
geom_point() +
xlim(0, 10)
#Nous allons maintenant créer des chiffres aléatoires de quantité selon la distribution de la boutique en ligne pour nos données de magasin physique
den <- density(Online$Quantity, na.rm = TRUE)
den_qty <- round(sample(Online$Quantity, 505882, replace=TRUE) + rnorm(505882, 0, den$bw), digits = 0)
den_qty <- as.data.frame(den_qty)
#Il faut remplacer les NA créés par l'arrondissement par 1...
den_qty <- den_qty %>% mutate(den_qty = if_else(is.na(den_qty), 1, den_qty))
#Voyons voir si la distribution semble similaire à l'original...
freqs2 <- den_qty %>% group_by(den_qty) %>% tally()
#Enlever les outliers
freqs2 <- freqs2 %>% filter(den_qty <= 10)
ggplot(data = freqs2, aes(x = den_qty, y = n)) +
geom_point() +
xlim(0, 10)
#Ça semble le cas!
Nous allons maintenant joindre les données pour notre fichier fictif en conservant uniquement les colonnes Date – Stock Code et Invoice Number, et en utilisant nos données précédentes pour les quantités achetées. On simule un fichier avec très peu d’informations, que nous enrichirons dans l’exemple.
Enfin, nous allons réduire le nombre de SKU dans le fichier Retail afin qu’il soit égal au nombre de SKUS du fichier Online, ce qui nous permettra de créer la clé entre les deux fichiers dans l’exemple qui suivra.
#Compter le nombre de SKUs dans le fichier Online
nrow(as.data.frame(unique(Online$`Product SKU`)))
## [1] 1178
#1178 SKUs uniques.
#Compter le nombre de SKUs dans le fichier Retail
nrow(as.data.frame(unique(Retail$StockCode)))
## [1] 3931
#3931 SKUs uniques. C'est trop!
#Il faut diminuer de près du trois quart le nombre de SKUs du fichier Retail, mais on ne veut pas trop diminuer le nombre de transactions. Nous allons donc commencer par un clean-up des SKUs qui ont des variations à l'aide d'une lettre pour conserver uniquement des SKUs numérique.
Retail$StockCode <- str_replace(Retail$StockCode, "[a-zA-Z]\\b$", "")
#Combien de SKUs maintenant?
nrow(as.data.frame(unique(Retail$StockCode)))
## [1] 3309
#3309 SKUs. Encore trop.
#Enlevons les SKUs qui sont des erreurs (BANKCHARGES, POS, etc.) en retirant aussi la transaction au complet.
Retail <- Retail %>% filter(str_detect(StockCode, "\\d\\d\\d\\d\\d"))
#On peut maintenant parser la colonne comme numérique car il n'y a plus de lettres
Retail$StockCode <- parse_number(Retail$StockCode)
#Combien de SKUs maintenant?
nrow(as.data.frame(unique(Retail$StockCode)))
## [1] 3288
#3290 SKUs. Nous allons retirer des commandes de façon arbitraire pour atteindre notre objectif (il faut se rappeler que c'est uniquement un fichier d'exemple!)
#Créons un tableau avec nos SKUs uniques, afin de voir quels sont les 1178 premiers SKUS
unique_retail_SKUS <- as.data.frame(sort(unique(Retail$StockCode)))
#Les 1178 premiers SKUs sont situés de 10002 à 22314. Nous allons exclure toutes les lignes comportant des achats de SKUs à l'extérieur de cette plage.
Retail <- Retail %>% filter(StockCode <= 22314)
#Combien de SKUs maintenant?
nrow(as.data.frame(unique(Retail$StockCode)))
Bienvenue sur cet article avec les détails techniques de ma conférence du Web à Québec. Nous allons coder ensemble afin d’éviter à Bob de passer des heures à chaque mois à faire les mêmes opérations dans Excel, afin de le libérer à faire des activités plus productives.
Contexte de l’exemple de code
Cet exemple est basé sur les données réelles du Google Merchandise Store Demo Account de 2017 ainsi que d’un fichier lourdement modifié provenant de Kaggle. Toutes les manipulations pour créer ces fichiers sont détaillées dans mon autre article sur la préparation des données dans R. Malheureusement, confidentialité oblige, c’était la seule manière de créer un exemple accessible au public, car il y a très peu de données transactionnelles réelles disponibles au public.
Rappel du mandat
Bob est un analyste d’affaire très travaillant. Outre ses activités régulières, il passe une journée par mois à recueillir des données, les nettoyer, les analyser et les mettre en page, afin de faire une présentation de 15 minutes aux dirigeants de l’entreprise pour laquelle il travaille, sur la performance de leur boutique en ligne et de leur boutique physique.
Cela fait deux ans qu’il présente les mêmes données de la même façon, ce qui implique qu’il a passé 192 heures (24 jours de 8h) à refaire les mêmes tâches répétitives afin de présenter des données durant 6 heures (24 présentations de 15 minutes). Bob pense qu’il doit y avoir un meilleur moyen d’utiliser son temps. Il a raison!
Solution
Bob décide qu’il va apprendre à utiliser le langage de programmation R sur Datacamp. Il planifie apprendre ce langage 1h par jour en se réveillant 1h plus tôt chaque matin. Il se dit qu’en un an au maximum, avec 250h de pratique (1h/jour, 5 jours par semaine, 50 semaines), il sera capable d’utiliser ce langage pour libérer son temps. Et il a raison.
Voici ce qu’il peut faire après 250h de pratique. Nous sommes le 1ier janvier 2018 et Bob décide d’utiliser le temps qu’il mettait auparavant à produire son rapport à la main, afin de créer des visualisations selon les meilleurs principes de la communication des données.
Importation et nettoyage des données
#Bob commence par charger les librairies qu'il a besoin.
#Librairie readr pour charger ses fichiers rapidement et facilement.
library(readr)
#Librairie tidyverse, une librairie de librairies, permettant de mieux travailler avec le tidy data.
library(tidyverse)
#Librairie lubridate qui permet de facilement travailler avec les dates.
library(lubridate)
#Librairie ggthemes, qui offre des préconfigurations de style de tableaux
library(ggthemes)
#Librairie permettant de contrôler l'affichage des chiffres sur une visualisation
library(scales)
#Librairie pour gérer les fontes
library(extrafont)
#Bob va aussi déterminer la localisation des dates, pour affichage en français.
Sys.setlocale("LC_TIME", "French")
Voici les cours Datacamp pour ces différentes librairies.
Maintenant, Bob lit ses fichiers et les transforme en objet dans R. Dans un contexte de production, ceux-ci seraient chargés via API ou par un connecteur de données. Mais pour garder cet exemple simple, Bob lit un fichier local sur son disque dur.
Si vous voulez avoir les fichiers de cet exemple, ils sont disponibles sur Kaggle.
#Lecture des fichiers
Online <- read_csv("Online.csv", col_types = cols(Date = col_date(format = "%Y%m%d")))
Retail <- read_csv("Retail.csv", col_types = cols(InvoiceDate = col_date(format = "%Y-%m-%d")))
#Bob vérifie la structure des fichiers afin de mieux orienter ses prochaines manipulations
glimpse(Online)
Bob remarque que son fichier Retail, montrant les ventes des magasins physiques, n’est pas très complet par rapport à son fichier Online. Il aimerait rajouter l’information sur les produits, leur prix de vente et leur catégorie à son fichier Retail. Mais les codes de produit sont aussi différents! Il va donc falloir créer une “clé” entre les “Product SKU” du fichier online et le “StockCode” du fichier retail.
Bob cherche donc à trouver une liste de StockCode – Nom de produit, mais malheureusement, son entreprise n’a jamais cru bon de créer cette liste (à se demander comment elle est toujours en affaires!). Comme Bob doit travailler avec ces contraintes, cela implique qu’il doit créer un fichier de “clé” faisant le lien entre le SKU et le StockCode. Bob demande donc à son stagiaire, Gérard, de créer la concordance entre les 1179 Product SKU et les 1179 StockCodes. Gérard, après avoir sombré dans l’alcoolisme, lui livre le fichier suivant:
Il s’agit de la concordance entre chaque StockCode et son Product SKU. Avec cette concordance, il devient possible de prendre les informations du fichier Online et de les appliquer au fichier Retail.
Il faut d’abord créer un fichier avec la liste des informations voulues par SKU, c’est-à-dire le nom du produit, sa catégorie, et son prix.
#On commence par créer un vecteur logique des SKUS dupliqués, qu'on rajoute comme une nouvelle colonne dans notre fichier Online.
Online$dups <- duplicated(Online$`Product SKU`)
#On conserve uniquement les lignes non dupliquées
Product_list <- Online %>% filter(dups == FALSE)
#On conserve seulement l'information pertinente
Product_list <- Product_list[c("Product SKU", "Product", "Product Category (Enhanced E-commerce)", "Avg. Price")]
#On rajoute le stock code à notre liste de produits
Product_list <- left_join(KEY_SKU, Product_list, by = "Product SKU")
#Notre liste de produits avec toutes les informations est prête!
glimpse(Product_list)
#On peut enlever la colonne dups de notre fichier Online
Online$dups <- NULL
#Et ensuite, rajouter toute l'information à notre fichier Retail
Retail <- merge(Retail, Product_list, by = "StockCode", all.x = TRUE)
Retail <- arrange(Retail, InvoiceDate, InvoiceNo)
#Nous pouvons calculer le reste de l'information manquante: les revenus et les taxes. Nous calculons par ligne d'abord:
perLine <- Retail %>% mutate(RevenuePerLine = Quantity * `Avg. Price`, TaxPerLine = RevenuePerLine * 0.014975)
#Puis nous groupons les lignes par numéro de commande:
perInvoiceNo <- perLine %>% group_by(InvoiceNo) %>% summarise(Revenue = sum(RevenuePerLine), Tax = sum(TaxPerLine))
#Puis nous joignons ces informations à nos données
Retail <- merge(Retail, perInvoiceNo, all.x = TRUE)
#Arrondissons le montant des taxes
Retail$Tax <- round(Retail$Tax, digits = 2)
#Et ajoutons des frais de livraison de 0
Retail <- Retail %>% mutate(Delivery = 0)
#On peut même enlever le StockCode et travailler uniquement avec le Product SKU
Retail$StockCode <- NULL
#Notre fichier Retail possède maintenant toutes les informations disponibles dans notre fichier Online!
glimpse(Online)
Dernière étape avant de faire nos analyses et nos visualisations: joindre les deux tableaux ensemble.
#Il faut d'abord renommer les colonnes pour qu'elles possèdent le même nom d'un côté comme de l'autre. Ça nous simplifiera la vie.
Retail <- Retail %>% rename("Transaction ID" = "InvoiceNo", "Date" = "InvoiceDate")
#On rajoute un colonne catégorielle à chaque tableau
Retail$Channel <- "Retail"
Online$Channel <- "Online"
#On joint
Full <- bind_rows(Online, Retail)
#Notre tableau complet est prêt!
Analyse des données
Maintenant que toutes nos données sont regroupées, il est très facile de faire des statistiques descriptives en utilisant les fonctions de base de R ainsi que les fonctions group_by(), filter() et summarize() de dplyr.
#Exemple: On peut calculer le revenu total annuel par Canal de vente (Online ou Retail)
Full_unique <- Full %>%
filter(duplicated(Full$`Transaction ID`) == FALSE)
Revenue_by_channel <- Full_unique %>%
group_by(Channel) %>%
summarize(sum(Revenue))
Revenue_by_channel
Rappelons les données que nous voulons obtenir et présenter pour notre rapport:
Revenus par catégorie par mois
Croissance par catégorie MoM
Estimation des ventes pour le mois suivant
Scénarios d’estimation des ventes en fonction du budget marketing
Nous allons produire et visualiser chacune de ces données. Débutons par créer un sommaire des revenus par canal, par catégorie, et par mois.
Revenus par mois par catégorie
#Créer la colonne "Mois-Année" qui va agir à titre de facteur de groupement
Full_unique$Mois_An <- format(as.Date(Full_unique$Date), "%Y-%m")
#Changer les vecteurs catégoriels en facteurs
Full_unique$`Product Category (Enhanced E-commerce)` <- as.factor(Full_unique$`Product Category (Enhanced E-commerce)`)
Full_unique$Mois_An <- as.factor(Full_unique$Mois_An)
Full_unique$Channel <- as.factor(Full_unique$Channel)
#Créer le sommaire des ventes par canal, mois et catégorie.
Full_summary <- Full_unique %>%
group_by(Channel, Mois_An, `Product Category (Enhanced E-commerce)`, .drop = FALSE) %>%
summarize(sum(Revenue))
#On remplace les ventes non catégorisées par une catégorie "Autres"
Full_summary$`Product Category (Enhanced E-commerce)` <- as.character(Full_summary$`Product Category (Enhanced E-commerce)`)
Full_summary$`Product Category (Enhanced E-commerce)` <- Full_summary$`Product Category (Enhanced E-commerce)` %>% replace_na("Other")
Full_summary$`Product Category (Enhanced E-commerce)` <- as.factor(Full_summary$`Product Category (Enhanced E-commerce)`)
Maintenant que nous avons notre sommaire de ventes par canal, par catégorie et par mois, nous pouvons commençer à créer nos visualisations.
#Initialisation de la date. Dans un cadre réel, nous utiliserions Sys.Date(), mais ici, nous utilisons une date fixe pour notre exemple.
sysdate <- as.Date(ymd_hms("2018-01-01 9:00:00"))
#Visualisation des ventes du dernier mois, par catégorie.
ggplot(data = filter(Full_summary, Mois_An == format(as.Date(sysdate %m+% months(-1)), "%Y-%m")), aes(x = reorder(`Product Category (Enhanced E-commerce)`, `sum(Revenue)`), y = `sum(Revenue)`, fill = Channel)) +
geom_col(position = "stack") +
coord_flip() +
theme_tufte() +
theme(legend.position = c(0.8, 0.15)) +
scale_fill_manual(values = c("#2c7bb6", "#abd9e9")) +
scale_y_continuous(labels = dollar) +
theme(axis.title.x = element_text(family = "Arial", colour="#484848", size=12),
axis.text.x = element_text(family = "Arial", colour="#484848", size=12),
axis.title.y = element_blank(),
axis.text.y = element_text(family = "Arial", colour="#484848", size=12),
legend.title = element_text(family = "Arial", colour="#484848", size=10),
legend.text = element_text(family = "Arial", colour="#484848", size=9),
plot.title = element_text(family = "Arial", colour="#484848", size=16),
plot.subtitle = element_text(family = "Arial", colour="#484848", size=10)) +
labs(y = "Revenus (En $)",
title = "Ventes par catégorie, par canal",
subtitle = (paste("Mois de", format(as.Date(sysdate %m+% months(-1)), "%B %Y"), sep = " ")),
fill = "Canal")
Maintenant, nous désirons obtenir la croissance des ventes par catégorie pour le dernier mois complet, comparé au mois précédent.
#Calcul de la croissance des ventes du dernier mois (Décembre) par rapport au mois précédent (Novembre)
Summary_current <- Full_summary %>% filter(Mois_An == format(as.Date(sysdate %m+% months(-1)), "%Y-%m"))
Summary_previous <- Full_summary %>% filter(Mois_An == format(as.Date(sysdate %m+% months(-2)), "%Y-%m"))
Summary_current$Growth <- (Summary_previous$`sum(Revenue)` - Summary_current$`sum(Revenue)`) / Summary_previous$`sum(Revenue)` * 100
#
Summary_current[is.na(Summary_current)] <- NA
Summary_current$Growth[is.infinite(Summary_current$Growth)] <- NA
#Visualisation de la croissance des ventes du dernier mois, en ligne, par catégorie.
ggplot(data = filter(Summary_current, Channel == "Online" & !is.na(Growth)), aes(x = reorder(`Product Category (Enhanced E-commerce)`, Growth), y = Growth, fill = Growth > 0)) +
geom_col() +
coord_flip(ylim = c(-100, 100)) +
theme_tufte() +
theme(axis.title.x = element_text(family = "Arial", colour="#484848", size=12),
axis.text.x = element_text(family = "Arial", colour="#484848", size=12),
axis.title.y = element_blank(),
axis.text.y = element_text(family = "Arial", colour="#484848", size=12),
plot.title = element_text(family = "Arial", colour="#484848", size=16),
plot.subtitle = element_text(family = "Arial", colour="#484848", size=10),
legend.position = "none"
) +
labs(y = "Variation MoM (en %)",
title = "Variation des ventes mensuelles en ligne",
subtitle = (paste("Mois de", format(as.Date(sysdate %m+% months(-1)), "%B %Y"), "par rapport à", format(as.Date(sysdate %m+% months(-2)), "%B %Y"), sep = " "))) +
scale_fill_manual(values=c("FALSE"= "#fdae61", "TRUE" = "#abd9e9"))
#Visualisation de la croissance des ventes du dernier mois, en magasin, par catégorie.
ggplot(data = filter(Summary_current, Channel == "Retail" & !is.na(Growth)), aes(x = reorder(`Product Category (Enhanced E-commerce)`, Growth), y = Growth, fill = Growth > 0)) +
geom_col()+
coord_flip(ylim = c(-100, 100)) +
theme_tufte() +
theme(axis.title.x = element_text(family = "Arial", colour="#484848", size=12),
axis.text.x = element_text(family = "Arial", colour="#484848", size=12),
axis.title.y = element_blank(),
axis.text.y = element_text(family = "Arial", colour="#484848", size=12),
plot.title = element_text(family = "Arial", colour="#484848", size=16),
plot.subtitle = element_text(family = "Arial", colour="#484848", size=10),
legend.position = "none"
) +
labs(y = "Variation MoM (en %)",
title = "Variation des ventes mensuelles en magasin",
subtitle = (paste("Mois de", format(as.Date(sysdate %m+% months(-1)), "%B %Y"), "par rapport à", format(as.Date(sysdate %m+% months(-2)), "%B %Y"), sep = " "))) +
scale_fill_manual(values=c("FALSE"= "#fdae61", "TRUE" = "#abd9e9"))
Maintenant que nous connaissons nos ventes et notre croissance par catégorie, nous aimerions faires des prévisions pour le mois prochain afin d’établir un objectif de ventes.
Si vous voulez apprendre à faire des modèles de séries temporelles, voici l’excellent cours sur Datacamp: Forecasting using R par Rob J. Hyndman, le créateur de la librairie forecast.
#Chargeons la librairie forecast qui permet de faire des modèles prédictifs de série temporelle, et la librairie xts qui permet de créer des objets de type séries de dates plus facilement
library(forecast)
library(xts)
#Créons les revenus journaliers totaux, incluant les ventes en ligne et en magasin
Revenue_daily <- Full_unique %>% group_by(Date) %>% summarize(sum(Revenue))
#Et une série de dates pour construire notre objet xts
dates <- seq(as.Date("2017-01-01"), length = 365, by = "days")
#Convertissons cet objet en format xts
Revenue_daily <- xts(Revenue_daily$`sum(Revenue)`, order.by = dates)
#Créons notre modèle prédictif de manière automatique
model <- auto.arima(Revenue_daily, stepwise = FALSE)
#Faisons une prédiction pour le nombre de jours dans le mois actuel
fcast <- forecast(model, h = days_in_month(sysdate))
#On jette un oeil rapide à la prédiction et aux valeurs prédites
plot(fcast)
En utilisant uniquement un modèle de série temporelles, il y aura toujours une marge d’erreur assez importante. Toutefois, il est aussi possible de créer plutôt un modèle de régression linéaire avec des erreurs ARIMA. Comme nous désirons conaitre l’effet de la publicité sur nos ventes, nous allons créer ce type de modèle avec des données sur le budget publicitaire online et offline, et ensuite faire des prédictions par scénarios.
#Commençons par importer un fichier avec les dépenses marketing par jour pour l'année 2017.
Marketing_spend <- read_csv("Marketing_Spend.csv",
col_types = cols(`Offline Spend` = col_double(),
`Online Spend` = col_double(), X1 = col_date(format = "%Y-%m-%d")))
#On crée trois modèles en ajoutant les budgets marketing comme régresseurs
model_spend_both <- auto.arima(Revenue_daily, stepwise = FALSE, xreg = cbind(Marketing_spend$`Online Spend`, Marketing_spend$`Offline Spend`))
model_spend_online <- auto.arima(Revenue_daily, stepwise = FALSE, xreg = Marketing_spend$`Online Spend`)
model_spend_offline <- auto.arima(Revenue_daily, stepwise = FALSE, xreg = Marketing_spend$`Offline Spend`)
#On observe le "fit" des modèles
summary(model_spend_both)
## Series: Revenue_daily
## Regression with ARIMA(3,0,0) errors
##
## Coefficients:
## ar1 ar2 ar3 intercept xreg1 xreg2
## -0.0879 -0.0553 0.0715 -24577.857 43.1001 2.6479
## s.e. 0.0523 0.0524 0.0529 2346.622 0.9302 0.7613
##
## sigma^2 estimated as 190771248: log likelihood=-3994.55
## AIC=8003.11 AICc=8003.42 BIC=8030.41
##
## Training set error measures:
## ME RMSE MAE MPE MAPE MASE
## Training set 8.370002 13698 11354.57 -12.31825 34.27963 0.3066989
## ACF1
## Training set -0.002404769
summary(model_spend_online)
## Series: Revenue_daily
## Regression with ARIMA(3,0,0) errors
##
## Coefficients:
## ar1 ar2 ar3 intercept xreg
## -0.0579 -0.0164 0.1133 -18797.216 44.0179
## s.e. 0.0527 0.0524 0.0531 1899.972 0.9144
##
## sigma^2 estimated as 195942090: log likelihood=-3999.95
## AIC=8011.9 AICc=8012.13 BIC=8035.3
##
## Training set error measures:
## ME RMSE MAE MPE MAPE MASE
## Training set 8.96493 13901.72 11577.88 -13.89588 34.22336 0.3127307
## ACF1
## Training set -0.008030993
summary(model_spend_offline)
## Series: Revenue_daily
## Regression with ARIMA(0,1,4) errors
##
## Coefficients:
## ma1 ma2 ma3 ma4 xreg
## -0.9442 -0.1772 0.0047 0.1510 14.0375
## s.e. 0.0517 0.0723 0.0749 0.0534 1.6692
##
## sigma^2 estimated as 1.224e+09: log likelihood=-4323.92
## AIC=8659.84 AICc=8660.07 BIC=8683.22
##
## Training set error measures:
## ME RMSE MAE MPE MAPE MASE
## Training set 356.6522 34692.86 26926.26 -69.75817 96.22966 0.7273065
## ACF1
## Training set 0.005368986
Le modèle incluant les deux régresseurs est supérieur (AIC plus faible). On remarque aussi que le budget de marketing offline a peu d’effet sur les ventes, avec un coefficient de seulement 2.64, comparé à un coefficient de 43.10 pour le budget de marketing online. Une autre chose intéressante est que le AIC du modèle incluant les régresseurs est beaucoup plus faible que celui n’incluant pas les régresseurs, ce qui indique que nous devrions être en mesure de faire des prédictions plus précises.
Créons maintenant nos prédictions qui incluent le budget marketing prévu.
#Il faut d'abord créer des tableaux avec des scénarios d'augmentation de budgets en fonction des budgets du mois précédent.
Budget_same <- Marketing_spend %>%
filter(X1 <= (ceiling_date(as.Date(sysdate %m+% months(-1)), "month") - days(1)) & X1 >= as.Date(sysdate %m+% months(-1)))
Budget_higher_online <- Marketing_spend %>%
filter(X1 <= (ceiling_date(as.Date(sysdate %m+% months(-1)), "month") - days(1)) & X1 >= as.Date(sysdate %m+% months(-1))) %>%
mutate(`Online Spend` = `Online Spend` * 1.25)
Budget_higher_offline <- Marketing_spend %>%
filter(X1 <= (ceiling_date(as.Date(sysdate %m+% months(-1)), "month") - days(1)) & X1 >= as.Date(sysdate %m+% months(-1))) %>%
mutate(`Offline Spend` = `Offline Spend` * 1.25)
#On peut maintenant créer trois prédictions avec nos trois scénarios
fcast_same <- forecast(model_spend_both, xreg = cbind(Budget_same$`Online Spend`, Budget_same$`Offline Spend`), h = days_in_month(sysdate))
fcast_higher_online <- forecast(model_spend_both, xreg = cbind(Budget_higher_online$`Online Spend`, Budget_higher_online$`Offline Spend`), h = days_in_month(sysdate))
fcast_higher_offline <- forecast(model_spend_both, xreg = cbind(Budget_higher_offline$`Online Spend`, Budget_higher_offline$`Offline Spend`), h = days_in_month(sysdate))
#On jette un oeil à nos prédictions. Laquelle semble la plus intéressante?
plot(fcast_same)
plot(fcast_higher_online)
plot(fcast_higher_offline)
Maintenant que nous avons nos prédictions avec nos trois scénarios, nous allons visualiser celles-ci. En premier lieu, nous allons refaire notre estimation précédente des ventes du mois avec notre nouveau modèle plus précis.
#On crée notre tableau de données à visualiser
df_same <- data.frame(Bas = sum(fcast_same$lower[,1]), Moyen = sum(fcast_same$mean), `Élevé` = sum(fcast_same$upper[,1]))
df_long_same <- gather(df_same, key = "Estimation", value = "value")
#On crée notre visualisation
ggplot(data = df_long_same, aes(x = Estimation, y = value, fill = Estimation, label = dollar(value))) +
geom_bar(stat="identity", position = "dodge") +
geom_text(hjust = 1.1, size = 5, color = "#ffffff") +
coord_flip() +
theme_tufte() +
scale_y_continuous(labels = dollar) +
scale_x_discrete(limits = c("Élevé", "Moyen", "Bas")) +
scale_fill_manual(values = c("#abd9e9", "#abd9e9", "#2c7bb6")) +
labs(title = (paste("Estimation des ventes pour le mois de", format(as.Date(sysdate), "%B %Y"), sep = " ")),
subtitle = "Budget de marketing identique au mois précédent",
caption = "Régression linéaire du budget marketing sur les ventes avec erreurs ARIMA\nNiveau de confiance 80%") +
theme(
axis.title.x = element_blank(),
axis.text.x = element_text(family = "Arial", colour="#484848", size=12),
axis.title.y = element_blank(),
axis.text.y = element_text(family = c("Arial", "Arial Black", "Arial"), colour="#484848", size=12),
plot.title = element_text(family = "Arial", colour="#484848", size=16),
plot.subtitle = element_text(family = "Arial", colour="#484848", size=10),
plot.caption = element_text(family = "Arial", colour="#484848", size=8),
legend.position = "none"
)
Déjà beaucoup plus précis! Maintenant, nous allons créer une visualisation qu démontre les trois scénarios dans un seul graphique, afin qu’il soit évident de la décision à prendre.
#On crée notre tableau de données à visualiser
df_budget <- data.frame(Budget = c("Identique", "25% de plus en ligne", "25% de plus hors ligne"),
Moyen = c(sum(fcast_same$mean), sum(fcast_higher_online$mean), sum(fcast_higher_offline$mean)))
#On crée notre visualisation
ggplot(data = df_budget, aes(x = Budget, y = Moyen, fill = Budget, label = dollar(Moyen))) +
geom_bar(stat="identity", position = "dodge") +
geom_text(hjust = 1.1, size = 5, color = "#ffffff") +
coord_flip() +
theme_tufte() +
scale_y_continuous(labels = dollar) +
scale_fill_manual(values = c("#2c7bb6", "#abd9e9", "#abd9e9")) +
scale_x_discrete(limits = c("25% de plus en ligne", "25% de plus hors ligne", "Identique")) +
labs(title = (paste("Estimation des ventes pour le mois de", format(as.Date(sysdate), "%B %Y"), sep = " ")),
subtitle = "En fonction d'une augmentation du budget marketing en ligne ou hors ligne",
caption = "Prédictions calculées à partir de la moyenne du modèle de régression\n linéaire du budget marketing sur les ventes avec erreurs ARIMA") +
theme(
axis.title.x = element_blank(),
axis.text.x = element_text(family = "Arial", colour="#484848", size=12),
axis.title.y = element_blank(),
axis.text.y = element_text(family = c("Arial Black", "Arial", "Arial"), colour="#484848", size=12),
plot.title = element_text(family = "Arial", colour="#484848", size=16),
plot.subtitle = element_text(family = "Arial", colour="#484848", size=10),
plot.caption = element_text(family = "Arial", colour="#484848", size=8),
legend.position = "none"
)
Démarrage de l’instance Google Compute Engine
Maintenant que nous avons tous les rapports que nous désirons envoyer chaque mois, il nous reste seulement deux étapes. La première est de créer une instance de RStudio dans Google Compute Engine, et la deuxième est de créer un script dans cette instance qui enverra notre rapport chaque mois. Commençons par créer notre instance de RStudio dans Google Compute Engine avec la librairie googleComputeEngineR.
La première étape est de créer un compte Google Compute Engine. Il faut ajouter une carte de crédit, mais l’utilisation d’un serveur f1-micro est gratuit. C’est amplement assez performant pour la tâche qu’on va lui demander une fois par mois.
Ensuite, il faut créer notre projet, puis aller chercher les détails de notre “Service Account” en format JSON: API Manager -> Credentials -> Create credentials -> Service account key -> Key type = JSON. On ajoute ce fichier au dossier de travail de notre projet. À noter que c’est ce fichier JSON qui contient les informations d’accès au compte GCE: il convient donc de bien le protéger.
Ensuite, il faut créer un fichier .Renviron dans notre dossier de travail (avec le bloc-note) qui sera chargé automatiquement lorsque la librairie sera activée. Ce fichier doit contenir les éléments suivants:
GCE_AUTH_FILE = "C:/My First Project-168c949fa5ac.json" #L'emplaçement du fichier JSON créé précédemment.
GCE_DEFAULT_PROJECT_ID = "mineral-highway-236314" #Le project ID du "My First Projet" créé par Google lors de la création du compte, ou un autre projet si vous préférez.
GCE_DEFAULT_ZONE = "us-east1-b" #L'emplaçement du serveur, qui devrait être celui-ci si vous vous connectez à partir de la cote est.
Ensuite, le code pour créer la nouvelle instance GCE est excessivement simple.
library(googleComputeEngineR)
vm <- gce_vm(template = "rstudio",
name = "autoemailer", #Nom qu'on désire donner à l'instance
username = "waq", #Nom d'utilisateur pour RStudio
password = "qwertyiscool", #Mot de passe pour RStudio
predefined_type = "n1-standard-1") #Type de serveur
Le f1-micro est le seul serveur gratuit, mais j’ai plutôt utilisé un n1-standard-1 à environ 25$/mois car les librairies utilisées pour l’exemple dépassaient la capacité de mémoire du petit f1-micro.
Préparation de l’instance de machine virtuelle
Il faut d’abord installer les librairies qui ne sont pas incluses dans l’image de base. Mais avant cela, il faut installer java ainsi que rJava via le terminal de notre instance (Linux Debian 8) car ils sont une dépendance de la librairie mailR que nous utiliserons pour l’envoi de courriel.
Ensuite, si on veut que les dates soient formattées correctement, il faut créer la locale fr_FR.UTF-8, encore une fois dans le terminal, avec l’application à cet effet:
sudo dpkg-reconfigure locales
Et créer un fichier .Renviron avec les locales qui seront chargées au start-up de R:
Et enfin, installer et activer le service cron dans le terminal
sudo apt-get install cron
sudo cron start
Création du script d’envoi de courriel automatique
J’ai d’abord créé une version abrégée du fichier actuel en format R Markdown, contenant uniquement les graphiques ainsi qu’une courte explication de ceux-ci. J’ai téléversé ce fichier sur mon instance GCE directement via RStudio. Ensuite, il faut téléverser tous les documents que nous avons utilisés jusqu’ici. Le plus simple est de les copier via un fichier .zip qui sera automatiquement décompressé à l’arrivée.
Une fois que c’est fait, voici le script à utiliser:
#Créer le rapport en html à partir du fichier .rmd
rapport <- rmarkdown::render("Rapport_Mensuel.Rmd")
#Envoyer le courriel
mailR::send.mail(from = "[email protected]",
to = "[email protected]",
subject = "Rapport de performance du mois",
body = "Rapport_Mensuel.html",
html = TRUE,
inline = TRUE,
smtp = list(host.name = "smtp.gmail.com", port = 465, user.name = "[email protected]", passwd = "xxxxxxxx", ssl = TRUE),
authenticate = TRUE,
send = TRUE)
La toute dernière étape est de sélectionner ce script dans l’onglet Tools –> Addins –> cronR afin de sélectionner la fréquence désirée!
Voila, vous reçevrez maintenant vos rapports dans votre boite courriel, toujours mis à jour, sans lever le petit doigt!
