Traiter des données

1.3 Traiter des données

Ce que recouvre la compétence : appliquer des traitements à des données pour les analyser et les interpréter, avec un tableur, une base de données, un programme ou un outil d'enquête. Thématiques Pix : structure des données, formules et calculs, tri et filtrage, représentation graphique, interprétation critique, formats de données.

Progression par niveaux (résumé)

• N1-N2 : saisir des données dans un tableau, faire une somme ou une moyenne simple, trier une colonne.
• N3 : écrire des formules, utiliser références relatives et absolues, filtrer, produire un graphique adapté.
• N4-N5 : croiser des données (tableaux croisés dynamiques), importer/exporter des formats comme le CSV, mener une enquête et en analyser les résultats.
• N6+ : interroger une base de données, automatiser un traitement, détecter un biais ou une représentation trompeuse.

Version Linux et libre

Tableur

• LibreOffice Calc : formules, $A$1 vs A1, tri, filtre automatique, validation de données, tableaux croisés dynamiques, graphiques
• Gnumeric : plus léger, réputé pour la justesse de ses fonctions statistiques
• Grist : entre tableur et base de données, libre, utilisé par l'administration française (auto-hébergeable)

Formats de données

• CSV : le piège classique de l'encodage (UTF-8) et du séparateur (; en France à cause de la virgule décimale)
• JSON, XML, ODS ; comprendre qu'un même jeu de données peut circuler sous plusieurs formes

Bases de données

• LibreOffice Base : tables, relations, formulaires, requêtes
• SQLite avec DB Browser for SQLite : idéal pour découvrir le SQL (SELECT, WHERE, GROUP BY)
• PostgreSQL ou MariaDB pour aller plus loin

Nettoyage de données

• OpenRefine : dédoublonner, harmoniser des valeurs, corriger des incohérences

En ligne de commande (spécificité Linux très parlante)

• wc, sort, uniq -c, cut, grep, awk : compter et agréger un fichier texte en une ligne
• jq pour le JSON, csvkit ou Miller (mlr) pour le CSV

Programmation et analyse

• Python avec pandas et matplotlib, dans JupyterLab
• R pour les statistiques
• gnuplot pour des graphiques scriptés

Enquêtes

• LimeSurvey : questionnaires et export des résultats vers Calc ou CSV

Données ouvertes et cartographie

• data.gouv.fr, INSEE, OpenStreetMap comme sources réelles
• QGIS pour traiter des données géographiques

Interprétation critique

• Moyenne vs médiane, corrélation vs causalité
• Repérer un graphique trompeur : axe tronqué, échelle inadaptée, camembert surchargé

Idées d'activités

• Télécharger un jeu de données sur data.gouv.fr, résoudre le problème d'import CSV dans Calc, puis produire un graphique
• Comparer le même calcul fait dans Calc, en SQL sur SQLite et en une ligne de shell
• Nettoyer un fichier volontairement « sale » avec OpenRefine
• Créer un questionnaire LimeSurvey dans le groupe, puis analyser les réponses avec un tableau croisé dynamique
• Corriger un graphique trompeur trouvé dans la presse