Chapitre 5 : Données structurées.

🕐 Historique :

  • 1930 : utilisation des cartes perforées, premier support de stockage de données
  • 1956 : invention du disque dur permettant de stocker de plus grandes quantités de données, avec un accès de plus en plus rapide
  • 1970 : invention du modèle relationnel (E. L. Codd) pour la structuration et l’indexation des bases de données
  • 1979 : création du premier tableur, VisiCalc
  • 2009 : Open Government Initiative du président Obama
  • 2013 : charte du G8 pour l’ouverture des données publiques

1. Le Format CSV

Qu'est-ce que le Format CSV ?

Le format CSV (Comma-Separated Values) est une méthode de stockage de données tabulaires sous forme de texte. Les valeurs sont séparées par des virgules (ou un autre délimiteur) et chaque ligne représente un enregistrement.

Structure d'un Fichier CSV :

Un fichier CSV est composé de lignes et de colonnes. Les valeurs dans chaque ligne sont séparées par un caractère de délimiteur, souvent une virgule ou un point-virgule.

Nom,Âge,Ville
Alice,25,Paris
Bob,30,Londres
Eve,28,New York

Utilité du Format CSV :

Le format CSV est utilisé pour échanger des données entre différentes applications, bases de données et tableurs. Il est simple à créer, à lire et à interpréter.

2. Des données publiques

Beaucoup de données sont publiques et peuvent être trouvées sur https://www.data.gouv.fr/fr/

3. Exercice : lecture d'un fichier CSV en Python.

À faire dans le cahier.

À partir du site www.data.gouv.fr, votre professeur a téléchargé un fichier contenant le nombre de personnes résidant dans les communes de la région PACA en 2016 et pour quelques années précédentes.

  1. Télécharger dans votre dossier SNT/chapitre5 le fichier csv contenant la population de chaque commune de la région Provence Alpes Côte d'Azur.
  2. Ouvrir le fichier population_paca.csv avec un éditeur de texte type Bloc-Notes puis expliquer brièvement ce que contient ce fichier.
  3. Dans un tableur, ouvrir le fichier population_paca.csv.

    1. Combien la ville de Nice comporte d'habitants en 2016 ?
    2. Quelle est la superficie de Carros en \( km ^2 \) ?
  4. On peut aussi utiliser un programme Python pour ouvrir cela :

      1. Écrire le programme suivant :

        import os
        os.chdir("U:\\SNT\\chapitre5")
        f = open("population_paca.csv")
        descripteurs = f.readline()
        print(descripteurs)
        ligne = f.readline()
        print(ligne)
      2. Expliquer les deux lignes obtenues.
      1. Écrire le programme suivant :

        import os
        os.chdir("U:\\SNT\\chapitre5")
        f = open("population_paca.csv")
        descripteurs = f.readline()
        for i in range(10):
            ligne = f.readline()
            print(ligne)
      2. Expliquer la ligne avec la commande for.

      3. Expliquer l'affichage.

      1. Écrire le programme suivant :

        import os
        os.chdir("U:\\SNT\\chapitre5")
        f = open("population_paca.csv")
        descripteurs = f.readline()
        for i in range(10):
            ligne = f.readline()
            donnees = ligne.split(",")
            print(donnees[1])
      2. Expliquer la ligne avec la commande split.

      3. Expliquer l'affichage.

      1. Écrire le programme suivant :

        import os
        os.chdir("U:\\SNT\\chapitre5")
        f = open("population_paca.csv")
        descripteurs = f.readline()
        ligne = f.readline()
        compteur = 0
        while ligne != "":
            donnees = ligne.split(",")
            if donnees[0][:2] == "06":
                compteur = compteur + int(donnees[3])
            ligne = f.readline()
        print(compteur)
      2. Expliquer la ligne avec la commande while.

      3. Expliquer la ligne avec la commande if.

      4. Expliquer ce qu'affichent en dernier ces commandes.

    1. Combien y a-t-il d'habitants dans le Var ?

4. Découvrir le Format de Fichier vCard (VCF) : Stocker les Informations de Contact

Qu'est-ce que le Format de Fichier vCard (VCF) ?

Le format de fichier vCard (VCF) est un standard qui permet de stocker les informations de contact d'une personne ou d'une organisation, telles que les noms, les adresses, les numéros de téléphone et les adresses e-mail. Il facilite l'échange de ces informations entre différentes applications et dispositifs.

Structure d'un Fichier VCF :

Un fichier VCF suit une structure spécifique, divisant les informations de contact en champs distincts.

BEGIN:VCARD
VERSION:3.0
FN:John Doe
TEL;TYPE=CELL:123-456-7890
EMAIL:john@example.com
END:VCARD

Champs Clés dans un Fichier VCF :

Utilité du Format VCF :

Le format VCF est couramment utilisé pour exporter, importer et synchroniser les informations de contact entre différents logiciels et dispositifs, tels que les carnets d'adresses, les clients de messagerie et les smartphones.

5. Exercice : lecture d'un fichier vCard.

À faire dans le cahier.

On considère cet extrait d'un document vCard :

BEGIN:VCARD
VERSION:4.0
FN : Evariste Galois
N : Galois;Evariste;;Pr;
EMAIL : evariste.galois@ens-ulm.fr
TEL:06 31 41 59 26
ADR :;;45 rue d’Ulm;Paris;;75005;France
END:VCARD
BEGIN:VCARD
VERSION:4.0
FN : Henri Cartin
N : Cartan;Henri;;Pr;
EMAIL : henri.cartan@univ-upmc.fr
TEL :06 98 76 54 32
END:VCARD
BEGIN:VCARD
VERSION:4.0
FN : Schwartz Laurent
N : Schwartz;Laurent;;Pr;
EMAIL : laurent-schwartz@univ-tlse3.fr
ADR :;Université Paul Sabatier;118 route de Narbonne;Toulouse;;31062;France
END:VCARD
  1. Indiquer le nombre de contacts.
  2. Préciser les prénoms des contacts. Comment les reconnaitre dans le fichier ?
  3. Peuvent-ils tous être contactés par mail ?
  4. Peuvent-ils tous être contactés par téléphone ?

6. Les métadonnées

Les données comme les métadonnées peuvent être capturées et enregistrées par un dispositif matériel ou bien renseignées par un humain. Elles sont de différents types (numériques, textes, dates) et peuvent être traitées différemment (calcul, tri, affichage, etc.). Certaines collections typiques sont utilisées dans des applications et des formats standardisés leur sont associés : par exemple le format ouvert vCard (extension .vcf) pour une collection de contacts.

7. Exercice : Comprendre les Métadonnées

Instructions : Répondez aux questions suivantes en choisissant la bonne réponse parmi les options fournies. Vous mettrez la correction dans votre cahier.

  1. Qu'est-ce que les métadonnées ?
    1. Des données sensibles et confidentielles.
    2. Des données qui décrivent d'autres données.
    3. Des données qui ne sont pas importantes.
    4. Des données stockées dans un format spécial.
  2. Quel est le rôle des métadonnées ?
    1. Stocker des données complexes.
    2. Assurer la sécurité des données.
    3. Fournir des informations sur les données.
    4. Transformer les données en informations.
  3. Les métadonnées peuvent inclure :
    1. Des images et des vidéos.
    2. Uniquement du texte brut.
    3. Des informations sur la date de création, l'auteur, la taille, etc.
    4. Des programmes informatiques.
  4. Quelle est l'importance des métadonnées ?
    1. Elles permettent de stocker davantage de données.
    2. Elles facilitent la navigation sur Internet.
    3. Elles aident à organiser, rechercher et gérer les données.
    4. Elles augmentent la vitesse de l'ordinateur.
  5. Où pouvez-vous trouver des métadonnées ?
    1. Uniquement sur les sites Web.
    2. Dans les fichiers, les documents, les images et les vidéos.
    3. Uniquement sur les réseaux sociaux.
    4. Uniquement dans les bases de données.

8. Base de données

Une base de données regroupe plusieurs collections de données reliées entre elles. Par exemple, la base de données d’une bibliothèque conserve les données sur les livres, les abonnés et les emprunts effectués.

9. Le cloud

Actuellement, beaucoup d'utilisateurs ont leurs données dans ce qu'on appelle le cloud.

10. QCM : le cloud, stockage et puissance de calcul

À faire dans le cahier.

Tu noteras dans ton cahier les questions et les bonnes réponses associées.

  1. Que désigne le « cloud » ?
    1. Un logiciel installé sur ton propre ordinateur.
    2. Des serveurs distants, regroupés dans des centres de données, qui stockent des données et effectuent des calculs, accessibles par Internet.
    3. Une zone de mémoire réservée dans le disque dur de ta machine.
    4. Le réseau de câbles sous-marins qui relie les continents.
  2. Quand tu déposes un fichier personnel dans le cloud d'un fournisseur, qui en détient la maîtrise physique ?
    1. Toi seul : le fournisseur n'a aucun accès à ce que tu stockes.
    2. Personne, le fichier n'existe plus vraiment.
    3. Le fournisseur, qui possède les serveurs : tes données dépendent de ses règles, de sa sécurité et de la confiance que tu lui accordes.
    4. L'État, qui contrôle tous les centres de données.
  3. Pourquoi dit-on que confier ses données au cloud, c'est risquer d'en perdre la maîtrise ?
    1. Parce que les données changent toutes seules de contenu.
    2. Parce que le fournisseur peut modifier ses conditions, fermer le service, ou subir une panne ou un piratage, sans que tu puisses l'en empêcher.
    3. Parce que les données deviennent automatiquement publiques au bout d'un an.
    4. Parce qu'un fichier en ligne ne peut jamais être copié.
  4. Le cloud ne sert pas qu'à stocker : il fournit aussi de la puissance de calcul. Une intelligence artificielle générative (agent conversationnel, génération d'images) réalise ses calculs…
    1. entièrement sur ton téléphone, même sans connexion.
    2. sur d'immenses serveurs distants ; ton appareil ne fait qu'envoyer la demande puis afficher la réponse.
    3. dans la mémoire de ta carte SIM.
    4. sans aucun ordinateur, uniquement dans les câbles.
  5. Dans le jeu vidéo en streaming (« cloud gaming »), où le jeu est-il réellement exécuté ?
    1. Sur ta console ou ton PC, comme un jeu installé normalement.
    2. Sur des serveurs distants qui calculent l'image du jeu et te l'envoient en vidéo ; ton écran affiche l'image et renvoie tes commandes.
    3. Nulle part, le jeu est recalculé par ta manette.
    4. Sur une clé USB branchée à la télévision.
  6. Quel est le principal intérêt d'utiliser la puissance de calcul du cloud plutôt que celle de ton seul appareil ?
    1. Cela fonctionne toujours, même sans connexion à Internet.
    2. Cela permet d'accéder à une puissance de calcul énorme sans posséder soi-même un matériel coûteux, et de l'adapter selon les besoins.
    3. Cela ne consomme aucune énergie où que ce soit.
    4. Cela rend ton propre appareil définitivement plus puissant.
  7. Utiliser massivement le stockage et la puissance de calcul du cloud a une contrepartie. Laquelle ?
    1. Cela ne nécessite jamais de connexion Internet.
    2. Cela supprime toute dépendance vis-à-vis des grandes entreprises.
    3. Cela crée une dépendance à la connexion et aux fournisseurs, et repose sur des centres de données qui consomment beaucoup d'électricité.
    4. Cela empêche définitivement tout piratage des données.