Atelier : Visualiser les données issues du web avec un logiciel SIG

Comment interroger le web des données

Objectifs

Apprendre à interroger le web des données et à tirer profit des ressources disponibles

Outils

Un navigateur web (de préférence Firefox)

Fuseki, serveur SPARQL à installer en local [clé USB]

Le logiciel Calc de la suite bureautique LibreOffice

Ressources

Pour une liste de différentes ressources disponibles, voir ressources_sparql

Programme

Le web des données

Les principes du web du données: les 5 étoiles

Grammaire et syntaxes: RDF, RDFS, OWL

Vocabulaires, ontologies

Sérializations, espaces de noms

Les ressources disponibles

Comment les trouver

Comment comprendre leur fonctionnement

Comment s'en servir

Interroger le web des données

Le langage SPARQL

Le logiciel Fuseki

Procédure (documentation)

Deux exemples

Les universités dans le monde / en Europe

Utiliser DBPedia Live pour trouver les Universités du monde entier

Les données statistiques des pays de la Communauté européenne

Les données de la Communauté européenne

Visualiser les données avec QGIS

Objectifs

Après une première partie de journée consacrée à l’interrogation des données sur le web, cette deuxième partie consiste à leur visualisation avec un SIG et plus particulièrement le logiciel QGIS

Supports

Beaucoup de tutoriels régulièrement mis à jour existent sur le web, parmi eux celui-ci libre de droit:QGIS V2

Outils

Logiciel GIMP : Outil d'édition et de retouche d'image et est diffusé sous la licence GPLv3 comme un logiciel gratuit et libre. Il en existe des versions pour la plupart des systèmes d'exploitation dont GNU/Linux, OS X, et Microsoft Windows.

Logiciel QGIS : Système d'Information Géographique (SIG) convivial distribué sous licence publique générale GNU. C'est un projet officiel de la fondation Open Source Geospatial (OSGeo). Il est compatible avec Linux, Unix, Mac OS X, Windows et Android et intègre de nombreux formats vecteur, raster, base de données et fonctionnalités.

Données géographiques

Données géographiques Eurostat : Données géographiques de références pour les statistiques européennes. Lors de leur utilisation leur source doit être citée dans la légende de la carte et dans la page d'introduction de la publication, accompagnée de la mention suivante: : FR: © EuroGeographics pour les limites administratives.

Télécharger le dossier de données NUTS_2010_10M_SH.zip

Natural Earth. Consulter les droits d'utilisation

Télécharger le dossier de données HYP_50M_SR_W.zip

Autres ressources

www.gadm.org

Les géocodeurs : Google Map, Google Earth, Geonames…

Les organismes qui fournissent de l'Open Data en téléchargement ou via les web-services : WMS, WFS

Données IGN : Licences spécifiques pour la recherche et l'enseignement

Installation et découverte du logiciel QGIS

Affichage et préparation des données géographiques

Données géographiques

Affichage des données Eurostat

Système de géoréférencement : ETRS89 = EPSG:4258

Couche > Ajouter une couche vecteur

Visualisation des couches et de leurs métadonnées

Exploration de la couche NUTS_RG_10M_2010.shp

Exploration des différents niveaux administratifs des polygones

Vue > Identifier les entités

Sélection des polygones représentant les frontières des pays

Faire une requête attributaire à partir de la table d'attributs des polygones

Couche > Propriétés > Ouvrir la table d'attributs > Select by expression > “STAT_LEVL_” = 0

Création d'une nouvelle couche à partir de la sélection

Couche > Propriétés > Sauvegarder sous > Cocher la case “n'enregistrer que les entités sélectionnées” > Donner un nom à la nouvelle couche > Valider

Afficher la nouvelle couche

Couche > Ajouter une couche vecteur

Pour télécharger le résultat : NUTS_RG_10M_2010_pays.zip

Données tabulaires

Utilisation des données issues du web de données.

Récupération des données au format .csv (cf 1ère partie du bootcamp) : Fichier nettoyé

Observation du fichier .csv

Ces données comprennent des valeurs et des coordonnées X Y du lieu concerné. Ces valeurs peuvent être utilisées pour créer des points et les projeter dans QGIS.

Couche > Ajouter une couche de texte délimité

Indiquer l'emplacement du fichier “resultat_corrige”

Dans “autre délimiteurs” indiquer le séparateur “|”

Indiquer le champ X = “long” et le champ Y = “lat”

Indiquer le code EPSG des coordonnées : 4326

Enregistrer cette projection au format .shp

Afficher la nouvelle couche

Exploration et analyse des données

Les requêtes attributaires

Les requêtes attributaires se font avec la table d'attributs des données vectorielles, points, lignes ou polygones

Couche > Propriétés > Ouvrir la table d'attributs > Select by expression

Vous pouvez tester les requêtes sur les données, par exemple les universités de + de … inscrits etc..

Tous les résultats peuvent être enregistrés dans de nouvelles couches. Ceci nous servira en fin de travail pour mettre au point une carte.

Fonctions de requête spatiale

Autre outil de sélection géographique par requête dans Vecteur > Requête spatiale.

Pour installer cette extension aller dans Extension > Gestionnaire d'extension et rechercher requête spatiale

Vous trouverez dans cet outil les opérateurs de requête spatiale : Contient, A l'intérieur, Croise, Intersecte, Est disjoint, Est égal

Tester avec l'outil : Sélection des entités sources depuis > “résultat_corrige”, Où l'entité > “à l'intérieur”, Entités références de “NUTS_RG_10M_2010_pays

Vérifier et ajouter les entités non sélectionnées à cause de l'imprécision des données

Enregistrer la sélection dans une nouvelle couche > resultat_corrige_europe.csv.shp

Ajouter la nouvelle couche à la carte

Outils d'analyse spatiale :

Avant de se lancer dans l'analyse spatiale il faut bien réfléchir à la finalité du travail

Vecteur > Outils de géotraitement

Pour chaque outil :

La couche vectorielle de saisie est l'input, couche sur laquelle on agit

La couche d'intersection est la couche qui participe à l'opération, le feature.

Le fichier de sortie est la couche résultante de l'opération, l'output.

Les principaux outils sont :

Tampons pour créer une zone tampon autour d'une entité

Découper pour découper une couche selon le feature

Intersection pour assembler des portions d'entités qui se superposent ou ayant une limite commune

Regrouper pour créer des fusions entre entités selon un champ donné

Union pour assembler des entités qui se superposent

Différencier pour récupérer tout ce qui n'est pas égal au feature.

Tester la création d'une zone tampon autour d'un polygone:

Tampon > Couche vectorielle de saisie “NUTS_RG_10M_2010_pays”

Distance tampon > 0.01

Définir un fichier de sortie, lancer le traitement et ajouter la nouvelle couche.

Tester la possibilité de compter le nombre de points dans un polygone, par exemple le nombre d'université par pays

Vecteur > Outil d'analyse > Compter les points dans les polygones > Indiquer les deux couches, le nom du champ en sortie (ex: nbr_univ) et la nouvelle couche : NUTS_RG_10M_2010_pays_univ.shp

Ajouter la nouvelle couche et vérifier la présence des nouvelles données attributaires

Jointures attributaires ou spatiales

Les principes de la jointure attributaire

Fenêtre des propriétés de la couche > Onglet Jointure

Utilisée pour joindre des données tabulaires à partir d'un champ contenant un identifiant commun à la couche et à la table

Voir pour faire une mise en pratique avec un fichier contenant une valeur par pays. Jointure sur le champ ID du pays.

Tester la jointure spatiale : Ajouter à la table d'attribut des universités l'indicatif du pays auquel elles appartiennent

Dans Vecteur > Outil de gestion de données > Joindre les attributs par localisation

Indiquer la couche vecteur “resultat_corrige_europe” et joindre la couche vecteur “NUTS_RG_10M_2010_pays”

Indiquer un fichier de sortie “resultat_corrige_europe_join”, lancer le traitement et ajouter la nouvelle couche

Vérifier la présence des nouvelles données attributaires

Tester la sélection attributaire ou spatiale des université françaises

Cartographie des données

La symbologie des couches

Pour gérer la symbologie d'une couche: clic droit sur la couche puis Propriétés > Style

Regarder les différentes possibilités de symbologie avec les couche des polygones ou celle des points. Il y a la plupart du temps deux possibilités de représentation, celle des cartes choroplètes (carte de surface) pour les valeurs relatives et catégories attributaires ou des points proportionnels pour les valeurs absolues.

Un exemple, celui du nombre d'université par pays :

La table d'attribut de la couche NUTS_RG_10M_2010_pays_univ contient le nombre d'université dans le champ nbr_univ. Nous souhaiterions le représenter par un point proportionnel mais il s'agit de polygone. Pour cela :

Vecteur > Outils de géométrie > Centroïdes de polygones > choisir la couche NUTS_RG_10M_2010_pays_univ

Enregistrer le résultat dans NUTS_RG_10M_2010_pays_univ_point.shp et ajouter la couche

Les points centroïdes des polygones s'affichent. Il est possible d'éditer la couche pour déplacer et recentrer si besoin les points. C'est le cas de la France entre autre.

Pour la création des points proportionnels, deux solutions :

Par symbole unique proportionnel

Propriétés > Style > Symbole unique pour définir le style du symbole unique.

Avancé > Champ de proportion pour indiquer le champ de type entier qui définira la proportionnalité des points.

Jouer sur la taille du symbole pour gérer la taille définitive des points.

Par diagramme proportionnel

Propriétés > Diagramme > Afficher les diagrammes.

Dans onglet Taille > Décocher Taille fixe > choisir le champ Attribut > Trouver la valeur maximale > donner une Taille maximale à l'échelle de Surface et une Taille minimale.

Dans Attributs définir le champ contenant les données à représenter de manière proportionnelle.

Dans onglet Position > Emplacement choisir Sur le point pour que le diagramme proportionnel soit centré.

Autre exemple, nous souhaiterions représenter le nombre d'université par pays via une carte choroplète

Par symbole gradué

Propriétés > Style > Symbole gradué pour définir la palette, les classes, leur nombre et la méthode de discrétisation.

Intervalles égaux : Les classes sont d'étendue égale. L'étendue totale de la variable (max - mini) est calculée puis divisée par le nombre de classes désiré (qui apparaît dans le champ classe).

Quantiles (effectifs égaux): cette méthode consiste à utiliser un même nombre ou une même fréquence de valeurs par classe. Il y a le même nombre dans chaque classe.

Ruptures naturelles (Jenks) : cette méthode est souvent la plus performante. Elle permet d'obtenir des classes très proches des formes de la distribution de la variable.

Ecart-type : cette méthode de discrétisation repose sur la moyenne.

Jolies ruptures : cette méthode utilise un algorithme du logiciel de statistique R.

Tester les différentes possibilités et visualiser avec le bouton Appliquer

Composeur d'impression

Rappel sur la mise en page d'une carte avec le composeur d'impression

Projet > Nouveau composeur d'impression.

Intégrer tous les éléments indispensables à la carte : Carte-s, légende, titre, orientation, échelle, sources, nom et dates de réalisation.

Exportation de la mise en page : Composeur > Exporter comme image

Il est préférable d'exporter en PNG lorsqu'il s'agit de vecteurs et en JPEG lorsque le projet contient des rasters.