Différences

Ci-dessous, les différences entre deux révisions de la page.

--- thatcamp_2014:session_thatcamp2014 [2014/10/08 15:08]
Charlotte Butez [Affichage et préparation des données géographiques]
+++ thatcamp_2014:session_thatcamp2014 [2014/10/13 23:26]
Francesco Beretta [Le web des données]
@@ Ligne 8: / Ligne 8: @@
 ==== Objectifs ====
-Apprendre à interroger le web des données et à tirer profit des ressources disponibles
+Apprendre à interroger le web des données et à tirer profit des ressources disponibles – le point de vue du chercheur en histoire
@@ Ligne 15: / Ligne 15: @@
   * Un navigateur web (de préférence Firefox)
-  * [[http://jena.apache.org/documentation/serving_data/|Fuseki]], serveur SPARQL à installer en local [clé USB]
+  * [[http://jena.apache.org/documentation/serving_data/|Fuseki]], serveur SPARQL à installer en local
   * Le logiciel [[https://fr.libreoffice.org/discover/calc/|Calc]] de la suite bureautique LibreOffice
-==== Ressources ====
-Pour une liste de différentes ressources disponibles, voir [[ressources_sparql]]
-==== Programme ====
-=== Le web des données ===
-  * Les principes du web du données: les [[http://fr.wikipedia.org/wiki/Donn%C3%A9es_ouvertes|5 étoiles]]
+==== Le web des données ====
-  * Grammaire et syntaxes:  RDF, RDFS, OWL
+  * Les principes du web du données: les [[http://www.w3.org/DesignIssues/LinkedData.html|5 étoiles]]
+  * Le contexte: [[http://5stardata.info|5-star open data]] [[http://fr.wikipedia.org/wiki/Donn%C3%A9es_ouvertes|Les données ouvertes]]
+  * [[http://fr.wikipedia.org/wiki/Uniform_Resource_Identifier|URI]] / [[http://fr.wikipedia.org/wiki/Internationalized_Resource_Identifier|IRI]]
+  * Grammaire et syntaxes:  RDF, RDFS, [[RDF N-quads|http://www.w3.org/TR/n-quads/]], OWL
+  * Sérializations:  [[http://www.w3.org/TR/turtle/|Turtle]]
   * Vocabulaires, ontologies
-  * Sérializations, espaces de noms
+  * Espaces de noms: [[http://fr.wikipedia.org/wiki/Espace_de_noms_XML|définition dans le contexte XML]] ; [[http://www.w3.org/TR/xml-names11/|Recommendation 2006]]
-=== Les ressources disponibles ===
+==== Les ressources disponibles ====
   * Comment les trouver
@@ Ligne 43: / Ligne 44: @@
-=== Interroger le web des données ===
+Pour une liste de différentes ressources disponibles, voir [[ressources_sparql]]
+==== Interroger le web des données ====
@@ Ligne 52: / Ligne 55: @@
-=== Deux exemples ===
+==== Deux exemples ====
-== Les universités dans le monde / en Europe ==
+=== Les universités dans le monde / en Europe ===
 [[thatcamp_2014:requete_dbpedia|Utiliser DBPedia Live pour trouver les Universités du monde entier]]
-== Les données statistiques des pays de la Communauté européenne ==
+=== Les données statistiques des pays de la Communauté européenne ===
 Les [[données de la Communauté européenne]]
@@ Ligne 75: / Ligne 78: @@
 ==== Supports ====
-  * Beaucoup de tutoriels régulièrement mis à jour existent sur le web, parmi eux celui-ci libre de droit:{{:sig_phn:fiches_qgis_v2.0.1.pdf|QGIS V2}}
+  * Beaucoup de tutoriels existent sur le web, ils sont régulièrement mis à jour, parmi eux celui-ci libre de droit:{{:sig_phn:fiches_qgis_v2.0.1.pdf|QGIS V2}}
+  * et d'autres encore dont cette page de wiki
 ==== Outils ====
+Quelques outils utiles :
+  * [[http://www.qgis.org/fr/site/|Logiciel QGIS]] : Système d'Information Géographique (SIG) convivial distribué sous licence publique générale GNU. C'est un projet officiel de la fondation Open Source Geospatial (OSGeo). Il est compatible avec Linux, Unix, Mac OS X, Windows et Android et intègre de nombreux formats vecteur, raster, base de données et fonctionnalités.
   * [[http://www.gimp.org/downloads/|Logiciel GIMP]] : Outil d'édition et de retouche d'image et est diffusé sous la licence GPLv3 comme un logiciel gratuit et libre. Il en existe des versions pour la plupart des systèmes d'exploitation dont GNU/Linux, OS X, et Microsoft Windows.
-  * [[http://www.qgis.org/fr/site/|Logiciel QGIS]] : Système d'Information Géographique (SIG) convivial distribué sous licence publique générale GNU. C'est un projet officiel de la fondation Open Source Geospatial (OSGeo). Il est compatible avec Linux, Unix, Mac OS X, Windows et Android et intègre de nombreux formats vecteur, raster, base de données et fonctionnalités.
 ==== Données géographiques ====
@@ Ligne 89: / Ligne 95: @@
       * Télécharger le dossier de données [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/HYP_50M_SR_W.zip|HYP_50M_SR_W.zip]]
-=== Autres ressources ===
+=== Autres ressources à connaitre ===
-  * www.gadm.org
+  * GADM database of Global Administrative Areas : [[http://www.gadm.org|www.gadm.org]]
+  * Données IGN utilisables avec les [[http://professionnels.ign.fr/enseignement-recherche|licences spécifiques pour la recherche et l'enseignement]]
+  * Les organismes qui fournissent de l'Open Data en téléchargement ou via les web-services : WMS, WFS
   * Les géocodeurs : Google Map, Google Earth, Geonames...
-  * Les organismes qui fournissent de l'Open Data en téléchargement ou via les web-services : WMS, WFS
-  * Données IGN : Licences spécifiques pour la recherche et l'enseignement
 ==== Installation et découverte du logiciel QGIS ====
+=== Affichage et préparation des données géographiques ===
-==== Affichage et préparation des données géographiques ====
+  * **Données géographiques**
-  * Données géographiques
     * Affichage des données Eurostat
       * Système de géoréférencement : ETRS89 =  EPSG:4258
@@ Ligne 111: / Ligne 114: @@
        * Exploration des différents niveaux administratifs des polygones
          * Vue > Identifier les entités
-    * Sélection des polygones représentant les frontières des pays
+       * Créer une couche à partir d'une sélection : Sélectionner seulement les polygones représentant les frontières des pays
-       * Faire une requête attributaire à partir de la table d'attributs des polygones
+         * Faire une requête attributaire à partir de la table d'attributs des polygones
-         * Couche > Propriétés > Ouvrir la table d'attributs > Select by expression > "STAT_LEVL_" = 0
+            * Clic droit sur la couche > Ouvrir la table d'attributs > Select by expression > "STAT_LEVL_" = 0
-    * Création d'une nouvelle couche à partir de la sélection
+         * Création d'une nouvelle couche à partir de la sélection
-        * Couche > Propriétés > Sauvegarder sous > Cocher la case "n'enregistrer que les entités sélectionnées" > Donner un nom à la nouvelle couche > Valider
+            * Couche > Propriétés > Sauvegarder sous > Cocher la case "n'enregistrer que les entités sélectionnées" > Donner un nom à la nouvelle couche > Valider
     * Afficher la nouvelle couche
         * Couche > Ajouter une couche vecteur
-  * Pour télécharger le résultat : [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/NUTS_RG_10M_2010_pays.zip|NUTS_RG_10M_2010_pays.zip]]
+  * Pour télécharger directement le résultat : [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/NUTS_RG_10M_2010_pays.zip|NUTS_RG_10M_2010_pays.zip]]
-  * Données tabulaires
+  * **Données tabulaires**
     * Utilisation des données issues du web de données.
-    * Faire une couche de point à partir d'un fichier .csv
+        * Nous avons plusieurs fichiers à notre disposition que nous utiliserons au cours des exercices de cette deuxième partie (cf 1ère partie du bootcamp : requêtes sur les serveurs sparql)
-        * Récupération des données au format .csv (cf 1ère partie du bootcamp) : {{:thatcamp_2014:resultat_corrige.csv.zip|Fichier nettoyé}}
+            * Les universités d'Europe {{:thatcamp_2014:resultat_corrige.csv.zip|Fichier nettoyé}}: cf [[thatcamp_2014:requete_dbpedia|requête dbpédia]]
-        * Observation du fichier .csv
+            * Populations en 2004 par province au format .csv : {{:thatcamp_2014:eurostat_2004.zip|eurostat_2004.csv}}: cf [[thatcamp_2014:donnees_de_la_communaute_europeenne|les données de la communauté européenne]]
-        * Ces données comprennent des valeurs et les coordonnées X Y du lieu concerné. Ces valeurs peuvent être utilisées pour créer des points et les projeter dans QGIS.
+            * Populations au 2ème échelon administratif en 2010, répartitions hommes-femmes par régions: {{:thatcamp_2014: nuts2_pop_2010.zip| nuts2_pop_2010.csv}}
-            * Couche > Ajouter une couche de texte délimité
+    * Intégration des données tabulaires dans le SIG:
-            * Indiquer l'emplacement du fichier "resultat_corrige"
+        * Les données s'intègrent dans QGIS comme n'importe quelle autre couche vecteur avec Couche > Ajouter une couche vecteur
-            * Dans "autre délimiteurs" indiquer le séparateur "|"
+        * Il est possible de créer une couche de point à partir d'un fichier .csv qui contient des coordonnées X et Y
-            * Indiquer le champ X = "long" et le champ Y = "lat"
+            * Récupération des données sur les universités : {{:thatcamp_2014:resultat_corrige.csv.zip|Fichier nettoyé}}
-            * Indiquer le code EPSG des coordonnées : 4326
+            * Observation du fichier .csv : Ces données comprennent des valeurs et les coordonnées X Y du lieu concerné. Ces valeurs peuvent être utilisées pour créer des points et les projeter dans QGIS.
+               * Couche > Ajouter une couche de texte délimité
+               * Indiquer l'emplacement du fichier "resultat_corrige"
+               * Dans "autre délimiteurs" indiquer le séparateur "|"
+               * Indiquer le champ X = "long" et le champ Y = "lat"
+               * Indiquer le code EPSG des coordonnées : 4326
         * Enregistrer cette projection au format .shp
-        * Afficher la nouvelle couche
+        * Afficher la nouvelle couche dans le SIG et choisir le fond vecteur adapté, par exemple la couche NUTS_RG_10M_2010_pays
-    * Compléter des données attributaires à partir d'une jointure faite sur un fichier .csv
-        * Récupération des données au format .csv (cf 1ère partie du bootcamp) : {{:thatcamp_2014:eurostat_2004.zip|eurostat_2004.csv}}
-        * Couche > Ajouter une couche vecteur
-            * Les principes de la jointure attributaire
-               * Fenêtre des propriétés de la couche > Onglet Jointure
-               * Utilisée pour joindre des données tabulaires à partir d'un champ contenant un identifiant commun à la couche et à la table
-               * Ajouter un champ à la table attributaire de la couche NUTS_RG_10M_2010
-               * Le créer à partir de l'expression : lower( "NUTS_ID" )
-               * Fenêtre des propriétés de la couche > Onglet Jointure
-               * Ajouter une jointure sur eurostat2004.geocodeProvince = NUTS_RG_10M_2010.nuts_id_lo
 ==== Exploration et analyse des données ====
@@ Ligne 150: / Ligne 148: @@
          * Couche > Propriétés > Ouvrir la table d'attributs > Select by expression
          * Vous pouvez tester les requêtes sur les données, par exemple les universités de + de ... inscrits etc..
-         * Tous les résultats peuvent être enregistrés dans de nouvelles couches. Ceci nous servira en fin de travail pour mettre au point une carte.
+         * Tous les résultats peuvent être enregistrés dans de nouvelles couches. Ceci pourra nous servir en fin de travail pour mettre au point une carte.
   * **Fonctions de requête spatiale**
@@ Ligne 156: / Ligne 154: @@
          * Pour installer cette extension aller dans //Extension// > //Gestionnaire d'extension// et rechercher //requête spatiale//
     * Vous trouverez dans cet outil les opérateurs de requête spatiale : //Contient//, //A l'intérieur//, //Croise//, //Intersecte//, //Est disjoint//, //Est égal//
-         * Tester avec l'outil : Sélection des entités sources depuis > "résultat_corrige", Où l'entité > "à l'intérieur", Entités références de "NUTS_RG_10M_2010_pays
+         * Tester avec l'outil : Sélection des entités sources depuis > "résultat_corrige", Où l'entité > "à l'intérieur", Entités références de "NUTS_RG_10M_2010_pays"
          * Vérifier et ajouter les entités non sélectionnées à cause de l'imprécision des données
          * Enregistrer la sélection dans une nouvelle couche > resultat_corrige_europe.shp
@@ Ligne 185: / Ligne 183: @@
       * Ajouter la nouvelle couche et vérifier la présence des nouvelles données attributaires
         * Ou télécharger le résultat : [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/NUTS_RG_10M_2010_pays_univ.zip|NUTS_RG_10M_2010_pays_univ.zip]]
   * **Jointures attributaires ou spatiales**
-    * Tester la jointure spatiale : Ajouter à la table d'attribut des universités l'indicatif du pays auquel elles appartiennent
+    * **Tester la jointure spatiale :**
+      * Ajouter à la table d'attribut des universités l'indicatif du pays auquel elles appartiennent
       * Dans //Vecteur// > Outil de gestion de données > Joindre les attributs par localisation
-      * Indiquer la couche vecteur "resultat_corrige_europe" et joindre la couche vecteur "NUTS_RG_10M_2010_pays"
+         * Indiquer la couche vecteur "resultat_corrige_europe" et joindre la couche vecteur "NUTS_RG_10M_2010_pays"
-      * Indiquer un fichier de sortie "resultat_corrige_europe_join" et lancer le traitement
+         * Indiquer un fichier de sortie "resultat_corrige_europe_join" et lancer le traitement
       * Ajouter la nouvelle couche et vérifier la présence des nouvelles données attributaires
       * Tester la sélection attributaire ou spatiale des université françaises
         * Ou télécharger le résultat : [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/resultat_corrige_europe_join.zip|resultat_corrige_europe_join.zip]]
+    * **Tester la jointure attributaire :**
+        * Compléter des données attributaires à partir d'une jointure faite sur un fichier .csv
+        * **1er exercice** : Récupération des données sur les populations par régions au format .csv : {{:thatcamp_2014:eurostat_2004.zip|eurostat_2004.csv}}
+        * Couche > Ajouter une couche vecteur et ajouter le fichier eurostat_2004
+            * Les principes de la jointure attributaire
+               * Fenêtre des propriétés de la couche > Onglet Jointure
+               * Utilisée pour joindre des données tabulaires à partir d'un champ contenant un identifiant commun à la couche et à la table
+                * Préparer les champs de jointure : Ajouter un champ à la table attributaire de la couche NUTS_RG_10M_2010
+                  * Ouvrir la table d'attribut > Basculer en mode édition > Ouvrir la calculatrice de champ > Créer un nouveau champ à partir de l'expression : lower( "NUTS_ID" ) > Enregistrer
+                * Fenêtre des propriétés de la couche > Onglet Jointure
+                  * Ajouter une jointure sur eurostat2004.geocodeProvince = NUTS_RG_10M_2010.nuts_id_lo
+               * Créer une couche pour les entités concernées par la jointure : NUTS_RG_10M_2010_densite
+        * Possibilité de faire un calcul de densité de population sur les données
+               * Ajout d'un champ 'surf_km2' à la table attributaire à partir de l'expression : $area / 1000000
+               * Ajout d'un champ 'densite' à la table attributaire à partir de l'expression :  "eurostat_4"  /  "surf_km2"
+               * Valider
+               * Propriété de la couche > Style > Symbole gradué > Sélection du champ 'densité', 5 classes, mode quantile ou autre (cf Cartographie des données)
+               * Ajouter les couches HYP_50M_SR_W ou doubler la couche "data_nuts_rg_2_pop" pour afficher les valeurs nulles dans le but de réaliser une carte comme par exemple :
+{{:thatcamp_2014:europe_densite_pop.jpg?500|europe_densite_pop.jpg}}
+        * **2ème exercice** : Récupération des données sur les populations par régions au format .csv : {{:thatcamp_2014:nuts2_pop_2010.zip|nuts2_pop_2010.csv}}
+               * Couche > Ajouter une couche vecteur et sélectionner le fichier nuts2_pop_2010.csv
+               * Dans la couche NUTS_RG_10M_2010 > Fenêtre des propriétés > Onglet Jointure
+               * Ajouter une jointure sur nuts2_pop_2010.nuts_id = NUTS_RG_10M_2010.NUTS_ID
+               * Vérifier dans la table attributaire si la jointure a fonctionné
+               * Créer une sélection sur NUTS_RG_10M_2010 : "STAT_LEVL_" = 2 et faire une couche "data_nuts_rg_2_pop" à partir de cette sélection
+               * Ajouter le résultat "data_nuts_rg_2_pop" dans le projet
+               * Sur cette couche nous allons calculer la proportion Homme-Femme pour les données à notre disposition
+                 * Pour cela il faut ajouter des champs à la table attributaire de la couche "data_nuts_rg_2_pop"
+                 * Ouvrir la table d'attribut > Basculer en mode édition > Ouvrir la calculatrice de champ > Créer trois nouveaux champs à partir des expressions :
+                   * Champ '%homme' : ("nuts2_po_2" * 100) / "nuts2_po_1"  > Enregistrer
+                   * Champ '%femme' : ("nuts2_po_3" * 100) / "nuts2_po_1"  > Enregistrer
+                   * Champ 'F%H' : "%femme" - "%homme"   > Enregistrer
+               * Cartographier le résultat : Propriété de la couche > Style > Symbole gradué > Sélection du champ 'F%H' > Créer une palette de couleur adaptée (cf Cartographie des données)
+               * Ajouter les couches HYP_50M_SR_W ou doubler la couche "data_nuts_rg_2_pop" pour afficher les valeurs nulles dans le but de réaliser une carte comme par exemple :
+{{:thatcamp_2014:europe_homme_femme.jpg?500|europe_homme_femme.jpg}}
 ==== Cartographie des données ====
@@ Ligne 210: / Ligne 247: @@
         * Les points centroïdes des polygones s'affichent. Il est possible d'éditer la couche pour déplacer et recentrer si besoin les points. C'est le cas de la France entre autre.
         * Ou télécharger le résultat : [[http://clio.ish-lyon.cnrs.fr/formations/that_camp_2014/NUTS_RG_10M_2010_pays_univ_point.zip|NUTS_RG_10M_2010_pays_univ_point.zip]]
-      * Pour la création des points proportionnels, deux solutions :
+      * **Pour la création des points proportionnels**, deux solutions :
         * Par symbole unique proportionnel
            * //Propriétés// > //Style// > //Symbole unique// pour définir le style du symbole unique.
@@ Ligne 221: / Ligne 258: @@
            * Dans //Attributs// définir le champ contenant les données à représenter de manière proportionnelle.
            * Dans onglet //Position// > //Emplacement// choisir //Sur le point// pour que le diagramme proportionnel soit centré.
-     * Autre exemple, nous souhaiterions représenter le nombre d'université par pays via une carte choroplète
+     * **Pour la création des cartes choroplètes**, par exemple pour représenter la densité d'universités par pays
        * Par symbole gradué sur la couche NUTS_RG_10M_2010_pays_univ
            * //Propriétés// > //Style// > //Symbole gradué// pour définir la palette, les classes, leur nombre et la méthode de discrétisation.
@@ Ligne 230: / Ligne 267: @@
              * Jolies ruptures : cette méthode utilise un algorithme du logiciel de statistique R.
            * Astuce : Tester les différentes possibilités et visualiser le rendu avec le bouton //Appliquer// pour ne pas fermer la fenêtre
+           * Ajouter les couches HYP_50M_SR_W dans le but de réaliser une carte comme par exemple :
+{{:thatcamp_2014:europe_densite_universites.jpg?500|europe_densite_universites.jpg}}
   * **Composeur d'impression**
     * Rappel sur la mise en page d'une carte avec le composeur d'impression
-    * //Projet// > //Nouveau composeur d'impression//.
+    * Pour faire une mise en page aller dans //Projet// > //Nouveau composeur d'impression//.
-    * Intégrer tous les éléments indispensables à la carte : Carte-s, légende, titre, orientation, échelle, sources, nom et dates de réalisation.
+      * Dans le composeur d'impression, intégrer tous les éléments indispensables à la carte : Carte-s, légende, titre, orientation, échelle, sources, nom et dates de réalisation.
     * Exportation de la mise en page : //Composeur// > //Exporter comme image//
-    * Il est préférable d'exporter en PNG lorsqu'il s'agit de vecteurs et en JPEG lorsque le projet contient des rasters.
+      * Il est préférable d'exporter en PNG lorsqu'il s'agit de vecteurs et en JPEG lorsque le projet contient des rasters.

Wiki de l'ARHNAxe de recherche en histoire numériqueLARHRA UMR5190

Outils pour utilisateurs

Outils du site

Différences

Outils de la page

Wiki de l'ARHN

Axe de recherche en histoire numérique
LARHRA UMR5190