Données d'observations environnementales : des nouvelles API au service de l'interopérabilité

Enjeu structurant de l’activité du pôle INSIDE, l'exposition des données d’observations environnementales de façon interopérable est au cœur du projet API d'observations.  

Le projet s'inscrit dans la continuité des projets menés par le BRGM autour des standards OGC/ISO Observations & Measurements et OGC SOS (Sensor Observation Service).

Il s’appuie sur la contribution historique des trois partenaires (Fraunhofer, DataCove et BRGM) aux actions de standardisation et de normalisation appliquées à l’échange de données d’observation (à l’échelle européenne avec la directive Inspire et à l’échelle mondiale avec l’OGC).

Adopté internationalement dans de nombreux domaines, le standard OGC "SensorThings API" constitue une opportunité incontournable pour stimuler la diffusion des données environnementales à grande échelle et de façon interopérable dans le cadre de l'internet des objets.

A l'issue de deux ans de travaux, le projet API d'observations affiche des résultats concrets dans la sphère des données relatives aux eaux continentales (quantité et qualité) et dans celle des données relatives à la pollution des sols.

En 2020, les travaux du projet se poursuivront sur trois volets : implémentation du standard à un spectre thématique élargi (données océanographiques et agronomiques) ; contribution au projet européen "API4INSPIRE" et développement d’un module QGIS d’interrogation de l’API.

Zoom sur le standard OGC SensorThings API

Conçu pour couvrir une multitude de cas d'utilisation, le standard OGC SensorThings API permet une fourniture légère des données d'observation, tout en étant conçue pour être «conviviale pour les développeurs». Le standard se compose de deux parties: «Sensing» et «Tasking».

• Sa partie 1 «Sensing» (OGC 15-078r6), qui a fait l'objet des implémentations du pôle INSIDE, est destinée à la détection et à la collecte d'observations à partir d'appareils de détection. Elle utilise des concepts établis à long terme dans la description des données de mesures issues de capteurs (Capteurs, Objets monitorés, Méthode de monitoring, Flux de données et Observations), tout en tenant compte des exigences modernes pour des interfaces efficaces.
• Sa partie «Tasking» (OGC 17-079r1) se concentre sur le contrôle des appareils IoT et sort du cadre des travaux du pôle INSIDE.

Issu de la dynamique IoT, il base sa sémantique sur le standard international pour la description des Observations (ISO 19156 - OGC : Observations & Measurements) et peut remplacer les solutions de type SOS (Sensors Observation Service).

Des résultats concluants dans le domaine de l'eau

Les premiers travaux du projet API d'observations ont porté sur le domaine de l'eau, pour lequel des séries de données étaient largement disponibles.

En 2018, un prototype de l'API OGC SensorThings utilisant le FROST-Server (FRaunhofer Opensource SensorThings Server) a ainsi été déployé sur des instantanés de deux bases de données françaises :

• Celles des mesures de piézométrie (niveaux d'eau dans les nappes d'eau souterraine), opérée par le BRGM
• Celles des mesures d'hydrométrie (débits des cours d'eau), opérée par le Service Central d’Hydrométéorologie et d’Appui à la Prévision des Inondations (SCHAPI)

Ce premier prototype a permis de confirmer :

• la capacité du standard OGC "SensorThings API" à couvrir les besoins d'une API de collecte et de diffusion de données d'observation environnementales
• la qualité de l’implémentation du FROST-Server en termes de conformité au standard et, par rapport aux autres implémentations existantes du standard, en termes de maintenabilité et de facilité de déploiement

En 2019, un instantané de la base de données française des mesures de la qualité des eaux de surface "Naïades" (130 millions d'observations) a été intégralement converti au standard OGC SensorThings API puis propulsé sur FROST-Server dans le but d'évaluer la capacité du standard à assimiler des patterns de données d’observation plus complexes ainsi que les temps et capacités de réponse du FROST-Server en conditions réelles d'exploitation.

Ce second prototype a démontré :

• l’applicabilité du standard OGC SensorThings API aux données d’observation de la qualité des eaux
• la capacité du FROST-Server à traiter la volumétrie avec des performances équivalentes à celles obtenues avec une infrastructure big data (comparaison effectuée avec l’API Hub’Eau Qualité des cours d’eau)

Le bénéfice pour les utilisateurs finaux de l’application du standard OGC SensorThing API aux données d’observation dans le domaine de l’eau consiste également dans la facilité de déployer des outils clients interrogeant un serveur SensorThings API.

Copie d'écran de l'application cartographique Web-Genesis.

Branchée sur les endpoints des API déployées dans le cadre du projet "SensorThings API", l’application permet d’accéder aux mesures de piézométrie, d'hydrométrie et de qualité physico-chimique des cours d’eau et d'en visualiser l'évolution à différents pas de temps.

En outre, l’implémentation du standard sur trois bases de données d’observations dans le domaine de l’eau (piézométrie, hydrométrie et qualité physico-chimique) et le déploiement des endpoints associés sur le FROST-Server

• fournissent des retours pour améliorer le standard. L'équipe du projet fait partie du SensorThings Standard Working Group (SWG) de l'OGC et remonte des propositions d'évolutions par l'intermédiaire du GitHub du projet. Celles-ci sont ensuite évaluées par le groupe OGC.
• appuient également la reconnaissance de l'API OGC SensorThings par le JRC (Joint Research Centre - service scientifique interne de la Commission européenne) comme un service de téléchargement pertinent pour les données d’observations environnementales relevant de la directive Inspire.  L'équipe du projet ainsi que le JRC ont déjà rédigé une publication en ce sens et continuent à travailler ensemble en 2020 dans le cadre du projet API4INSPIRE.

Zoom sur le FROST Server

Le FROST-Server (FRaunhofer Opensource SensorThings API Server) est l'implémentation open-source du standard OGC SensorThings API certifiée par l'OGC la plus aboutie.

Développé par l'institut de recherche allemand Fraunhofer IOSB pour répondre à son besoin d'une plate-forme de gestion de capteurs et de stockage de données de capteurs basée sur des standards et simple d'utilisation, le FROST Server implémente la spécification complète de l'API SensorThings OGC Partie 1: Sensing.

La nature open-source de l'implémentation signifie que les utilisateurs peuvent ajuster et optimiser l'implémentation pour leur cas d'utilisation spécifique et contribuer à la communauté.

Des avancées significatives sur un large spectre thématique

Les travaux d'implémentation du standard API Sensor Things menés par le pôle INSIDE ne se limitent pas aux données d'observation des eaux continentales.

Pour répondre aux besoins émergents du système français d'information sur les sols pollués, un scénario d'échange de donnée SensorThings pour les profils et échantillons de sols a été défini. Ce travail de modélisation a été présenté en novembre 2019 lors du 113ème comité technique de l'OGC à Toulouse et implémenté sur le FROST-Server.  

D'autres implémentations de SensorThings API sont en cours d'élaboration :

• avec l'Ifremer pour les données de la base Quadrige² issues des réseaux de surveillance des eaux marines du littoral (observations biologiques (taxons) et chimiques) et pour les données d'observation des océans recueillies par bouées à différentes profondeurs
• avec l'INRAE pour les données pédologiques de la base DoneSol

Perspectives 2020

En 2020, les travaux du projet se poursuivront sur trois volets. 

Outre l'implémentation du standard à un spectre thématique élargi (données océanographiques et agronomiques), les travaux du pôle INSIDE sur le projet "API d'observations" se structureront en 2020 autour des axes suivants : 

• développements sur FROST-Server visant l'enrichissement sémantique des liens entre entités (observations) dans les réponses de l'API et conception d'un format de sortie csv ;
• conception d'un plug in QGIS pour la lecture des endpoints des API SensorThings ;
• contribution au projet européen "API4INSPIRE".

Suivez l'avancée des travaux sur le GitHub du projet !