La récolte et le stockage sont les premières étapes du cycle de vie de la donnée.
La récolte consiste à créer une communication entre la source d’information et le stockage. Ce dernier vise quant à lui à rassembler et conserver toutes les informations mesurées et jugées pertinentes. Pour ce faire, il faut déterminer les informations que l’on veut collecter ainsi que l’infrastructure dans laquelle elles seront enregistrées. La récolte et le stockage sont des étapes nécessaires à tout projet Big Data.
Grâce à l‘Internet of Things (IoT) et à la digitalisation, l’information est omniprésente et tous les domaines sont concernés. Pour le marketing, les données peuvent provenir d’applications mobiles, d’activités sur les sites web ou encore de tickets de vente et de cartes fidélité. Dans le secteur de l’industrie, les données proviennent souvent de capteurs mesurant divers éléments tels que les vibrations, les intensités électriques ou la température sur les machines et les moteurs. Les données des CV pour les ressources humaines, les emails ou même la presse pour les données composées de textes sont d’autres exemples de sources d’information.
Les technologies utilisées dans la phase de récolte dépendent directement du type d’objet récolté et de l’accès qui lui est conféré.
Un site web, par exemple, peut offrir un web service permettant d’extraire directement les informations mais il est également possible qu’aucun accès n’ait été prévu et qu’une solution de scrapping doive être mise en place. Finalement, certains sites vendent directement leurs données. Elles sont ainsi automatiquement téléchargeables ou peuvent même être envoyées par email. Les capteurs sur les moteurs, en revanche, communiquent généralement à travers des protocoles bien définis comme OPC UA.
Les informations récupérées sont ensuites envoyées dans une structure de stockage commune appelée Data Lake. Cette architecture permet notamment d’unir différentes sources de données et permet de stocker les données brutes et les données conformes en parallèle. Finalement, selon votre besoin et vos politiques d’entreprise, le stockage s’opère dans des serveurs in-house ou dans des solutions clouds externes. Nous adaptons nos solutions à vos besoins, de manière agile, en tenant compte de vos exigences.
A travers notre service de récolte et stockage, Swiss-SDI vous offre un accompagnement bout-en-bout dans vos projets data: de la récolte à l’analyse de données!
Vous souhaitez commencer, améliorer ou automatiser un processus de récolte de données ?
Exemples d'applications
Collecte des données capteurs
Tout projet de machine learning doit débuter par une phase de récolte, si aucune donnée n’est déjà disponible. Ceci est en particulier vrai pour les projets de l’industrie 4.0. Swiss-SDI vous accompagne dès ces premiers challenges en vous proposant une solution de collecte adaptée à vos besoins: mise en place de capteurs, récupération d’informations sur le web, croisement de base de données.
Solutions de stockage
Assurer la vie des données est très important pour extraire la valeur ajoutée. Pour traiter la persistance de vos données notre équipe utilise diverses technologies allant des bases de données relationnelles au NoSQL qu’elle installe in-house ou dans un Cloud. Swiss-SDI s’adapte à votre écosystème en vous proposant la technologie adéquate.
Extraction de données textuelles
Le texte est sans doute le type de données le plus utilisé pour transmettre de l’information. E-mails, CRM, archives, journaux: il se retrouve dans de nombreuses sources et sous divers formats (documents word, pdf, html, …). Swiss-SDI met à votre disposition ses compétences en text mining afin d’extraire automatiquement de l’information de ces données non-structurées pour faire de la classification de mail ou analyser le contenu d’articles de presse par exemple.