Prérequis

• Un Braincube IoT Server
• L'application ADLS installée (voir appsmanager pour installer une nouvelle application)
• Une instance Azure DataLake Storage

Paramètres des nœuds (Nodes settings)

Une fois l'application ADLS installée, vous trouverez de nouveaux nœuds dans votre palette de nœuds :

• ADLS list
• ADLS read
• ADLS connection (nœud de configuration, pas dans le panneau de gauche)

ADLS Connection

Comme pour tout connecteur Braincube, vous devez créer une connexion réutilisable dans n'importe quel nœud de ce type. Vous pouvez créer une nouvelle connexion en sélectionnant "Add new adls" et en cliquant sur le bouton de modification à côté :

Pour le connecteur ADLS, les éléments suivants sont nécessaires :

• Node name : donnez un nom à votre connexion pour la retrouver facilement
• Primary endpoint (obligatoire) : Il s'agit de l'URL de votre Azure Blob FileSystem (ABFS) fournie par Azure.
• Authentication method : Choisissez parmi trois méthodes d'authentification :
  • Default azure credentials : uniquement utilisable si l'IoT Server et l'ADLS se trouvent dans le même tenant. L'ID client (Client ID) doit être fourni par la variable d'environnement, mais il peut également être écrasé dans les paramètres du nœud
  • Secret : Le tenant et l'ID client doivent être spécifiés pour se connecter à votre ADLS, et un secret généré depuis la plateforme doit être renseigné
  • Shared keys : Une clé d'accès générée dans votre compte de stockage Azure (Azure Storage account)

Une fois que vous avez configuré cela, vous pouvez cliquer sur Add, Done, Deploy pour enregistrer les paramètres, puis revenir à la configuration de ce nœud.

ADLS List

Le nœud ADLS-list est conçu pour vous aider à explorer votre stockage Azure et son arborescence.
Vous pouvez facilement glisser-déposer ce nœud de la palette vers votre flux de données (dataflow) et commencer à l'utiliser. La première chose à faire est de configurer le nœud. (voir ci-dessus pour connecter une nouvelle connexion si aucune n'existe)

Pour lister dans le nœud ADLS, vous choisirez d'indiquer :

• List Type : Souhaitez-vous lister des répertoires, des fichiers ou un système de fichiers.
• Filesystem name : Ciblez le système de fichiers pour votre recherche
• Subpath research : Spécifiez le dossier que vous souhaitez explorer
• Filter regex : Quel regex vous souhaitez appliquer pour filtrer les informations.
• Output format : Dans quel format souhaitez-vous recevoir la réponse ?
  • One message per listed element : peut être utile pour alimenter un flux de données en temps réel
  • All listed elements as an array : peut être utilisé pour extraire un jeu de données qui doit être envoyé ailleurs pour stockage.

ADLS Read

Le nœud ADLS-read est conçu pour vous aider à lire le contenu d'un fichier stocké dans votre Azure Storage.
Vous pouvez facilement glisser-déposer ce nœud de la palette vers votre flux de données (dataflow) et commencer à travailler avec lui. Comme d'habitude, une fois la connexion choisie dans la liste que vous avez créée précédemment (voir ci-dessus pour en créer une nouvelle), vous pouvez configurer l'extraction que vous souhaitez effectuer.

Pour lire un fichier, vous indiquerez :

• Filesystem name : Chemin du système de fichiers contenant le fichier recherché
• Filename : Nom de fichier complet des fichiers que vous souhaitez lire
• Destination : le système de fichiers écrira le fichier sur l'IoT Server Storage Manager, sous le dossier BraincubeAppsData/@Braincube-adls/{YOUR_UUID_NODE}/{YOUR_FILENAME} ou Buffer pour envoyer le contenu directement dans votre flux de données (dataflow).

Exemple

Vous trouverez ci-dessous un exemple de mise en œuvre d'une logique de liste et de lecture (list & read) :

Ce flux est composé de :

Inject : ce nœud déclenche l'extraction. Nous avons choisi de configurer ce nœud en "mode intervalle" pour déclencher l'extraction automatiquement toutes les XX secondes

ADLS - List node : c'est le nœud sur lequel nous avons travaillé dans cet article. Il se connecte à une instance ADLS et liste les fichiers sous le chemin sélectionné

ADLS - Read node : ce nœud extrait le contenu sélectionné après le nœud de liste

CSV : transforme le contenu CSV des fichiers lus en un objet qui peut être transféré vers la plateforme Braincube Cloud.

braincubeTransfert : ce nœud téléverse les données vers votre environnement Braincube

Fonctionnalités disponibles

Le connecteur Braincube ADLS couvre les fonctionnalités ci-dessous :

Les performances de votre nœud ADLS dépendront de votre connexion réseau entre votre IoT Server et votre Azure Datalake. Elles peuvent varier de quelques Ko/s à plusieurs Mo/s selon votre vitesse d'accès à Internet.