{"id":998,"date":"2021-02-12T10:37:14","date_gmt":"2021-02-12T09:37:14","guid":{"rendered":"https:\/\/ist.blogs.inrae.fr\/datainrae-guide\/?page_id=998"},"modified":"2021-08-02T11:23:20","modified_gmt":"2021-08-02T09:23:20","slug":"utilisation-de-dvuploader","status":"publish","type":"page","link":"https:\/\/ist.blogs.inrae.fr\/datainrae-guide\/utilisation-de-dvuploader\/","title":{"rendered":"Utilisation de DVUploader"},"content":{"rendered":"

L’interface de d\u00e9p\u00f4t de Data INRAE peut parfois \u00eatre limitante, comme dans le cas de d\u00e9p\u00f4t de nombreux fichiers. Si les APIs permettent de r\u00e9pondre \u00e0 ces probl\u00e9matiques, il existe \u00e9galement un outil moins technique permettant de d\u00e9poser directement le contenu de dossiers locaux : DVUploader. Cet article vous guidera \u00e0 travers l’utilisation de cet outil.<\/p>\n

DVUploader <\/a>est un outil de d\u00e9p\u00f4t local vers Dataverse (donc vers Data INRAE) d\u00e9velopp\u00e9 par la communaut\u00e9 Dataverse. Comme il est ex\u00e9cut\u00e9 sur le poste du d\u00e9posant il permet d’envoyer facilement l’int\u00e9gralit\u00e9 du contenu d’un dossier avec ses sous r\u00e9pertoires, de contourner la limite de d\u00e9p\u00f4t de 1000 fichiers par t\u00e9l\u00e9versement, et de mettre \u00e0 jour un dataset en d\u00e9posant seulement les nouveaux fichiers dans un r\u00e9pertoire.<\/p>\n

Cet outil requiert une installation ainsi que l’usage de la console de commande, mais son utilisation reste tr\u00e8s simple !<\/p>\n

Les commandes \u00e0 saisir dans la console seront indiqu\u00e9es avec la mise en forme suivante :<\/p>\n

Exemple de commande<\/code><\/p>\n

Installation :<\/h2>\n

Pr\u00e9requis<\/h3>\n

Cet outil n\u00e9cessite l’installation de Java (8 ou plus) : https:\/\/java.com\/fr\/download\/<\/a>.<\/p>\n

T\u00e9l\u00e9charger l’outil<\/h3>\n

Vous pouvez trouver la derni\u00e8re version sur la page https:\/\/github.com\/GlobalDataverseCommunityConsortium\/dataverse-uploader\/releases\/<\/a> et t\u00e9l\u00e9charger le fichier .jar<\/strong> dans la section \u00ab\u00a0Assets<\/strong>\u00a0\u00bb de celle-ci :<\/p>\n

Lien de t\u00e9l\u00e9chargement direct pour la version 1.1.0 : https:\/\/github.com\/GlobalDataverseCommunityConsortium\/dataverse-uploader\/releases\/download\/v1.1.0\/DVUploader-v1.1.0.jar<\/a>.<\/p>\n

Vous pouvez ensuite placer ce fichier o\u00f9 vous souhaitez conserver l’outil.<\/p>\n

N.B :<\/strong> Veillez \u00e0 avoir acc\u00e8s \u00e0 ce dossier ensuite pour pouvoir l’ex\u00e9cuter ! Si vous utilisez par exemple \u00ab\u00a0C:\\Program Files\u00a0\u00bb, vous devrez lancer la console en tant qu’administrateur pour pouvoir lancer DVUploader.<\/p>\n

Utilisation :<\/h2>\n

Remarques pr\u00e9alables :<\/h3>\n

Pour cet exemple nous utilisons la pr\u00e9production de Data INRAE (https:\/\/data-preproduction.inrae.fr\/<\/a>).
\nNous vous recommandons de faire de m\u00eame pour votre premier essai.
\nN.B :<\/strong> comme pour l’interface en ligne, pour interagir avec la pr\u00e9production vous devez \u00eatre connect\u00e9 au r\u00e9seau INRAE ou avoir activ\u00e9 votre VPN.
\nSi vous n’avez pas cette possibilit\u00e9, vous pouvez utiliser l’adresse https:\/\/demo.dataverse.org<\/a> pour les tests.<\/p>\n

A – Sous Windows<\/h3>\n

1. Ouvrir le terminal<\/h4>\n

Ouvrez l’application \u00ab\u00a0Invite de commandes\u00a0\u00bb (C:\\WINDOWS\\system32\\cmd.exe).<\/p>\n

Remarque : Ceci peut \u00eatre fait via le raccourci : \u00ab\u00a0Win + R\u00a0\u00bb puis tapez \u00ab\u00a0cmd\u00a0\u00bb et \u00ab\u00a0Entr\u00e9e\u00a0\u00bb<\/p>\n

2. Se placer dans le r\u00e9pertoire du .jar<\/h4>\n

Pour une ex\u00e9cution plus simple par la suite, placez vous dans le r\u00e9pertoire o\u00f9 vous avez enregistr\u00e9 DVUploader avec la commande suivante en rempla\u00e7ant {Dossier de DVUploader}<\/code> par le chemin vers lequel vous avez enregistr\u00e9 le fichier .jar (voir Installation).<\/p>\n

cd {Dossier de DVUploader}<\/code><\/p>\n

Vous pouvez copier directement le chemin avec un clic droit puis \u00ab\u00a0Propri\u00e9t\u00e9s\u00a0\u00bb dans le dossier concern\u00e9, il est indiqu\u00e9 apr\u00e8s \u00ab\u00a0Emplacement :\u00a0\u00bb.<\/p>\n

N.B :<\/strong> Si des noms de dossiers comportent des espaces, le chemin d’acc\u00e8s doit \u00eatre entre guillemets<\/p>\n

3. D\u00e9finir les param\u00e8tres en variables<\/h4>\n

Instanciez les variables suivantes comme indiqu\u00e9 en rempla\u00e7ant les {valeurs}<\/code> par les valeurs qui correspondent \u00e0 votre cas, sans accolades.<\/p>\n

Jeton API<\/h5>\n

La cl\u00e9 ou jeton API associ\u00e9e \u00e0 votre compte est trouvable sur le portail en vous connectant, dans \u00ab\u00a0Jeton API\u00a0\u00bb \/ \u00ab\u00a0API Token\u00a0\u00bb en cliquant sur votre nom :<\/p>\n

\"Jeton<\/p>\n

(https:\/\/data-preproduction.inrae.fr\/dataverseuser.xhtml?selectTab=apiTokenTab<\/a> pour la pr\u00e9production.)<\/p>\n

Remarque : ce jeton dispose d’une dur\u00e9e de vie d’un an, vous pouvez en reg\u00e9n\u00e9rer un depuis cette m\u00eame page.<\/p>\n

set API_KEY={cl\u00e9 API}<\/code><\/p>\n

Exemple :<\/p>\n

set API_KEY=\"1212-1212-1212-1212-1212-1212-1212\"<\/code><\/p>\n

Adresse du portail<\/h5>\n

Pour la pr\u00e9production :<\/p>\n

set SERVER=\"https:\/\/data-preproduction.inrae.fr\"<\/code><\/p>\n

Utiliser l’adresse https:\/\/data.inrae.fr<\/code> pour la production.<\/p>\n

DOI du dataset<\/h5>\n

Vous devez avant d’y d\u00e9poser des donn\u00e9es avoir cr\u00e9\u00e9 un dataset, copiez ensuite le DOI (ex. 10.70112\/RDGTI6).
\nN.B :<\/strong> Dans la commande, indiquer le {DOI}<\/code> sous la forme 10.xxx\/xxxx<\/code><\/p>\n

set DOI=doi:{DOI}<\/code><\/p>\n

Remarque : vous pouvez utiliser d’autres noms de variables selon votre pr\u00e9f\u00e9rence mais veillez \u00e0 ce que ces noms soient aussi ceux utilis\u00e9s dans la commande de d\u00e9p\u00f4t.<\/p>\n

4. D\u00e9poser un fichier<\/h4>\n
Chemin vers le fichier<\/h5>\n

Il reste une derni\u00e8re variable \u00e0 configurer car diff\u00e9rentes dans les cas 3 et 3bis :<\/p>\n

set PATH_TO_DATA={chemin vers les donn\u00e9es}<\/code><\/p>\n

avec un {chemin vers les donn\u00e9es}<\/code> indiquant les fichier \u00e0 d\u00e9poser. Par exemple :<\/p>\n

set PATH_TO_DATA=Documents\\monFichier.csv<\/code><\/p>\n

Ce chemin peut \u00eatre absolu ou relatif.<\/p>\n

N.B :<\/strong> Si vos noms de dossiers comportent des espaces, ils doivent \u00eatre entre guillemets :<\/p>\n

set PATH_TO_DATA=\"Documents\\Depot Fichier\\monFichier.csv\"<\/code><\/p>\n

D\u00e9p\u00f4t<\/h5>\n

java -jar DVUploader-v1.1.0.jar -key=%API_KEY% -did=%DOI% -server=%SERVER% %PATH_TO_DATA%<\/code><\/p>\n

On retrouve les %VARIABLES%<\/code> cr\u00e9es pr\u00e9c\u00e9demment.
\nN.B :<\/strong> Notez que le fichier .jar est ici \u00ab\u00a0DVUploader-v1.1.0<\/strong>.jar\u00a0\u00bb, si vous utilisez une autre version, il faudra bien-s\u00fbr utiliser le bon nom de fichier.<\/p>\n

Remarque : vous pouvez \u00e9galement utiliser directement les valeurs indiqu\u00e9es pour les variables dans la commande. Ceci est d\u00e9conseill\u00e9 dans le cas de la cl\u00e9 d’API pour laquelle il est recommand\u00e9 de toujours passer par une variable.<\/p>\n

4 bis. D\u00e9poser des fichiers en arborescence<\/h4>\n
Chemin vers le dossier<\/h5>\n

Il est \u00e9galement possible de t\u00e9l\u00e9verser le contenu d’un dossier ou d’une arborescence.
\nDans ce cas :<\/p>\n

set PATH_TO_DATA={chemin vers les donn\u00e9es}<\/code><\/p>\n

Pointera vers un dossier. Les m\u00eames remarques que pour le fichier s’appliquent.<\/p>\n

N.B :<\/strong> Attention, si vous utilisez des guillements \u00e0 ne pas finir la cha\u00eene de caract\u00e8re avec : \\\"<\/code><\/p>\n

D\u00e9p\u00f4t<\/h5>\n

La commande \u00e0 ex\u00e9cuter est la m\u00eame que pour le fichier, mais si vous voulez \u00e9galement inclure les sous dossier, il faut ajouter le param\u00e8tre \u00ab\u00a0recurse<\/strong>\u00ab\u00a0.<\/p>\n

java -jar DVUploader-v1.1.0.jar -key=%API_KEY% -did=%DOI% -server=%SERVER% %PATH_TO_DATA% -recurse<\/b><\/code><\/p>\n

5. Exemple :<\/h4>\n

set API_KEY=\"1212-1212-1212-1212-1212-1212-1212\"
\nset SERVER=\"https:\/\/data-preproduction.inrae.fr\"
\nset DOI=doi:10.70112\/RDGTI6
\nset PATH_TO_DATA=\"C:\\Users\\Nom\\Documents\\Data\"
\njava -jar DVUploader-v1.1.0.jar -key=%API_KEY% -did=%DOI% -server=%SERVER% %PATH_TO_DATA%<\/code><\/p>\n

6. <\/a>Param\u00e8tres additionnels<\/h4>\n

D’autres param\u00e8tres facultatifs peuvent \u00eatre utilis\u00e9s comme \u00ab\u00a0recurse\u00a0\u00bb dans la section 3bis.
\nLa liste compl\u00e8te est disponible dans la documentation de l’outil<\/a>, nous ne pr\u00e9sentons ici que les param\u00e8tres jug\u00e9s les plus susceptibles d’\u00eatre utiles.<\/p>\n

-limit<\/h5>\n

Permet de limiter le nombre de fichiers par envoi.
\nCeci peut-\u00eatre utile pour faire un test sans envoyer l’int\u00e9gralit\u00e9 d’un dossier, ou si vous automatisez l’envoi d’un grand nombre de fichiers afin de les envoyer progressivement.
\nExemple d’utilisation :<\/p>\n

java -jar DVUploader-v1.1.0.jar -key=%API_KEY% -did=%DOI% -server=%SERVER% %PATH_TO_DATA% -limit=1<\/b><\/code><\/p>\n

-ex<\/h5>\n

Permet d’exclure de l’envoi des fichiers.<\/p>\n

Ce param\u00e8tre exclut les fichiers correspondant \u00e0 une expression r\u00e9guli\u00e8re donn\u00e9e.
\nVous pouvez ainsi exclure les fichiers avec une certaine extension ou nom.
\nPar exemple pour exclure les fichiers .txt :<\/p>\n

java -jar DVUploader-v1.1.0.jar -key=%API_KEY% -did=%DOI% -server=%SERVER% %PATH_TO_DATA% -ex=*.txt$<\/b><\/code><\/p>\n

Il est possible d’utiliser plusieurs fois ce param\u00e8tre pour utiliser plusieurs filtres.
\nExemple de caract\u00e8res\u00a0 :<\/p>\n

* : n’importe qu’elle cha\u00eene de caract\u00e8res (Ex. *.txt reconna\u00eet \u00ab\u00a0fichier.txt\u00a0\u00bb) .<\/p>\n

? : un seul caract\u00e8re (Ex. fast? reconnait \u00ab\u00a0fasta\u00a0\u00bb et \u00ab\u00a0fastq\u00a0\u00bb).<\/p>\n

^: d\u00e9but de la cha\u00eene de caract\u00e8res (Ex. ^bck* reconnait \u00ab\u00a0bck20200617\u00a0\u00bb).<\/p>\n

$ : fin de la cha\u00eene de caract\u00e8res (Ex. *txt$ reconna\u00eet \u00ab\u00a0fichier.txt\u00a0\u00bb et pas \u00ab\u00a0datafromtxt.csv\u00a0\u00bb).<\/p>\n

B – Sous Linux<\/h3>\n

La proc\u00e9dure est la m\u00eame que sous Windows, cette section pr\u00e9sente seulement directement les commandes en bash.<\/p>\n

N.B. <\/strong>le num\u00e9ro de version de DVUploader est indiqu\u00e9 dans les commandes, il est n\u00e9cessaire de le modifier si vous utilisez une autre version que la 1.1.0<\/p>\n

1.\u00a0 (Recommand\u00e9) D\u00e9finir les param\u00e8tres en variables<\/h4>\n

Les diff\u00e9rents param\u00e8tres de la commande sont bien s\u00fbr passable directement dans cette derni\u00e8re mais utiliser des variables permet une lecture plus simple et plus de flexibilit\u00e9 si plusieurs \u00e9xecutions sont n\u00e9cessaires<\/p>\n