Afegir fitxers al dataset (Procediment extraordinari)

Autorització prèvia

Abans de poder pujar fitxers, cal que el CSUC autoritzi el dipòsit com a càrrega extraordinària.

Un cop autoritzat, rebreu per correu electrònic:

L’enllaç de càrrega per accedir a l’espai on dipositar els fitxers
La contrasenya per accedir-hi
L’enllaç públic per visualitzar i descarregar els fitxers del conjunt de dades

Procediment 1 - Interfície gràfica

Un cop rebuts l’enllaç de càrrega i la contrasenya, podeu accedir a l’espai creat pel CSUC a través del navegador.

Des de la interfície web, podeu:

Carregar els fitxers manualment
Crear l’estructura de carpetes desitjada

Atenció! Un cop finalitzada la càrrega, poseu-vos en contacte amb el servei de suport de la vostra institució per tal de publicar el dataset.

Procediment 2 - Rclone

Què és Rclone?

Eina de línia de comandes per gestionar fitxers en més de 70 proveïdors d'emmagatzematge al núvol
Equivalent a rsync, cp, mv, mount, ls per al núvol
Reanuda automàticament transferències interrompudes

Guia d'instal·lació Rclone (Linux)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Ubuntu/Debian

curl https://rclone.org/install.sh | sudo bash

CentOS/RHEL/Fedora

curl https://rclone.org/install.sh | sudo bash

Arch Linux

sudo pacman -S rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Guia d'instal·lació Rclone (MacOS)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Homebrew

brew install rclone

MacPorts

sudo port install rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Guia d'instal·lació Rclone (Windows)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Chocolatey

choco install rclone

Scoop

scoop install rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Configuració per pujar fitxers

Pas 3: Executa la configuració al Terminal o PowerShell:

rclone config

Passos:

Selecciona "n" per a una nova configuració
Introdueix el nom del remot (per exemple: "owncloud_upload")
Escull "WebDAV" com a tipus de remot
Introdueix la URL del servidor (De l'enllaç https://disc.csuc.cat/s/ornFnBuUVtQDIjU, s'obté la url amb format https://disc.csuc.cat/remote.php/dav/public-files/ornFnBuUVtQDIjU que anirà a la configuració de Rclone)
Escull "Other" com a vendor
Usuari → public
Contrasenya → Rebuda al mail del CSUC
No necessites bearer_token, Enter per deixar-ho buit
Escull "n" per configuracions avançades
Guarda la configuració

Instruccions de càrrega de fitxers

NOTA: La comanda SYNC generarà la mateixa estructura de directoris que hi ha dins del path indicat

Càrrega bàsica:

rclone sync ./dataset_local/ "owncloud_upload:/" --progress --log-level INFO

Càrrega amb verificació de checksums:

rclone sync ./dataset_local/ "owncloud_upload:/" --progress --log-level INFO --checksum

# Limitació de banda

rclone sync ./dataset_local/ "owncloud_upload:/" --progress --log-level INFO --bwlimit=1M

Opcions útils:

Opció	Descripció
`--progress`	Mostra el progrés de la transferència
`--log-level INFO`	Proporciona logs detallats
`--transfers=4`	Transferències paral·leles
`--checkers=8`	Verificadors paral·lels
`--bwlimit=1M`	Limita l’ample de banda a 1MB/s

Verificació de la càrrega

Llistar contingut remot:

rclone ls "owncloud_upload:/"

Comprovar contingut local i remot:

clone check ./dataset_local/ "owncloud_upload:/" --one-way

Script d'automatització (Linux/MacOS)

#!/bin/bash
script_descarga.sh
 
REMOTE_NAME="owncloud"
REMOTE_PATH="/"
LOCAL_DIR="./dataset_local"
 
echo "Iniciant càrrega des de $REMOTE_NAME:$REMOTE_PATH"
rclone sync "$LOCAL_DIR" "$REMOTE_NAME:$REMOTE_PATH" --progress --log-level INFO --transfers=4 --checkers=8
 
if [ $? -eq 0 ]; then
echo "Càrrega completada amb èxit"
else
echo "Error durant la càrrega - pots reanudar executant la mateixa comanda"
exit 1
fi

Script d'automatització (Windows)

$remoteName = "owncloud_upload"
$remotePath = "/"
$localDir = "./dataset_local"

Write-Host "Iniciant càrrega cap a $remoteName`:$remotePath"
rclone sync $localDir "$remoteName`:$remotePath" --progress --log-level INFO --checksum

if ($LASTEXITCODE -eq 0) {
  Write-Host "Càrrega completada amb èxit"
} else {
  Write-Host "Error durant la càrrega - pots reexecutar la mateixa comanda"
  exit 1
}

Referències i consells

Pàgina oficial de rclone(https://rclone.org/)
Documentació d'OwnCloud WebDAV API(https://owncloud.dev/apis/)
Manual de rclone(https://rclone.org/docs/)
Configuració de WebDAV amb rclone(https://rclone.org/webdav/)

Consells útils:

Utilitza sempre --progress --log-level INFO per monitoritzar el procés
En cas de tall, reexecuta la comanda: rclone reanuda automàticament i no duplica fitxers ja pujats
Per a datasets grans, considera --bwlimit per evitar saturar la connexió
Verifica la integritat amb rclone check

Space shortcuts

Page tree

Què és Rclone?

NOTA: La comanda SYNC generarà la mateixa estructura de directoris que hi ha dins del path indicat