Descàrrega de fitxers per a datasets grans

Procediment 2 - Rclone

Què és Rclone?

Eina de línia de comandes per gestionar fitxers en més de 70 proveïdors d'emmagatzematge al núvol
Equivalent a rsync, cp, mv, mount, ls per al núvol
Reanuda automàticament transferències interrompudes

Guia d'instal·lació Rclone (Linux)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Ubuntu/Debian

curl https://rclone.org/install.sh | sudo bash

CentOS/RHEL/Fedora

curl https://rclone.org/install.sh | sudo bash

Arch Linux

sudo pacman -S rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Guia d'instal·lació Rclone (MacOS)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Homebrew

brew install rclone

MacPorts

sudo port install rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Guia d'instal·lació Rclone (Windows)

Pas 1: Visita la pàgina oficial: https://rclone.org/

Pas 2: Instal·lació

Chocolatey

choco install rclone

Scoop

scoop install rclone

També es pot descarregar directament des de https://rclone.org/downloads/

Configuració inicial

Pas 3: Executa la configuració al Terminal o PowerShell:

rclone config

Passos:

Selecciona "n" per a una nova configuració
Introdueix el nom del remot (per exemple: "owncloud")
Escull "webdav" com a tipus de remot
Introdueix la URL del servidor (De l'enllaç https://disc.csuc.cat/s/ornFnBuUVtQDIjU, s'obté la url amb format https://disc.csuc.cat/remote.php/dav/public-files/ornFnBuUVtQDIjU que anirà a la configuració de Rclone)
Escull "Other" com a vendor
No necessites usuari ni contrasenya per a espais públics, Enter per deixar-ho buit
No necessites bearer_token, Enter per deixar-ho buit
Escull "n" per configuracions avançades
Guarda la configuració

Instruccions de descàrrega

Comanda bàsica:

rclone sync "owncloud:/" ./dataset_local/ --progress --log-level INFO

Opcions avançades:

# Millor rendiment

rclone sync "owncloud:/" ./dataset_local/ --progress --log-level INFO --transfers=4 --checkers=8

# Limitació de banda

rclone sync "owncloud:/" ./dataset_local/ --progress --log-level INFO --bwlimit=1M

Opcions útils:

Opció	Descripció
`--progress`	Mostra el progrés de la transferència
`--log-level INFO`	Proporciona logs detallats
`--transfers=4`	Transferències paral·leles
`--checkers=8`	Verificadors paral·lels
`--bwlimit=1M`	Limita l’ample de banda a 1MB/s

Reanudar descàrregues interrompudes:

rclone sync "owncloud:/" ./dataset_local/ --progress --log-level INFO

Exemples

Exemple 1: Dataset d'imatges

rclone sync "owncloud:/images/" ./imatges_dataset/ --progress --log-level INFO --include=".jpg" --include=".png" --exclude="*"

Exemple 2: Dataset CSV

rclone sync "owncloud:/csv/" ./csv_dataset/ --progress --log-level INFO --include=".csv" --exclude=""

Exemple 3: Dataset gran amb verificació

rclone sync "owncloud:/" ./large_dataset/ --progress --log-level INFO --checksum --stats

Script d'automatització (Linux/MacOS)

#!/bin/bash
script_descarga.sh

REMOTE_NAME="owncloud"
REMOTE_PATH="dataset/"
LOCAL_DIR="./dataset_local"

echo "Iniciant descàrrega des de $REMOTE_NAME:$REMOTE_PATH"
rclone sync "$REMOTE_NAME:$REMOTE_PATH" "$LOCAL_DIR" --progress --log-level INFO --transfers=4 --checkers=8

if [ $? -eq 0 ]; then
echo "Descàrrega completada amb èxit"
else
echo "Error durant la descàrrega - pots reanudar executant la mateixa comanda"
exit 1
fi

Script d'automatització (Windows)

script_descarga.ps1

$remoteName = "owncloud"
$remotePath = "dataset/"
$localDir = "./dataset_local"

Write-Host "Iniciant descàrrega des de $remoteName`:$remotePath"
rclone sync "$remoteName`:$remotePath" $localDir --progress --log-level INFO --transfers=4 --checkers=8

if ($LASTEXITCODE -eq 0) {
Write-Host "Descàrrega completada amb èxit"
} else {
Write-Host "Error durant la descàrrega - pots reanudar executant la mateixa comanda"
exit 1
}

Referències i consells

Pàgina oficial de rclone(https://rclone.org/)
Documentació d'OwnCloud WebDAV API(https://owncloud.dev/apis/)
Manual de rclone(https://rclone.org/docs/)
Configuració de WebDAV amb rclone(https://rclone.org/webdav/)

Consells útils:

Utilitza sempre --progress --log-level INFO per monitoritzar el procés
En cas de tall, reexecuta la comanda: rclone reanuda automàticament
Per a datasets grans, considera --bwlimit per evitar saturar la connexió
Verifica la integritat amb rclone check

Space shortcuts

Page tree

Què és Rclone?