Ultimamente ho avuto bisogno di scaricare una lista di piccoli file da Amazon S3, non avevo accesso diretto al bucket, avevo solamente un elenco di URL che mi hanno passato come file .txt.
Appena aperto il file .txt mi sono spaventato, erano veramente troppi file per essere recuperati uno per uno, quindi ho cercato un modo per recuperarli automaticamente.
Ecco un paio di modi che ho trovato per farlo:
URL Tramite cURL
Curl è installato di default su tutti i Mac e su quasi tutte le distribuzioni Linux, quindi è stata la mia prima scelta per questo compito, d’altronde è anche molto facile:
Create un nuovo file chiamato files.txt e incollate gli URL uno per riga.
Eseguite quindi il seguente comando:
xargs -n 1 curl -O < files.txtCurl scaricherà ogni singolo file nella directory corrente.
URL Tramite wget
Se siete su un SO Linux oppure curl non è disponibile per qualche motivo sulla vostra macchina, potete fare la stessa cosa con wget.
Create un nuovo file chiamato files.txt e incollate gli URL uno per riga.
Eseguite quindi il seguente comando:
wget -i files.txtWget scaricherà ogni singolo file nella directory corrente.
Suggerimento per gli utenti di macOS: Se volete usare wget su macOS, potete installarlo tramite Homebrew usando homebrew install wget.