Aller au contenu | Aller au menu | Aller à la recherche


rsync

Par PlaceOweb le lundi, novembre 20 2006, 00:47 - Système - Lien permanent

Copie et synchronisation de dossiers sur des serveurs différents

Il existe d'autre outils de synchronisation, mais rsync est très efficace.

Voici comment copier manuellement (en saisissant le mot de passe) votre racine web vers un un autre serveur :

rsync --verbose --delete --archive --progress -e "ssh -p <port>" /var/www/ 25.91.13.67:/var/www/

La commande rsync est très complète. Voir man rsync pour plus de détails.

Pour passer outre la saisie du mot de passe il faut générer les clefs RSA pour SSH, ou utiliser Rsync en tant que daemon sur le serveur qui réceptionne.

Pour se loguer du serveur1 au serveur2 sans authentification, voici comment procéder :

  • Sur le serveur1 :
serveur1:~# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
26:12:25:37:13:f5:22:19:67:26:58:e3:4c:5c:43:56 root@serveur1
serveur1:~# l /root/.ssh/id_rsa
-rw--- 1 root root 1675 2008-06-21 01:22 /root/.ssh/id_rsa
  • Sur le serveur2 :

Complétez le fichier /root/.ssh/authorized_keys avec le contenu de /root/.ssh/id_rsa.pub du serveur1

Pour vérifier que cela fonctionne, un simple

ssh ip_serveur2

devrait vous connecter à la machine sans demander de mot de passe.

  • danslesbois nous explique comment faire de manière automatique avec les clefs RSA + RSYNC.

Mais voici comment faire rapidement un script après avoir générer et recopier les clefs SSH (détaillé plus haut) :

1ere erreur : déclaration des options de rsh dans une variable : options="--verbose --archive --progress --exclude-from=rsync.excludes.list --rsh=\"ssh -p 1222\""

serveurSource:~# ./rsync.auto.sh
Missing trailing-" in remote-shell command.
rsync error: syntax or usage error (code 1) at main.c(348) [sender=2.6.9]

Je n'ai pas réussi à outre passer ce problème, j'ai du mettre la ligne de commande directement : rsync -e "ssh -p ${REMOTE_PORT}" $OPTS $LOCAL_PATH $REMOTE_USER@$REMOTE_HOST:$REMOTE_PATH

Voici le script final (tiré de Ubuntu Forums Shell Script + Rsync) :

# Path...
 export PATH=$PATH:/bin:/usr/bin:/usr/local/bin
 
 # Files and folders to backup...
 FILES=rsync.files.list
 
 # Files and folders to skip...
 EXCLUDES=rsync.excludes.list
 
 # Files and folders that would have been skipped, but special cases...
 INCLUDES=rsync.exclude-exceptions.list
 
 # Our hostname...
 HOSTNAME=$(uname -n)
 
 # Make sure we are being run as root...
 if \[ "$(id -u)" != "0" ]; then
    echo "You must run the script as root, since it needs to backup stuff system wide." 1>&2
    exit 1
 fi
 
 # Location source file
 LOCAL_PATH=/var/www/
 
 # Location to store backup...
 REMOTE_HOST=25.91.13.67
 REMOTE_PORT=1222
 REMOTE_USER=root
 REMOTE_PATH=/var/www/
 
 # Rsync options...
 OPTS="-avrz
       --compress-level=9
       --itemize-changes
       --delete
       --delete-excluded
       --human-readable
       --files-from=$FILES
       --include-from=$INCLUDES
       --exclude-from=$EXCLUDES
       --progress
       --stats"
 
 OPTS="--verbose
       --archive
       --progress
       --exclude-from=$EXCLUDES
       --stats"
 
 # Display greeter...
 echo "Preparing to backup" $HOSTNAME "in 5 seconds with the following command..."
 
 # Echo command to run...
 echo rsync -e \"ssh -p ${REMOTE_PORT}\" $OPTS $LOCAL_PATH $REMOTE_USER@$REMOTE_HOST:$REMOTE_PATH
 #sleep 3
 
 rsync -e "ssh -p ${REMOTE_PORT}" $OPTS $LOCAL_PATH $REMOTE_USER@$REMOTE_HOST:$REMOTE_PATH

Vous pouvez également vous servir de Rsync avec windows : Cygwin : rsync configuration

Rsync est un outil Unix puissant pour synchroniser des arborescences de fichiers entre machines distantes. Utile pour éviter des copies complètes systématiques. Nous détaillerons ici, la copie d'un dossier depuis une machine Windows vers un serveur Linux avec Rsync.

Principe de la connexion

Sur le PC serveur, rsync tourne en mode serveur. Il faut donc créer une configuration adéquate.

Sur le PC client, le rsync (installé avec cygwin).

Pour résumer : - coté client : cygwin fait tourner rsync en ligne de commande. - coté serveur : rsync en mode serveur, et une configuration fichier pour les modules à synchroniser est nécessaire.

Vérification de la bonne installation de rsync

La manipulation suivante est valable aussi bien côté serveur que client.

Sur le serveur :

$ rsync --help
rsync  version 2.6.4  protocol version 29
Copyright (C) 1996-2005 by Andrew Tridgell and others
<http://rsync.samba.org/>
Capabilities: 64-bit files, socketpairs, hard links, symlinks, batchfiles,
             inplace, IPv6, 64-bit system inums, 64-bit internal inums

Sur le poste Windows :

C:\Program Files\cwRsync\bin>rsync.exe --help
rsync  version 2.6.9  protocol version 29
Copyright (C) 1996-2006 by Andrew Tridgell, Wayne Davison, and others.
<http://rsync.samba.org/>
Capabilities: 64-bit files, socketpairs, hard links, symlinks, batchfiles,
             inplace, no IPv6, 64-bit system inums, 64-bit internal inums

Installation de rsync comme serveur (daemon sur une distribution Debian)

$ apt-get install rsync

Ensuite tant que que n'aurez pas créer les fichiers de configuration vous ne pourrez pas le lancer.

Rsync daemon debian

Pour que rsync se lance en tant que daemon : /usr/bin/rsync --no-detach --daemon --config /etc/rsyncd.conf Il faut éditer le fichier suivant pour activer rsync en tant que daemon avec l'option : RSYNC_ENABLE à true

/etc/default/rsync
# defaults file for rsync daemon mode

# start rsync in daemon mode from init.d script?
#  only allowed values are "true", "false", and "inetd"
#  Use "inetd" if you want to start the rsyncd from inetd,
#  all this does is prevent the init.d script from printing a message
#  about not starting rsyncd (you still need to modify inetd's config yourself).
#RSYNC_ENABLE=false
RSYNC_ENABLE=true

Documentation

La configuration est décrite sur Internet sur le site rsync.samba.org (le site officiel avec toute la documentation).

On peut obtenir de l'aide sur les options par :

rsync --help

Et bien sur le manuel en ligne est disponible par :

man rsync

Configuration détaillée

La configuration de rsync consiste a modifier plusieurs fichiers :

  1. /etc/rsyncd.conf (fichier à créer dans notre cas)
  2. /etc/rsyncd.pid (créé par le processus lui-même)
  3. /etc/rsyncd.secrets (utilisé pour une authentification rsync)

Exemple de fichier /etc/rsyncd.conf

Ce fichier correspond à notre cas d'utilisation. Voir la doc en ligne pour d'autres besoins. Créer et éditer le fichier (vi) :

####### fichier /etc/rsyncd.conf ######
[rsyncftp]
       comment = aire de sauvegarde des fichiers via rsync
       path = /RsyncDepot
       use chroot = false
       max connections = 1
       read only = false

       # The default is uid -2, which is normally the user "nobody".
       #uid = nobody
       # The default is gid -2, which is normally the group "nobody".
       #gid = nobody

       # The "auth users" option specifies a comma and space-separated list of usernames that will be allowed to connect to this module. The usernames do not need to exist on the local system.
       auth users = utilisateur

       # The "secrets file" option specifies the name of a file that contains the username:password pairs used for authenticating this module. This file is only consulted if the "auth users" option is specified.
       secrets file = /etc/rsyncd.secrets

       # The "hosts allow" option allows you to specify a list of patterns that are matched against a connecting clients hostname and IP address.
       hosts allow = 81.241.141.1
       # 81.241.141.1 = l'ip Wan de votre ordinateur windows
####### fichier /etc/rsyncd.secrets ######
utilisateur:motDePasse

Problèmes rencontrés :

Le service rsync ne démarre pas car le fichier rsyncd.conf n'est pas trouvé (d'après l'observateur d'évènement). Il faut créer ce fichier de configuration.

"@ERROR : chroot failed" : le uid est nécessaire sinon le user utilisé est "nobody" par défault. Il n'a surement pas les droits pour écrire, et cela provoque cette erreur. Le UserName que j'utilise est le même que celui qui est utilisé sur la connexion ssh (ça peut aider ?). Cette erreur peut aussi se produire si les répertoires cibles n'existent pas, ou si le path d'un module contient un espace (je n'ai pas trouvé comment permettre un espace dans le path d'un module).

"ERROR : module is read only" : par défaut le paramètre de configuration "read only" est à true ! Il suffit de le passer a false et de relancer le service.

"@ERROR : chdir failed" : vérifier les droits en écriture sur le répertoire cygwin pour l'utilisateur par : ls -iul répertoire Cette erreur peut apparaitre après passage du rsync serveur en mode service Windows (voir plus loin) alors que tout marchait bien avant. En effet par défaut le service se lance en tant que SYSTEM, et SYSTEM n'a pas forcément les droits (du point de vue de cygwin). Solutions : lancer le service sous le même utilisateur que le possesseur des répertoires à synchroniser, ou changer les droits sur ces répertoires pour autoriser l'écriture. Au pire, faire chmod 777 -R path-of-the-directory-to-synchronise Donc dans notre cas, nous ferons :

$ mkdir  /RsyncDepot
$ chmod 777 RsyncDepot

Vérification de la connexion

Depuis le client, la commande suivante va lister les modules (répertoires) disponibles pour rsync sur la machine distante :

C:\Program Files\cwRsync\bin>rsync.exe machine.monserveur.com::
rsyncftp        aire de sauvegarde des photos via rsync

Le module "rsyncftp" doit être présenté. Noter le "::" qui signifie que l'on se connecte directement par rsync (rsync ne voit pas le ssh de putty).

Rsync sous Windows

Cygwin est une collection de logiciels libres à l'origine développés par Cygnus Solutions permettant à différentes versions de Windows de Microsoft d'émuler un système Unix.

Voyez également l'article RSync sous Windows

Après avoir installer rsync depuis Cygwin et ayant choisis les miroirs adaptés à votre pays :

  • http://cygwin.cict.fr
  • ftp://mirror.cict.fr

Vous retrouverez sync (3.0.6) dans C:\cygwin

C:\cygwin>dir
 Le volume dans le lecteur C s'appelle 100sur450Go
 Le numéro de série du volume est 0026-9778
 
 Répertoire de C:\cygwin
 
02/01/2010  18:24    <REP>          .
02/01/2010  18:24    <REP>          ..
02/01/2010  18:21    <REP>          bin
02/01/2010  18:21    <REP>          cygdrive
02/01/2010  18:24                57 Cygwin.bat
02/01/2010  18:24             7 022 Cygwin.ico
02/01/2010  18:21    <REP>          dev
02/01/2010  18:21    <REP>          etc
02/01/2010  18:20    <REP>          home
02/01/2010  18:21    <REP>          lib
02/01/2010  18:21    <REP>          tmp
02/01/2010  18:20    <REP>          usr
02/01/2010  18:21    <REP>          var
               2 fichier(s)            7 079 octets
              11 Rép(s)   6 719 684 608 octets libres
 
C:\cygwin>cd bin
 
C:\cygwin\bin>rsync.exe
rsync  version 3.0.6  protocol version 30
Copyright (C) 1996-2009 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
    64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints,
    socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
    append, ACLs, xattrs, iconv, symtimes
 
rsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
General Public Licence for details.
 
rsync is a file transfer program capable of efficient remote update
via a fast differencing algorithm.
 
Usage: rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
The ':' usages connect via remote shell, while '::' & 'rsync://' usages connect
to an rsync daemon, and require SRC or DEST to start with a module name.
 
Options
 -v, --verbose               increase verbosity
 -q, --quiet                 suppress non-error messages
     --no-motd               suppress daemon-mode MOTD (see manpage caveat)
 -c, --checksum              skip based on checksum, not mod-time & size
 -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
     --no-OPTION             turn off an implied OPTION (e.g. --no-D)
 -r, --recursive             recurse into directories
 -R, --relative              use relative path names
     --no-implied-dirs       don't send implied dirs with --relative
 -b, --backup                make backups (see --suffix & --backup-dir)
     --backup-dir=DIR        make backups into hierarchy based in DIR
     --suffix=SUFFIX         set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
     --inplace               update destination files in-place (SEE MAN PAGE)
     --append                append data onto shorter files
     --append-verify         like --append, but with old data in file checksum
 -d, --dirs                  transfer directories without recursing
 -l, --links                 copy symlinks as symlinks
 -L, --copy-links            transform symlink into referent file/dir
     --copy-unsafe-links     only "unsafe" symlinks are transformed
     --safe-links            ignore symlinks that point outside the source tree
 -k, --copy-dirlinks         transform symlink to a dir into referent dir
 -K, --keep-dirlinks         treat symlinked dir on receiver as dir
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability         preserve the file's executability
     --chmod=CHMOD           affect file and/or directory permissions
 -A, --acls                  preserve ACLs (implies --perms)
 -X, --xattrs                preserve extended attributes
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
     --devices               preserve device files (super-user only)
     --specials              preserve special files
 -D                          same as --devices --specials
 -t, --times                 preserve modification times
 -O, --omit-dir-times        omit directories from --times
     --super                 receiver attempts super-user activities
     --fake-super            store/recover privileged attrs using xattrs
 -S, --sparse                handle sparse files efficiently
 -n, --dry-run               perform a trial run with no changes made
 -W, --whole-file            copy files whole (without delta-xfer algorithm)
 -x, --one-file-system       don't cross filesystem boundaries
 -B, --block-size=SIZE       force a fixed checksum block-size
 -e, --rsh=COMMAND           specify the remote shell to use
     --rsync-path=PROGRAM    specify the rsync to run on the remote machine
     --existing              skip creating new files on receiver
     --ignore-existing       skip updating files that already exist on receiver
     --remove-source-files   sender removes synchronized files (non-dirs)
     --del                   an alias for --delete-during
     --delete                delete extraneous files from destination dirs
     --delete-before         receiver deletes before transfer, not during
     --delete-during         receiver deletes during transfer (default)
     --delete-delay          find deletions during, delete after
     --delete-after          receiver deletes after transfer, not during
     --delete-excluded       also delete excluded files from destination dirs
     --ignore-errors         delete even if there are I/O errors
     --force                 force deletion of directories even if not empty
     --max-delete=NUM        don't delete more than NUM files
     --max-size=SIZE         don't transfer any file larger than SIZE
     --min-size=SIZE         don't transfer any file smaller than SIZE
     --partial               keep partially transferred files
     --partial-dir=DIR       put a partially transferred file into DIR
     --delay-updates         put all updated files into place at transfer's end
 -m, --prune-empty-dirs      prune empty directory chains from the file-list
     --numeric-ids           don't map uid/gid values by user/group name
     --timeout=SECONDS       set I/O timeout in seconds
     --contimeout=SECONDS    set daemon connection timeout in seconds
 -I, --ignore-times          don't skip files that match in size and mod-time
     --size-only             skip files that match in size
     --modify-window=NUM     compare mod-times with reduced accuracy
 -T, --temp-dir=DIR          create temporary files in directory DIR
 -y, --fuzzy                 find similar file for basis if no dest file
     --compare-dest=DIR      also compare destination files relative to DIR
     --copy-dest=DIR         ... and include copies of unchanged files
     --link-dest=DIR         hardlink to files in DIR when unchanged
 -z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with a suffix in LIST
 -C, --cvs-exclude           auto-ignore files the same way CVS does
 -f, --filter=RULE           add a file-filtering RULE
 -F                          same as --filter='dir-merge /.rsync-filter'
                             repeated: --filter='- .rsync-filter'
     --exclude=PATTERN       exclude files matching PATTERN
     --exclude-from=FILE     read exclude patterns from FILE
     --include=PATTERN       don't exclude files matching PATTERN
     --include-from=FILE     read include patterns from FILE
     --files-from=FILE       read list of source-file names from FILE
 -0, --from0                 all *-from/filter files are delimited by 0s
 -s, --protect-args          no space-splitting; only wildcard special-chars
     --address=ADDRESS       bind address for outgoing socket to daemon
     --port=PORT             specify double-colon alternate port number
     --sockopts=OPTIONS      specify custom TCP options
     --blocking-io           use blocking I/O for the remote shell
     --stats                 give some file-transfer stats
 -8, --8-bit-output          leave high-bit chars unescaped in output
 -h, --human-readable        output numbers in a human-readable format
     --progress              show progress during transfer
 -P                          same as --partial --progress
 -i, --itemize-changes       output a change-summary for all updates
     --out-format=FORMAT     output updates using the specified FORMAT
     --log-file=FILE         log what we're doing to the specified FILE
     --log-file-format=FMT   log updates using the specified FMT
     --password-file=FILE    read daemon-access password from FILE
     --list-only             list the files instead of copying them
     --bwlimit=KBPS          limit I/O bandwidth; KBytes per second
     --write-batch=FILE      write a batched update to FILE
     --only-write-batch=FILE like --write-batch but w/o updating destination
     --read-batch=FILE       read a batched update from FILE
     --protocol=NUM          force an older protocol version to be used
     --iconv=CONVERT_SPEC    request charset conversion of filenames
 -4, --ipv4                  prefer IPv4
 -6, --ipv6                  prefer IPv6
     --version               print version number
(-h) --help                  show this help (-h works with no other options)
 
Use "rsync --daemon --help" to see the daemon-mode command-line options.
Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation.
See http://rsync.samba.org/ for updates, bug reports, and answers
rsync error: syntax or usage error (code 1) at /home/lapo/packaging/rsync-3.0.6-1/src/rsync-3.0.6/main.c(1407) [client=3.0.6]
 
C:\Program Files (x86)\cwRsync\bin>rsync
rsync  version 3.0.8  protocol version 30
Copyright (C) 1996-2011 by Andrew Tridgell, Wayne Davison, and others.
Web site: http://rsync.samba.org/
Capabilities:
    64-bit files, 64-bit inums, 32-bit timestamps, 64-bit long ints,
    socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,
    append, ACLs, no xattrs, iconv, symtimes
 
rsync comes with ABSOLUTELY NO WARRANTY.  This is free software, and you
are welcome to redistribute it under certain conditions.  See the GNU
General Public Licence for details.
 
rsync is a file transfer program capable of efficient remote update
via a fast differencing algorithm.
 
Usage: rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
The ':' usages connect via remote shell, while '::' & 'rsync://' usages connect
to an rsync daemon, and require SRC or DEST to start with a module name.
 
Options
 -v, --verbose               increase verbosity
 -q, --quiet                 suppress non-error messages
     --no-motd               suppress daemon-mode MOTD (see manpage caveat)
 -c, --checksum              skip based on checksum, not mod-time & size
 -a, --archive               archive mode; equals -rlptgoD (no -H,-A,-X)
     --no-OPTION             turn off an implied OPTION (e.g. --no-D)
 -r, --recursive             recurse into directories
 -R, --relative              use relative path names
     --no-implied-dirs       don't send implied dirs with --relative
 -b, --backup                make backups (see --suffix & --backup-dir)
     --backup-dir=DIR        make backups into hierarchy based in DIR
     --suffix=SUFFIX         set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
     --inplace               update destination files in-place (SEE MAN PAGE)
     --append                append data onto shorter files
     --append-verify         like --append, but with old data in file checksum
 -d, --dirs                  transfer directories without recursing
 -l, --links                 copy symlinks as symlinks
 -L, --copy-links            transform symlink into referent file/dir
     --copy-unsafe-links     only "unsafe" symlinks are transformed
     --safe-links            ignore symlinks that point outside the source tree
 -k, --copy-dirlinks         transform symlink to a dir into referent dir
 -K, --keep-dirlinks         treat symlinked dir on receiver as dir
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability         preserve the file's executability
     --chmod=CHMOD           affect file and/or directory permissions
 -A, --acls                  preserve ACLs (implies --perms)
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
     --devices               preserve device files (super-user only)
     --specials              preserve special files
 -D                          same as --devices --specials
 -t, --times                 preserve modification times
 -O, --omit-dir-times        omit directories from --times
     --super                 receiver attempts super-user activities
 -S, --sparse                handle sparse files efficiently
 -n, --dry-run               perform a trial run with no changes made
 -W, --whole-file            copy files whole (without delta-xfer algorithm)
 -x, --one-file-system       don't cross filesystem boundaries
 -B, --block-size=SIZE       force a fixed checksum block-size
 -e, --rsh=COMMAND           specify the remote shell to use
     --rsync-path=PROGRAM    specify the rsync to run on the remote machine
     --existing              skip creating new files on receiver
     --ignore-existing       skip updating files that already exist on receiver
     --remove-source-files   sender removes synchronized files (non-dirs)
     --del                   an alias for --delete-during
     --delete                delete extraneous files from destination dirs
     --delete-before         receiver deletes before transfer, not during
     --delete-during         receiver deletes during transfer (default)
     --delete-delay          find deletions during, delete after
     --delete-after          receiver deletes after transfer, not during
     --delete-excluded       also delete excluded files from destination dirs
     --ignore-errors         delete even if there are I/O errors
     --force                 force deletion of directories even if not empty
     --max-delete=NUM        don't delete more than NUM files
     --max-size=SIZE         don't transfer any file larger than SIZE
     --min-size=SIZE         don't transfer any file smaller than SIZE
     --partial               keep partially transferred files
     --partial-dir=DIR       put a partially transferred file into DIR
     --delay-updates         put all updated files into place at transfer's end
 -m, --prune-empty-dirs      prune empty directory chains from the file-list
     --numeric-ids           don't map uid/gid values by user/group name
     --timeout=SECONDS       set I/O timeout in seconds
     --contimeout=SECONDS    set daemon connection timeout in seconds
 -I, --ignore-times          don't skip files that match in size and mod-time
     --size-only             skip files that match in size
     --modify-window=NUM     compare mod-times with reduced accuracy
 -T, --temp-dir=DIR          create temporary files in directory DIR
 -y, --fuzzy                 find similar file for basis if no dest file
     --compare-dest=DIR      also compare destination files relative to DIR
     --copy-dest=DIR         ... and include copies of unchanged files
     --link-dest=DIR         hardlink to files in DIR when unchanged
 -z, --compress              compress file data during the transfer
     --compress-level=NUM    explicitly set compression level
     --skip-compress=LIST    skip compressing files with a suffix in LIST
 -C, --cvs-exclude           auto-ignore files the same way CVS does
 -f, --filter=RULE           add a file-filtering RULE
 -F                          same as --filter='dir-merge /.rsync-filter'
                             repeated: --filter='- .rsync-filter'
     --exclude=PATTERN       exclude files matching PATTERN
     --exclude-from=FILE     read exclude patterns from FILE
     --include=PATTERN       don't exclude files matching PATTERN
     --include-from=FILE     read include patterns from FILE
     --files-from=FILE       read list of source-file names from FILE
 -0, --from0                 all *-from/filter files are delimited by 0s
 -s, --protect-args          no space-splitting; only wildcard special-chars
     --address=ADDRESS       bind address for outgoing socket to daemon
     --port=PORT             specify double-colon alternate port number
     --sockopts=OPTIONS      specify custom TCP options
     --blocking-io           use blocking I/O for the remote shell
     --stats                 give some file-transfer stats
 -8, --8-bit-output          leave high-bit chars unescaped in output
 -h, --human-readable        output numbers in a human-readable format
     --progress              show progress during transfer
 -P                          same as --partial --progress
 -i, --itemize-changes       output a change-summary for all updates
     --out-format=FORMAT     output updates using the specified FORMAT
     --log-file=FILE         log what we're doing to the specified FILE
     --log-file-format=FMT   log updates using the specified FMT
     --password-file=FILE    read daemon-access password from FILE
     --list-only             list the files instead of copying them
     --bwlimit=KBPS          limit I/O bandwidth; KBytes per second
     --stop-at=y-m-dTh:m     Stop rsync at year-month-dayThour:minute
     --time-limit=MINS       Stop rsync after MINS minutes have elapsed
     --write-batch=FILE      write a batched update to FILE
     --only-write-batch=FILE like --write-batch but w/o updating destination
     --read-batch=FILE       read a batched update from FILE
     --protocol=NUM          force an older protocol version to be used
     --iconv=CONVERT_SPEC    request charset conversion of filenames
     --tr=BAD/GOOD           transliterate filenames
 -4, --ipv4                  prefer IPv4
 -6, --ipv6                  prefer IPv6
     --version               print version number
(-h) --help                  show this help (-h works with no other options)
 
Use "rsync --daemon --help" to see the daemon-mode command-line options.
Please see the rsync(1) and rsyncd.conf(5) man pages for full documentation.
See http://rsync.samba.org/ for updates, bug reports, and answers
rsync error: syntax or usage error (code 1) at main.c(1420) [client=3.0.8]

Lignes de commandes côté client

J'ai choisi de ne pas utiliser la conservation des user et group, ni d'archive ou de conservation de Device Name. Je ne copie que mon disque Windows vers un serveur Unix sans utiliser les utilisateurs système, mais en utilisant l'authentification des utilisateurs uniquement définit pour Rsync (/etc/rsyncd.secrets sur le serveur) Les seules options utilisées sont :

  • -a, --archive : mode archive; identique a -rlptgoD (pas -H)
  • -v, --verbose : mode verbeux (détail des logs)
  • -z, --compress : compresse les fichiers durant le transfert
  • --password-file : lit le mot de passe depuis le fichier indiqué
  • --delete : pour effacer sur le serveur les fichiers qui n'existent plus sur votre PC
  • --progress : pour voir l'évolution du transfert du fichier en cours

Le détail de l'option -a :

  • -r, --recursive : récursivité
  • -l, --links : copie les liens symboliques en tant que liens symboliques
  • -p, --perms : conserve les permissions (droits) sur les fichiers
  • -t, --times : conservation des "time stamp" (heures) des fichiers (nécessaire pour la synchro).
  • -g, --group : conservation du groupe
  • -o, --owner : conservation de l'utilisateur
  • -D : identique à --devices --specials

Au besoin selon votre connexion :

  • -z, --compres : compression (pour économiser la bande passante).

La ligne de commande pour copier du client vers le serveur est :

rsync.exe -v -a --delete --progress --password-file=/cygdrive/C/pass.txt /cygdrive/c/MesImages utilisateur@machine.monserveur.com::rsyncftp

avec votre fichier mot de passe situé sur C:\pass.txt :

####### fichier C:\pass.txt ######
motDePasse

La ligne de commande pour copier du serveur vers le client est :

rsync -z -a machine.monserveur.com::rsyncftp /cygdrive/c/MesImages/

(Noter au passage la façon d'accéder aux lecteurs du PC depuis cygwin)

Pour finir...

Vous pouvez ajouter d'autres "modules" une fois le bon fonctionnement validé.

Enfin, coté client, vous pouvez automatiser le lancement du script contenant les commandes rsync dans un ".bat" de lancement de cygwin. Voici un exemple :

####### fichier C:\rsync\RsyncAuto.bat ######
 @echo off
 
 C:
 chdir C:\Program Files\cwRsync\bin
 rsync.exe -a \--delete \--password-file=/cygdrive/C/RsyncAuto.pass.txt /cygdrive/c/MesImages utilisateur@machine.monserveur.com::rsyncftp

Vous notez qu'on supprime ici les options --progress -v car si on ne logue pas le résultat, il est inutile d'avoir les détails.

Si toutefois vous voulez tracer le résultat de la commande dans le fichier C:\rsync\RsyncAuto.log, vous pouvez modier votre script en :

####### fichier C:\rsync\RsyncAuto.bat ######
 @echo off
 
 SETLOCAL
 SET RSYNCHOME="C:\Program Files\cwRsync"
 SET PATH=%RSYNCHOME%\bin;%PATH%
 SET LOGFILE="C:\rsync\RsyncAuto.log"
 
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- > %LOGFILE%
 echo \--    Lancement de la sauvegarde    \-- >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 echo %date%  %time% >> %LOGFILE%
 
 rem MesDocs
 SET BACKUP_SRC="Documents and Settings/momo/Mes documents"
 rem echo "" >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 echo \-- Debut de la sauvegarde de %BACKUP_SRC% à %date% %time% >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 rsync.exe -v -a \--compress \--delete \--password-file=/cygdrive/C/rsync/RsyncAuto.pass.txt /cygdrive/C/%BACKUP_SRC% utilisateur@machine.monserveur.com::rsyncftp >> %LOGFILE%
 rem Ou alternativement, en excluant des dossiers définis dans le fichier : RsyncAuto.exclude.txt (définissant les dossiers à exclure depuis la racine de votre dépôt Rsync)
 rem rsync.exe \--exclude-from=/cygdrive/C/rsync/RsyncAuto.exclude.txt --delete-excluded -v -a \--compress \--delete \--password-file=/cygdrive/C/rsync/RsyncAuto.pass.txt /cygdrive/C/%BACKUP_SRC% utilisateur@machine.monserveur.com::rsyncftp >> %LOGFILE%
 
 rem Images perso
 SET BACKUP_SRC="CD_IMAGES_perso"
 rem echo "" >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-->> %LOGFILE%
 echo \-- Debut de la sauvegarde de %BACKUP_SRC% à %date% %time% >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 rsync.exe -v -a \--compress \--delete \--password-file=/cygdrive/C/rsync/RsyncAuto.pass.txt /cygdrive/C/%BACKUP_SRC% utilisateur@machine.monserveur.com::rsyncftp >> %LOGFILE%
 
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 echo \--       Fin de la sauvegarde       \-- >> %LOGFILE%
 echo \--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\--\-- >> %LOGFILE%
 echo %date%  %time% >> %LOGFILE%
 
 exit

Problèmes rencontrés :

Problème de charset

Problème d'encodage du charset sur les noms accentués en sous windows (cp1252) à destination du serveur sous linux (utf-8) : rsync et iconv avec les accents sur le nom de fichier

Côté client Windows, appeler rsync avec l'option :

  --iconv=cp1252,utf-8

Résulte l'erreur :

rsync: The server is configured to refuse --iconv
rsync error: requested action not supported (code 4) at clientserver.c(840) [receiver=3.0.3]
rsync: read error: Software caused connection abort (113)
rsync error: error in rsync protocol data stream (code 12) at /home/lapo/packaging/rsync-3.0.6-1/src/rsync-3.0.6/io.c(759) [sender=3.0.6]

Il fallait également, coté serveur, configurer rsyncd.conf :

  charset=UTF-8
@ERROR Invalid UID nobody

Avec cwRsync, le uid=0 et gid=0 doivent êtres ajoutés dans rsyncd.conf pour éviter l'erreur @ERROR Invalid UID nobody lors d'une copie telle que

C:\Program Files (x86)\cwRsync\bin>rsync --verbose --archive "/cygdrive/c/_Rsync_test/" "rsync://192.168.0.120/test"

Automatisation de la sauvegarde différentielle

Pour lancer automatiquement votre fichier, Panneau de configuration->Tâches planifiées->Création d'une tâche planifiée Si vous avez besoin consultez l'aide sur la gestion des tâches planifiées. Attention toute fois, pour s'exécuter, les taches planifiés semblent nécessiter d'un compte avec un mot de passe.

Dormez tranquille, rsync copie vos données !*

Ajouter un commentaire

Le code HTML est affiché comme du texte et les adresses web sont automatiquement transformées.

Fil des commentaires de ce billet