mostly t11 fixes
[distro-setup] / btrbk-run
index b3a32071fabaea9803808743b305e0c6de024d99..1b6cec5406802048fbeb1583ddf569867dd87e16 100644 (file)
--- a/btrbk-run
+++ b/btrbk-run
@@ -26,7 +26,7 @@ source /usr/local/lib/err
 
 usage() {
   cat <<'EOF'
-btrbk-run [OPTIONS]
+btrbk-run [OPTIONS] [run|resume|archive]
 usually -t TARGET_HOST or -s SOURCE_HOST
 
 Note, at source location, intentionally not executable, run and read
@@ -76,13 +76,17 @@ if [[ -s $default_args_file ]]; then
   sleep 5
 fi
 
-early=false # quit early, just btrbk, no extra remounting etc.
+early=false
 cron=false
 orig_args=("$@")
 temp=$(getopt -l cron,pull-reexec,help ceil:m:npqrs:t:vh "$@") || usage 1
 eval set -- "$temp"
 while true; do
   case $1 in
+    # some behaviors specific to running under cron:
+    # - skip hosts where xprintidle haven't been idle recently
+    # - if we can't ssh to 1 or more hosts, still do the rest
+    # - if we aren't MAIL_HOST and no -m or -s, just exit
     --cron)
       cron=true
       pre=
@@ -90,6 +94,7 @@ while true; do
       ;;
     # only creates the config file, does not run btrbk
     -c) conf_only=true; shift ;;
+    # quit early, just btrbk, no extra remounting etc.
     -e) early=true; shift ;;
     -i) incremental_strict=true; shift ;;
     # bytes per second, suffix k m g
@@ -97,9 +102,11 @@ while true; do
     # Comma separated mountpoints to backup. This has defaults set below.
     -m) IFS=, mountpoints=($2); unset IFS; shift 2 ;;
     -n) dry_run=true; dry_run_arg=-n; shift ;;
+    # show progress
     -p) progress_arg="--progress"; shift ;;
+    # internal option for rerunning under newer SOURCE_HOST version.
     --pull-reexec) pull_reexec=true; shift ;;
-    -r) archive=false; shift ;;
+    # quiet
     -q) verbose=false; verbose_arg=; progress_arg=; shift ;;
     # source host to receive a backup from
     -s)
@@ -113,6 +120,7 @@ while true; do
     # target hosts to send to. empty is valid for just doing local
     # snapshot. we have default hosts we will populate.
     -t) IFS=, targets=($2); unset IFS; shift 2 ;;
+    # verbose.
     -v) verbose=true; verbose_arg=-v; shift ;;
     -h|--help) usage ;;
     --) shift; break ;;
@@ -120,11 +128,28 @@ while true; do
   esac
 done
 
-# only tested commands are resume and archive
 cmd_arg=${1:-run}
 
+
+std_preserve="18h 14d 8w 24m"
+q_preserve="18h 14d"
+
 case $cmd_arg in
-  run|resume|archive) : ;;
+  run|resume) : ;;
+
+  # This works better than the normal archive command. We have to
+  # specify the mount points, but that is what we are used to doing and
+  # we prefer it. Another difference is that archive works recursively
+  # and we don't care about that. Sometimes we may still want to run
+  # btrbk archive, but it doesn't even use the config file, so just
+  # run it directly, eg:
+  # time s btrbk -v archive /mnt/r7/amy/boot/btrbk ssh://bo/mnt/boot2/btrbk
+  archive)
+    cmd=resume
+    std_preserve="999h 999d 999w 999m"
+    q_preserve="$std_preserve"
+    preserve_arg=-p
+    ;;
   *) die "untested command arg" ;;
 esac
 
@@ -333,7 +358,11 @@ local_zone=$(date +%z)
 
 if [[ $source ]]; then
   if ! zone=$(ssh root@$source date +%z); then
-    die failed to ssh to root@$source
+    if $conf_only; then
+      echo "$0: warning: failed to ssh to root@$source"
+    else
+      die failed to ssh to root@$source
+    fi
   fi
   if [[ $zone != "$local_zone" ]]; then
     die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
@@ -353,36 +382,41 @@ else
       if (( ${#remote_info[@]} != 3 )); then
         die "error: didnt get 3 fields in test ssh to target $h. investigate"
       fi
+    elif $conf_only; then
+      # Use some typical values in this case
+      root_size=$(( 1024 * 1024 * 2000 )) #2tb
+      percent_used=10
+      zone=$(date +%z)
+    else
+      sshfail+=($h)
+      continue
+    fi
 
+    # we may be booted into a bootstrap fs or something
+    min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
+    if (( root_size < min_root_kb )); then
+      continue
+    fi
 
-      # we may be booted into a bootstrap fs or something
-      min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
-      if (( root_size < min_root_kb )); then
-        continue
-      fi
-
-      if (( percent_used >= 98 )); then
-        die "error: filesystem on target $h is $percent_used % full"
-      fi
+    if (( percent_used >= 98 )); then
+      die "error: filesystem on target $h is $percent_used % full"
+    fi
 
-      # This is a separate ssh because xprintidle can fail and thats ok.
-      if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
-        if (( idle_ms < min_idle_ms )); then
+    # This is a separate ssh because xprintidle can fail and thats ok.
+    if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
+      if (( idle_ms < min_idle_ms )); then
 
-          # Ignore this host. i sometimes use a non-main machine for
-          # testing or web browsing, knowing that everything will be wiped
-          # by the next backup, but I dont want it to happen as Im using
-          # it from cronjob.
-          e "warning: $h: active X session in the last 15 minutes, skipping for now"
-          continue
-        fi
-      fi
-      sshable+=($h)
-      if [[ $zone != "$local_zone" ]]; then
-        die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
+        # Ignore this host. i sometimes use a non-main machine for
+        # testing or web browsing, knowing that everything will be wiped
+        # by the next backup, but I dont want it to happen as Im using
+        # it from cronjob.
+        e "warning: $h: active X session in the last 15 minutes, skipping for now"
+        continue
       fi
-    else
-      sshfail+=($h)
+    fi
+    sshable+=($h)
+    if [[ $zone != "$local_zone" ]]; then
+      die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
     fi
   done
   if [[ ! ${sshable[*]} ]] || { ! $cron && [[ ${sshfail[*]} ]]; }; then
@@ -423,11 +457,11 @@ snapshot_create onchange
 # I could make this different from target_preserve,
 # if one disk had less space.
 # for now, keeping them equal.
-snapshot_preserve 18h 14d 8w 24m
+snapshot_preserve $std_preserve
 snapshot_preserve_min 2h
 snapshot_dir btrbk
 # so, total backups = ~58
-target_preserve 18h 14d 8w 24m
+target_preserve $std_preserve
 target_preserve_min 2h
 
 # if something fails and it's not obvious, try doing
@@ -469,10 +503,10 @@ EOF
       q)
         # q has sensitive data i dont want to backup for so long
         cat >>/etc/btrbk.conf <<EOF
-snapshot_preserve 18h 14d
+snapshot_preserve $std_preserve
 snapshot_preserve_min 2h
 snapshot_dir btrbk
-target_preserve 18h 14d
+target_preserve $std_preserve
 target_preserve_min 2h
 EOF
         ;;
@@ -512,19 +546,10 @@ fi
 if $dry_run; then
   m btrbk -v -n $cmd_arg
   mexit 0
-elif [[ $cmd_arg == archive ]]; then
-  if [[ $source ]]; then
-    m btrbk $verbose_arg $progress_arg $cmd_arg ssh://$source$vol $vol
-  else
-    for tg in ${targets[@]}; do
-      m btrbk $verbose_arg $progress_arg $cmd_arg $vol ssh://$tg$vol
-    done
-  fi
-  mexit 0
 fi
 # -q and just using the syslog option seemed nice,
 # but it doesn't show when a send has a parent and when it doesn't.
-m btrbk $verbose_arg $progress_arg $cmd_arg
+m btrbk $preserve_arg $verbose_arg $progress_arg $cmd_arg
 
 # todo: tp not valid anymore.
 # if we have it, sync to systems which don't