fix the case of duplicated sent archive recipients
[distro-setup] / btrbk-run
index 8a310e61e931e495ef0700c64128e56dac1fab9e..2e1bc6352193f861031bd6e2cf4bbfeff81889a7 100644 (file)
--- a/btrbk-run
+++ b/btrbk-run
@@ -26,7 +26,7 @@ source /usr/local/lib/err
 
 usage() {
   cat <<'EOF'
-btrbk-run [OPTIONS]
+btrbk-run [OPTIONS] [run|resume|archive]
 usually -t TARGET_HOST or -s SOURCE_HOST
 
 Note, at source location, intentionally not executable, run and read
@@ -63,7 +63,13 @@ conf_only=false
 dry_run=false # mostly for testing
 rate_limit=no
 verbose=true; verbose_arg=-v
-progress_arg="--progress"
+if [[ $INVOCATION_ID ]]; then
+  # INVOCATION_ID means running as a systemd service. we cant show progress in this case,
+  # but if we pass the arg, it will insert mbuffer into the command.
+  progress_arg=
+else
+  progress_arg="--progress"
+fi
 incremental_strict=false
 pull_reexec=false
 
@@ -76,7 +82,6 @@ if [[ -s $default_args_file ]]; then
   sleep 5
 fi
 
-marchive=false
 early=false
 cron=false
 orig_args=("$@")
@@ -103,8 +108,8 @@ while true; do
     # Comma separated mountpoints to backup. This has defaults set below.
     -m) IFS=, mountpoints=($2); unset IFS; shift 2 ;;
     -n) dry_run=true; dry_run_arg=-n; shift ;;
-    # show progress
-    -p) progress_arg="--progress"; shift ;;
+    # hide progress
+    -p) progress_arg=; shift ;;
     # internal option for rerunning under newer SOURCE_HOST version.
     --pull-reexec) pull_reexec=true; shift ;;
     # quiet
@@ -129,7 +134,6 @@ while true; do
   esac
 done
 
-# only tested commands are resume and archive
 cmd_arg=${1:-run}
 
 
@@ -137,10 +141,17 @@ std_preserve="18h 14d 8w 24m"
 q_preserve="18h 14d"
 
 case $cmd_arg in
-  run|resume|archive) : ;;
-  marchive)
-    marchive=true
-    cmd=resume
+  run|resume) : ;;
+
+  # This works better than the normal archive command. We have to
+  # specify the mount points, but that is what we are used to doing and
+  # we prefer it. Another difference is that archive works recursively
+  # and we don't care about that. Sometimes we may still want to run
+  # btrbk archive, but it doesn't even use the config file, so just
+  # run it directly, eg:
+  # time s btrbk -v archive /mnt/r7/amy/boot/btrbk ssh://bo/mnt/boot2/btrbk
+  archive)
+    cmd_arg=resume
     std_preserve="999h 999d 999w 999m"
     q_preserve="$std_preserve"
     preserve_arg=-p
@@ -163,8 +174,6 @@ if $verbose; then
 fi
 ### end options parsing
 
-declare -A vols
-
 # remove path from earlier version of btrbk
 rm -f /usr/sbin/btrbk
 # note, this still works as intended if there is no /usr/bin/btrbk
@@ -193,7 +202,8 @@ if [[ ! -v targets && ! $source ]]; then
 
   at_work=false
 
-  targets=(frodo.b8.nz)
+  # todo, fix this up once frodo is back
+  # targets=(frodo.b8.nz)
   case $HOSTNAME in
     x2|kw)
       at_work=true
@@ -215,10 +225,13 @@ if [[ ! -v targets && ! $source ]]; then
         home=b8.nz
       fi
       ;;&
+    x2)
+      targets+=($home)
+      ;;
     kw)
       targets+=($home x2.office.fsf.org)
       ;;
-    x2|x3|sy|bo)
+    x3|sy|bo)
       targets+=($home)
       if $at_work; then
         targets+=(x2.office.fsf.org x2.b8.nz)
@@ -227,12 +240,21 @@ if [[ ! -v targets && ! $source ]]; then
       fi
       ;;
     kd)
-      targets+=(x2wg.b8.nz x3.b8.nz)
+      if ping -q -c1 -w1 x2.office.fsf.org &>/dev/null; then
+        targets+=(x2.office.fsf.org)
+      else
+        targets+=(x2wg.b8.nz)
+      fi
       if ping -q -c1 -w1 sy.b8.nz &>/dev/null; then
         targets+=(sy.b8.nz)
       else
         targets+=(syw.b8.nz)
       fi
+      if ping -q -c1 -w1 x3.b8.nz &>/dev/null; then
+        targets+=(x3.b8.nz)
+      else
+        targets+=(x3w.b8.nz)
+      fi
       ;;
     frodo)
       # no targets
@@ -276,19 +298,19 @@ else
           if [[ $source_host == "$MAIL_HOST" ]]; then
             prospective_mps+=(/o)
           fi
+          if [[ $source_host == "$HOST2" ]]; then
+            prospective_mps+=(/a /ar /qr /q)
+          fi
         else
           if [[ $HOSTNAME == "$MAIL_HOST" ]]; then
-            # HOST2 is really the mail host if it exists
-            if [[ $HOST2 && $HOST2 != "$HOSTNAME" ]]; then
-              echo "skipping /o because HOST2 is not us"
-            else
-              prospective_mps+=(/o)
-            fi
+            prospective_mps+=(/o)
+          fi
+          if [[ $HOSTNAME == "$HOST2" ]]; then
+            prospective_mps+=(/a /ar /qr /q)
           fi
         fi
         # note: put q last just in case its specific retention options were to
         # affect other config sections. I havent tested if that is the case.
-        prospective_mps+=(/a /ar /qr /q)
         ;;
     esac
   fi
@@ -355,7 +377,11 @@ local_zone=$(date +%z)
 
 if [[ $source ]]; then
   if ! zone=$(ssh root@$source date +%z); then
-    die failed to ssh to root@$source
+    if $conf_only; then
+      echo "$0: warning: failed to ssh to root@$source"
+    else
+      die failed to ssh to root@$source
+    fi
   fi
   if [[ $zone != "$local_zone" ]]; then
     die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
@@ -375,36 +401,41 @@ else
       if (( ${#remote_info[@]} != 3 )); then
         die "error: didnt get 3 fields in test ssh to target $h. investigate"
       fi
+    elif $conf_only; then
+      # Use some typical values in this case
+      root_size=$(( 1024 * 1024 * 2000 )) #2tb
+      percent_used=10
+      zone=$(date +%z)
+    else
+      sshfail+=($h)
+      continue
+    fi
 
+    # we may be booted into a bootstrap fs or something
+    min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
+    if (( root_size < min_root_kb )); then
+      continue
+    fi
 
-      # we may be booted into a bootstrap fs or something
-      min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
-      if (( root_size < min_root_kb )); then
-        continue
-      fi
-
-      if (( percent_used >= 98 )); then
-        die "error: filesystem on target $h is $percent_used % full"
-      fi
+    if (( percent_used >= 98 )); then
+      die "error: filesystem on target $h is $percent_used % full"
+    fi
 
-      # This is a separate ssh because xprintidle can fail and thats ok.
-      if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
-        if (( idle_ms < min_idle_ms )); then
+    # This is a separate ssh because xprintidle can fail and thats ok.
+    if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
+      if (( idle_ms < min_idle_ms )); then
 
-          # Ignore this host. i sometimes use a non-main machine for
-          # testing or web browsing, knowing that everything will be wiped
-          # by the next backup, but I dont want it to happen as Im using
-          # it from cronjob.
-          e "warning: $h: active X session in the last 15 minutes, skipping for now"
-          continue
-        fi
-      fi
-      sshable+=($h)
-      if [[ $zone != "$local_zone" ]]; then
-        die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
+        # Ignore this host. i sometimes use a non-main machine for
+        # testing or web browsing, knowing that everything will be wiped
+        # by the next backup, but I dont want it to happen as Im using
+        # it from cronjob.
+        e "warning: $h: active X session in the last 15 minutes, skipping for now"
+        continue
       fi
-    else
-      sshfail+=($h)
+    fi
+    sshable+=($h)
+    if [[ $zone != "$local_zone" ]]; then
+      die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
     fi
   done
   if [[ ! ${sshable[*]} ]] || { ! $cron && [[ ${sshfail[*]} ]]; }; then
@@ -468,11 +499,9 @@ for m in ${mountpoints[@]}; do
   case $m in
     /o)
       vol=/mnt/o
-      vols[$vol]=t
       ;;
     *)
       vol=/mnt/root
-      vols[$vol]=t
       ;;
   esac
 
@@ -536,19 +565,6 @@ fi
 if $dry_run; then
   m btrbk -v -n $cmd_arg
   mexit 0
-elif [[ $cmd_arg == archive ]]; then
-  if [[ $source ]]; then
-    for vol in ${!vols[@]}; do
-      m btrbk $verbose_arg $progress_arg $cmd_arg ssh://$source$vol $vol
-    done
-  else
-    for tg in ${targets[@]}; do
-      for vol in ${!vols[@]}; do
-        m btrbk $verbose_arg $progress_arg $cmd_arg $vol ssh://$tg$vol
-      done
-    done
-  fi
-  mexit 0
 fi
 # -q and just using the syslog option seemed nice,
 # but it doesn't show when a send has a parent and when it doesn't.