fixes and some improvements
[distro-setup] / btrbk-run
index 7f72a58e86b1b72039e2e010100aa4a0b62f9d4e..86d29e0c7cae496ebbd20f80e6d9be83dab833bd 100644 (file)
--- a/btrbk-run
+++ b/btrbk-run
@@ -63,7 +63,13 @@ conf_only=false
 dry_run=false # mostly for testing
 rate_limit=no
 verbose=true; verbose_arg=-v
-progress_arg="--progress"
+if [[ $INVOCATION_ID ]]; then
+  # INVOCATION_ID means running as a systemd service. we cant show progress in this case,
+  # but if we pass the arg, it will insert mbuffer into the command.
+  progress_arg=
+else
+  progress_arg="--progress"
+fi
 incremental_strict=false
 pull_reexec=false
 
@@ -102,8 +108,8 @@ while true; do
     # Comma separated mountpoints to backup. This has defaults set below.
     -m) IFS=, mountpoints=($2); unset IFS; shift 2 ;;
     -n) dry_run=true; dry_run_arg=-n; shift ;;
-    # show progress
-    -p) progress_arg="--progress"; shift ;;
+    # hide progress
+    -p) progress_arg=; shift ;;
     # internal option for rerunning under newer SOURCE_HOST version.
     --pull-reexec) pull_reexec=true; shift ;;
     # quiet
@@ -131,7 +137,7 @@ done
 cmd_arg=${1:-run}
 
 
-std_preserve="18h 14d 8w 24m"
+std_preserve="36h 14d 8w 24m"
 q_preserve="18h 14d"
 
 case $cmd_arg in
@@ -145,7 +151,7 @@ case $cmd_arg in
   # run it directly, eg:
   # time s btrbk -v archive /mnt/r7/amy/boot/btrbk ssh://bo/mnt/boot2/btrbk
   archive)
-    cmd=resume
+    cmd_arg=resume
     std_preserve="999h 999d 999w 999m"
     q_preserve="$std_preserve"
     preserve_arg=-p
@@ -184,21 +190,30 @@ fi
 # targets, plus any given on the command line.
 
 
-amy=false
+
+kd_spread=false
 # set default targets
 if [[ ! -v targets && ! $source ]]; then
-  if [[ $HOSTNAME != "$MAIL_HOST" ]] && $cron ; then
-    echo "MAIL_HOST=$MAIL_HOST, nothing to do"
-    mexit 0
-  else
-    amy=true
+  if $cron; then
+    if [[ $HOSTNAME != "$MAIL_HOST" ]]; then
+      if [[ $HOSTNAME == kd && $MAIL_HOST = x2 ]]; then
+        kd_spread=true
+      else
+        echo "MAIL_HOST=$MAIL_HOST, nothing to do"
+        mexit 0
+      fi
+    fi
   fi
 
+  # x2 at home atm
+  kd_spread=false
+
   at_work=false
 
-  targets=(frodo.b8.nz)
+  # todo, fix this up once frodo is back
+  # targets=(frodo.b8.nz)
   case $HOSTNAME in
-    x2|kw)
+    kw)
       at_work=true
       ;;&
     x2|x3|sy|bo)
@@ -215,13 +230,20 @@ if [[ ! -v targets && ! $source ]]; then
           home=i.b8.nz
         fi
       else
-        home=b8.nz
+        if ping -q -c1 -w1 b8.nz &>/dev/null; then
+          home=b8.nz
+        else
+          home=i.b8.nz
+        fi
       fi
       ;;&
+    x2)
+      targets+=($home)
+      ;;
     kw)
       targets+=($home x2.office.fsf.org)
       ;;
-    x2|x3|sy|bo)
+    x3|sy|bo)
       targets+=($home)
       if $at_work; then
         targets+=(x2.office.fsf.org x2.b8.nz)
@@ -230,12 +252,23 @@ if [[ ! -v targets && ! $source ]]; then
       fi
       ;;
     kd)
-      targets+=(x2wg.b8.nz x3.b8.nz)
+      if ! $kd_spread; then
+        if ping -q -c1 -w1 x2.office.fsf.org &>/dev/null; then
+          targets+=(x2.office.fsf.org)
+        else
+          targets+=(x2wg.b8.nz)
+        fi
+      fi
       if ping -q -c1 -w1 sy.b8.nz &>/dev/null; then
         targets+=(sy.b8.nz)
       else
         targets+=(syw.b8.nz)
       fi
+      if ping -q -c1 -w1 x3.b8.nz &>/dev/null; then
+        targets+=(x3.b8.nz)
+      else
+        targets+=(x3w.b8.nz)
+      fi
       ;;
     frodo)
       # no targets
@@ -279,19 +312,19 @@ else
           if [[ $source_host == "$MAIL_HOST" ]]; then
             prospective_mps+=(/o)
           fi
+          if [[ $source_host == "$HOST2" ]]; then
+            prospective_mps+=(/a /ar /qr /q)
+          fi
         else
           if [[ $HOSTNAME == "$MAIL_HOST" ]]; then
-            # HOST2 is really the mail host if it exists
-            if [[ $HOST2 && $HOST2 != "$HOSTNAME" ]]; then
-              echo "skipping /o because HOST2 is not us"
-            else
-              prospective_mps+=(/o)
-            fi
+            prospective_mps+=(/o)
+          fi
+          if [[ $HOSTNAME == "$HOST2" ]]; then
+            prospective_mps+=(/a /ar /qr /q)
           fi
         fi
         # note: put q last just in case its specific retention options were to
         # affect other config sections. I havent tested if that is the case.
-        prospective_mps+=(/a /ar /qr /q)
         ;;
     esac
   fi
@@ -358,7 +391,11 @@ local_zone=$(date +%z)
 
 if [[ $source ]]; then
   if ! zone=$(ssh root@$source date +%z); then
-    die failed to ssh to root@$source
+    if $conf_only; then
+      echo "$0: warning: failed to ssh to root@$source"
+    else
+      die failed to ssh to root@$source
+    fi
   fi
   if [[ $zone != "$local_zone" ]]; then
     die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
@@ -378,36 +415,41 @@ else
       if (( ${#remote_info[@]} != 3 )); then
         die "error: didnt get 3 fields in test ssh to target $h. investigate"
       fi
+    elif $conf_only; then
+      # Use some typical values in this case
+      root_size=$(( 1024 * 1024 * 2000 )) #2tb
+      percent_used=10
+      zone=$(date +%z)
+    else
+      sshfail+=($h)
+      continue
+    fi
 
+    # we may be booted into a bootstrap fs or something
+    min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
+    if (( root_size < min_root_kb )); then
+      continue
+    fi
 
-      # we may be booted into a bootstrap fs or something
-      min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
-      if (( root_size < min_root_kb )); then
-        continue
-      fi
-
-      if (( percent_used >= 98 )); then
-        die "error: filesystem on target $h is $percent_used % full"
-      fi
+    if (( percent_used >= 98 )); then
+      die "error: filesystem on target $h is $percent_used % full"
+    fi
 
-      # This is a separate ssh because xprintidle can fail and thats ok.
-      if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
-        if (( idle_ms < min_idle_ms )); then
+    # This is a separate ssh because xprintidle can fail and thats ok.
+    if $cron && idle_ms=$(timeout -s 9 6 ssh $h DISPLAY=:0 xprintidle); then
+      if (( idle_ms < min_idle_ms )); then
 
-          # Ignore this host. i sometimes use a non-main machine for
-          # testing or web browsing, knowing that everything will be wiped
-          # by the next backup, but I dont want it to happen as Im using
-          # it from cronjob.
-          e "warning: $h: active X session in the last 15 minutes, skipping for now"
-          continue
-        fi
-      fi
-      sshable+=($h)
-      if [[ $zone != "$local_zone" ]]; then
-        die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
+        # Ignore this host. i sometimes use a non-main machine for
+        # testing or web browsing, knowing that everything will be wiped
+        # by the next backup, but I dont want it to happen as Im using
+        # it from cronjob.
+        e "warning: $h: active X session in the last 15 minutes, skipping for now"
+        continue
       fi
-    else
-      sshfail+=($h)
+    fi
+    sshable+=($h)
+    if [[ $zone != "$local_zone" ]]; then
+      die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
     fi
   done
   if [[ ! ${sshable[*]} ]] || { ! $cron && [[ ${sshfail[*]} ]]; }; then
@@ -435,7 +477,7 @@ ssh_identity /q/root/h
 transaction_syslog local7
 
 # trying this out
-stream_compress zstd
+#stream_compress zstd
 
 # so we only run one at a time
 lockfile                   /var/lock/btrbk.lock
@@ -514,16 +556,6 @@ EOF
   fi
 done
 
-# if $amy; then
-#   # to manually backup amy,
-#   # bbk -e -s amy -m root_ubuntubionic
-#   cat >>/etc/btrbk.conf <<'EOF'
-# volume ssh://amy/mnt/root
-# subvolume root_ubuntubionic
-# target send-receive /mnt/root/btrbk
-# EOF
-# fi
-
 # todo: umount first to ensure we don't have any errors
 # todo: do some kill fuser stuff to make umount more reliable