host info updates
[distro-setup] / btrbk-run
index 014d85bbf92415d34b46da0eeb387c40e5e8fccc..8fc4c4f00b8c9f5ea3b64126767c83003e675643 100644 (file)
--- a/btrbk-run
+++ b/btrbk-run
@@ -1,17 +1,22 @@
 #!/bin/bash
-# Copyright (C) 2016 Ian Kelling
 
-# Licensed under the Apache License, Version 2.0 (the "License");
-# you may not use this file except in compliance with the License.
-# You may obtain a copy of the License at
+# Configure & run btrbk & related work on Ian's computers.
+# Copyright (C) 2024  Ian Kelling
 
-#     http://www.apache.org/licenses/LICENSE-2.0
+# This program is free software: you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation, either version 3 of the License, or
+# (at your option) any later version.
 
-# Unless required by applicable law or agreed to in writing, software
-# distributed under the License is distributed on an "AS IS" BASIS,
-# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
-# See the License for the specific language governing permissions and
-# limitations under the License.
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+
+# You should have received a copy of the GNU General Public License
+# along with this program.  If not, see <http://www.gnu.org/licenses/>.
+
+# SPDX-License-Identifier: GPL-3.0-or-later
 
 
 # todo: if we cancel in the middle of a btrfs send, then run again
@@ -22,7 +27,8 @@
 
 [[ $EUID == 0 ]] || exec sudo -E "${BASH_SOURCE[0]}" "$@"
 
-source /usr/local/lib/err
+set -e; . /usr/local/lib/bash-bear; set +e
+shopt -s nullglob
 
 usage() {
   cat <<'EOF'
@@ -39,14 +45,108 @@ EOF
 }
 
 
+pre=btrbk-run
 
 script_name="${BASH_SOURCE[0]}"
 script_name="${script_name##*/}"
-pre="${SSH_CLIENT:+$HOSTNAME} $script_name:"
-m() { if $verbose; then printf "$pre%s\n"  "$*"; fi;  "$@"; }
-e() { printf "$pre%s\n"  "$*"; }
-die() { printf "$pre%s\n" "$*" >&2; echo "exiting with status 1" >&2; exit 1; }
-mexit() { echo "$pre: exiting with status $1"; exit $1; }
+d() {
+  if $dry_run || $conf_only; then
+    printf "$pre dry-run: %s\n"  "$*"
+  else
+    printf "$pre running: %s\n"  "$*"
+    "$@"
+  fi
+}
+m() { if $verbose; then printf "$pre %s\n"  "$*"; fi;  "$@"; }
+e() { printf "$pre %s\n"  "$*"; }
+die() { printf "$pre error: %s\n" "$*" >&2; echo "$pre exiting with status 1" >&2; exit 1; }
+mexit() { echo "$pre exiting with status $1"; exit $1; }
+
+uninstalled-file-die() {
+  die "uninstalled file $1. run install-my-scripts or rerun with -f"
+}
+
+set-location() {
+  case $HOSTNAME in
+    kw)
+      at_work=true
+      ;;
+    kd|frodo)
+      at_home=true
+      ;;
+    x2|x3|sy|so)
+      if [[ $(dig +short @10.2.0.1 -x 10.2.0.2 2>&1 ||:) == kd.b8.nz. ]] \
+           && ip n show 10.2.0.1 | grep . &>/dev/null; then
+        # note: logic duplicated in 11-iank
+        at_home=true
+      elif ping -q -c1 -w1 hal.office.fsf.org &>/dev/null \
+          && ip n show 192.168.0.26 | grep . &>/dev/null; then
+        at_work=true
+      fi
+      ;;
+  esac
+}
+
+exit-if-no-default-targets() {
+  if ! $force && [[ $HOSTNAME != "$MAIL_HOST" ]]; then
+    echo "MAIL_HOST=$MAIL_HOST, nothing to do"
+    mexit 0
+  fi
+  case $HOSTNAME in
+    kw|kd|frodo|x2|x3|sy|so) : ;;
+    *)
+      die "error: no default targets for this host, use -t"
+      ;;
+  esac
+}
+
+add-x3-target() {
+  # main work machine
+  if ping -q -c1 -w1 x3.office.fsf.org &>/dev/null; then
+    targets+=(x3.office.fsf.org)
+  elif ping -q -c1 -w1 $h.b8.nz &>/dev/null; then
+    # in case we took it home
+    targets+=(x3.b8.nz)
+  elif ping -q -c1 -w1 ${h}w.b8.nz &>/dev/null; then
+    targets+=(x3w.b8.nz)
+  else
+    targets+=(x3wg.b8.nz)
+  fi
+}
+
+add-wireless-target() {
+  local host
+  if [[ ! $1 ]]; then
+    set -- $h
+  fi
+  for host; do
+    # c = cabled, w = wireless
+    if ping -q -c1 -w1 ${host}c.b8.nz &>/dev/null; then
+      targets+=(${host}c.b8.nz)
+    elif ping -q -c1 -w1 $host.b8.nz &>/dev/null; then
+      targets+=($host.b8.nz)
+    elif ping -q -c1 -w1 ${host}w.b8.nz &>/dev/null; then
+      targets+=(${host}w.b8.nz)
+    fi
+  done
+}
+
+qconf() {
+  case $sub in
+    q)
+      # q has sensitive data i dont want to backup for so long
+      cat >>/etc/btrbk$conf_suf.conf <<EOF
+snapshot_preserve $q_preserve
+snapshot_preserve_min 2h
+snapshot_dir btrbk
+target_preserve $q_preserve
+target_preserve_min 2h
+EOF
+      ;;
+  esac
+
+}
+
 
 # latest $MAIL_HOST
 if [[ -e /b/bash_unpublished/source-state ]]; then
@@ -65,6 +165,7 @@ conf_only=false
 dry_run=false # mostly for testing
 rate_limit=no
 verbose=true; verbose_arg=-v
+force=false
 if [[ $INVOCATION_ID ]]; then
   # INVOCATION_ID means running as a systemd service. we cant show progress in this case,
   # but if we pass the arg, it will insert mbuffer into the command.
@@ -85,44 +186,57 @@ if [[ -s $default_args_file ]]; then
   sleep 5
 fi
 
+once_args_file=/etc/btrbk-run-once.conf
+if mv -f $once_args_file $once_args_file-tmp 2> >(sed '/No such file or directory/d'); then
+  # shellcheck disable=SC2046 # we want word splitting
+  set -- $(< $once_args_file-tmp) "$@"
+  # i havent used this feature yet, so warn about it
+  echo "$0: btrbk-run options set in $once_args_file:"
+  cat $once_args_file-tmp
+  rm -f $once_args_file-tmp
+fi
+
+
 targets=()
 early=false
-cron=false
 fast=false
-kd_spread_maybe=false
+kd_spread=false
+check_installed=false
 orig_args=("$@")
-temp=$(getopt -l cron,fast,pull-reexec,help 23ceikl:m:npqrs:t:vh "$@") || usage 1
+temp=$(getopt -l check-installed,fast,pull-reexec,help 23cefikl:m:npqrs:t:vh "$@") || usage 1
 eval set -- "$temp"
 while true; do
   case $1 in
-    # some behaviors specific to running under cron:
-    # - skip hosts where xprintidle haven't been idle recently
-    # - if we can't ssh to 1 or more hosts, still do the rest
-    # - if we aren't MAIL_HOST and no -m or -s, just exit
-    --cron)
-      cron=true
-      pre=
-      ;;
     # for the rare case we want to run multiple instances at the same time
     -2) conf_suf=2 ;;
     -3) conf_suf=3 ;;
     # only creates the config file, does not run btrbk
     -c) conf_only=true ;;
+    --check-installed)
+      check_installed=true
+      ;;
     # quit early, just btrbk, no extra remounting etc.
     -e) early=true ;;
+    # avoids some default behaviors:
+    # - no skipping hosts where xprintidle haven't been idle recently
+    # - exit if we can't ssh to 1 or more hosts
+    # - still set default hosts despite MAIL_HOST status
+    -f) force=true ;;
     # skip various checks. when we run twice in a row for
     # switch mail-host, no need to repeat the same checks again.
     --fast) fast=true ;;
     -i) incremental_strict=true ;;
-    # note this implies resume
-    -k) kd_spread_maybe=true ;;
+    # note this implies resume and -p because it is just meant to make
+    # other hosts have the same snapshots, not do any expiry or new
+    # backups.
+    -k) kd_spread=true ;;
     # bytes per second, suffix k m g
     -l) rate_limit=$2; shift ;;
     # Comma separated mountpoints to backup. This has defaults set below.
     -m) IFS=, mountpoints=($2); unset IFS; shift ;;
     -n) dry_run=true ;;
-    # hide progress
-    -p) progress_arg= ;;
+    # preserve existing snapshots and backups
+    -p) preserve_arg=-p ;;
     # internal option for rerunning under newer SOURCE_HOST version.
     --pull-reexec) pull_reexec=true;;
     # quiet
@@ -150,11 +264,41 @@ done
 
 cmd_arg="$1"
 
-if $kd_spread_maybe; then
+
+
+if ! $force && { $check_installed || [[ ! $source ]]; } ; then
+  install_bin_files=(
+    mount-latest-subvol
+    check-subvol-stale
+    btrbk-run
+  )
+  for f in ${install_bin_files[@]}; do
+    if ! diff -q /a/bin/ds/$f /usr/local/bin/$f; then
+      uninstalled-file-die $f
+    fi
+  done
+  if ! diff -q /a/bin/bash-bear-trap/bash-bear /usr/local/lib/bash-bear; then
+    uninstalled-file-die err
+  fi
+  if $check_installed; then
+    exit 0
+  fi
+fi
+
+
+if $kd_spread; then
   if [[ $cmd_arg && $cmd_arg != resume ]]; then
     die "dont pass -k without resume or empty run arg"
   fi
+  if [[ $HOSTNAME == "$MAIL_HOST" ]]; then
+    die "something went wrong, -k not meant to be run on MAIL_HOST"
+  fi
+  if [[ $HOSTNAME != kd ]]; then
+    die "something went wrong, -k only meant to run on kd"
+  fi
   cmd_arg=resume
+  preserve_arg=-p
+  add-wireless-target sy so
 fi
 
 if [[ ! $cmd_arg ]]; then
@@ -206,118 +350,51 @@ if [[ /a/opt/btrbk/btrbk -nt /usr/bin/btrbk ]]; then
   fi
   cd /a/opt/btrbk
   m make install
+  cd /
 fi
 
 # TODO: i wonder if there should be an option to send to the default
 # targets, plus any given on the command line.
 
 
+at_work=false
+at_home=false
+
 
-kd_spread=false
 # set default targets
 if [[ ! -v targets && ! $source ]]; then
-  if $cron; then
-    if [[ $HOSTNAME != "$MAIL_HOST" ]]; then
-      if $kd_spread_maybe && [[ $HOSTNAME == kd && $MAIL_HOST == x3 ]]; then
-        if ping -q -c1 -w1 x3.office.fsf.org &>/dev/null; then
-          work_host=x3.office.fsf.org
-        elif ping -q -c1 -w1 x3wg.b8.nz &>/dev/null; then
-          work_host=x3wg.b8.nz
-        fi
-        if [[ $work_host ]]; then
-          source_state="$(ssh $work_host cat /a/bin/bash_unpublished/source-state)"
-          eval "$source_state"
-          if [[ $MAIL_HOST == x3 ]]; then
-            kd_spread=true
-          else
-            # x3 was the mail host, but it moved to some other machine
-            # without updating us yet.
-            echo "MAIL_HOST=$MAIL_HOST, nothing to do"
-            mexit 0
-          fi
-        else
-          echo "MAIL_HOST=$MAIL_HOST, nothing to do"
-          mexit 0
-        fi
-      else
-        echo "MAIL_HOST=$MAIL_HOST, nothing to do"
-        mexit 0
-      fi
+  exit-if-no-default-targets
+  set-location
+  if $at_home; then
+    if ! $kd_spread && [[ $HOSTNAME != x3 ]]; then
+      add-x3-target
     fi
-  fi
-
-  at_work=false
-  at_home=false
-
-  case $HOSTNAME in
-    kw|kd|frodo|x2|x3|sy) : ;;
-    *)
-      die "error: no default targets for this host, use -t"
-      ;;
-  esac
-
-  case $HOSTNAME in
-    kw)
-      at_work=true
-      ;;&
-    kd|frodo)
-      at_home=true
-      ;;&
-    x2|x3|sy)
-      if [[ $(dig +short @10.2.0.1 -x 10.2.0.2 2>&1 ||:) == kd.b8.nz. ]] \
-           && ip n show 10.2.0.1 | grep . &>/dev/null; then
-        at_home=true
-      elif ping -q -c1 -w1 hal.office.fsf.org &>/dev/null \
-          && ip n show 192.168.0.26 | grep . &>/dev/null; then
-        at_work=true
+    if [[ $HOSTNAME != kd ]]; then
+      targets+=(kd.b8.nz)
+    fi
+    wireless_home_hosts=(
+      x2
+      sy
+      so
+    )
+    for h in ${wireless_home_hosts[@]}; do
+      if [[ $HOSTNAME != "$h" ]]; then
+        add-wireless-target
       fi
-      ;;&
-    *)
-      if $at_home; then
-        if ! $kd_spread && [[ $HOSTNAME != x3 ]]; then
-          # main work machine
-          if ping -q -c1 -w1 x3.office.fsf.org &>/dev/null; then
-            targets+=(x3.office.fsf.org)
-          elif ping -q -c1 -w1 $h.b8.nz &>/dev/null; then
-            # in case we took it home
-            targets+=(x3.b8.nz)
-          else
-            targets+=(x3wg.b8.nz)
-          fi
-        fi
-        # temporarily disabled while doing recovery
-        #        for h in frodo kd; do
-        for h in kd; do
-          if [[ $HOSTNAME == "$h" ]]; then
-            continue
-          fi
-          targets+=($h.b8.nz)
-        done
-        for h in x2 sy; do
-          if [[ $HOSTNAME == "$h" ]]; then
-            continue
-          fi
-          if ping -q -c1 -w1 $h.b8.nz &>/dev/null; then
-            targets+=($h.b8.nz)
-          elif ping -q -c1 -w1 ${h}w.b8.nz &>/dev/null; then
-            targets+=(${h}w.b8.nz)
-          fi
-        done
-      elif $at_work; then
-        targets+=(i.b8.nz)
-        for h in x2 x3 kw; do
-          if [[ $HOSTNAME == "$h" ]]; then
-            continue
-          fi
-          if ping -q -c1 -w1 $h.office.fsf.org &>/dev/null; then
-            targets+=($h.office.fsf.org)
-          fi
-        done
-      else
-        targets+=(i.b8.nz)
+    done
+  elif $at_work; then
+    targets+=(b8.nz)
+    for h in x2 x3 kw; do
+      if [[ $HOSTNAME == "$h" ]]; then
+        continue
       fi
-      ;;
-  esac
+      if ping -q -c1 -w1 $h.office.fsf.org &>/dev/null; then
+        targets+=($h.office.fsf.org)
+      fi
+    done
+  else
+    targets+=(b8.nz)
+  fi
 fi
 
 if [[ ${mountpoints[0]} ]]; then
@@ -335,24 +412,24 @@ else
       *)
         prospective_mps=()
         if [[ $source ]]; then
-          source_state="$(ssh $source cat /a/bin/bash_unpublished/source-state)"
+          source_state="$(ssh $source 'cat /a/bin/bash_unpublished/source-state; echo source_host=$HOSTNAME')"
           eval "$source_state"
-          source_host="$(ssh $source cat /etc/hostname)"
+          # shellcheck disable=SC2154 # assigned in the above eval.
           if [[ $source_host == "$MAIL_HOST" ]]; then
             prospective_mps+=(/o)
           fi
           if [[ $source_host == "$HOST2" ]]; then
-            prospective_mps+=(/a /ar /qr /q)
+            prospective_mps+=(/a /qr /qd /q)
           fi
         else
           if [[ $HOSTNAME == "$MAIL_HOST" ]]; then
             prospective_mps+=(/o)
           fi
           if [[ $HOSTNAME == "$HOST2" ]]; then
-            prospective_mps+=(/a /ar /qr /q)
+            prospective_mps+=(/a /qr /qd /q)
           fi
           if $kd_spread; then
-            prospective_mps=(/a /ar /o /qr /q)
+            prospective_mps=(/a /o /qr /qd /q)
           fi
         fi
         # note: put q last just in case its specific retention options were to
@@ -371,7 +448,8 @@ else
   done
 fi
 
-if (( ! ${#mountpoints[@]} )); then
+tmp=$(( ${#mountpoints[@]} == 0 ))
+if (( tmp )); then
   die didnt get mountpoint arg and had no defaults
 fi
 
@@ -386,7 +464,7 @@ if ! $fast && [[ $source ]]; then
     case $status in
       inactive|failed) : ;;
       *)
-        echo "$0: error: cron btrbk is running on source. exiting out of caution"
+        echo "$0: error: btrbk is running on source. exiting out of caution"
         mexit 1
     esac
   fi
@@ -396,20 +474,49 @@ if ! command -v btrbk &>/dev/null; then
   die "error: no btrbk binary found"
 fi
 
+if ! $pull_reexec && [[ $source ]] && $pulla && ! $force ; then
+  ssh root@$source btrbk-run --check-installed || exit 1
+fi
 
 #### end pre-checks #####
 
+
+
 mkdir -p /var/log/btrbk
 # The journal doesnt go back to my oldest backups, and I've found myself
 # wanting older logs. Not going to bother expiring old logs, since it is
 # fine if they go back years.
 log_path=/var/log/btrbk/$(date +%F_%T%:::z).log
 echo copying output to $log_path
-exec &> >(tee -a $log_path)
-
+exec &> >(pee cat 'ts "%F %T"|dd of='$log_path' status=none')
 
+# print some non-default opts
 if $verbose; then
-  printf "$pre options: conf_only=%s\ndry_run=%s\nrate_limit=%s\nverbose=%s\ncmd_arg=%s" "$conf_only" "$dry_run" "$rate_limit" "$verbose" "$cmd_arg"
+  opts_show=()
+  if ! $conf_only; then
+    opts_show+=(conf_only=true)
+  fi
+  if ! $dry_run; then
+    opts_show+=(dry_run=true)
+  fi
+  if [[ $rate_limit != no ]]; then
+    opts_show+=("rate_limit=$rate_limit")
+  fi
+  if [[ $cmd_arg != run ]]; then
+    opts_show+=(cmd_arg=$cmd_arg)
+  fi
+  if (( ${#opts_show[@]} >= 1 )); then
+    first=true
+    for opt in ${opts_show[@]}; do
+      if $first; then
+        printf "%s" "$opt"
+        first=false
+      else
+        printf " %s" "$opt"
+      fi
+    done
+    echo
+  fi
 fi
 
 if [[ -v targets ]]; then
@@ -423,7 +530,6 @@ fi
 echo "mountpoints: ${mountpoints[*]}"
 
 
-
 # pull_reexec stops us from getting into an infinite loop if there is some
 # kind of weird problem
 pulla=false
@@ -433,10 +539,11 @@ for m in "${mountpoints[@]}"; do
     break
   fi
 done
+
 if ! $pull_reexec && [[ $source ]] && $pulla ; then
   tmpf=$(mktemp)
   m rsync -ra $source:/usr/local/bin/{mount-latest-subvol,check-subvol-stale} /usr/local/bin
-  m rsync -ra $source:/usr/local/lib/err /usr/local/lib
+  m rsync -ra $source:/usr/local/lib/bash-bear /usr/local/lib
   m scp $source:/a/bin/distro-setup/btrbk-run $tmpf
   if ! diff -q $tmpf ${BASH_SOURCE[0]}; then
     e "found different version on host $source. reexecing"
@@ -446,7 +553,10 @@ if ! $pull_reexec && [[ $source ]] && $pulla ; then
   fi
 fi
 
-
+# todo: check if we have no snapshots yet, because I always want to run
+# archive instead of run. Likely, I should give an error unless a cli
+# override is passed. perhaps check-subvol-stale could give the error.
+# see the error message "no snapshots found" in that file.
 if ! $fast; then
   # if our mountpoints are from stale snapshots,
   # it doesn't make sense to do a backup.
@@ -476,19 +586,24 @@ else
 
   sshable=()
   sshfail=()
+  remote_str_cmd="mkdir -p /mnt/root/btrbk /mnt/o/btrbk && \
+date +%z && \
+df --output=size,pcent / | tail -n1"
+
   for h in ${targets[@]}; do
     if $fast || $conf_only; then
       # Use some typical values in this case
       root_size=$(( 1024 * 1024 * 2000 )) #2tb
       percent_used=10
       zone=$(date +%z)
-    elif remote_str=$(timeout -s 9 6 ssh root@$h "mkdir -p /mnt/root/btrbk /mnt/o/btrbk && date +%z && df --output=size,pcent / | tail -n1"); then
+    elif remote_str=$(timeout -s 9 6 ssh root@$h "$remote_str_cmd"); then
       mapfile -t tmp_array <<<"$remote_str"
       zone="${tmp_array[0]}"
       IFS=" " read -r root_size percent_used <<<"${tmp_array[1]}"
       percent_used=${percent_used%%%}
 
-      if (( ${#tmp_array[@]} != 2 )); then
+      tmp=$(( ${#tmp_array[@]} != 2 ))
+      if (( tmp )); then
         die "error: didnt get 2 lines in test ssh to target $h. investigate"
       fi
       case $percent_used in
@@ -504,11 +619,14 @@ else
 
     # we may be booted into a bootstrap fs or something
     min_root_kb=$(( 1024 * 1024 * 200 )) # 200 gb
-    if (( root_size < min_root_kb )); then
+    tmp=$(( root_size < min_root_kb ))
+    if (( tmp )); then
+      e "warning: $h: root_size=$root_size < 200gb, perhaps it is booted to bootstrap vol. skipping for now"
       continue
     fi
 
-    if (( percent_used >= 98 )); then
+    tmp=$(( percent_used >= 98 ))
+    if (( tmp )); then
       die "error: filesystem on target $h is $percent_used % full"
     fi
 
@@ -517,7 +635,7 @@ else
     # which is good enough.
     #
     # This is a separate ssh because the command can fail and thatis ok.
-    if $cron; then
+    if ! $force; then
       locked=false
       if lock_info=$(timeout -s 9 6 ssh $h DISPLAY=:0 xscreensaver-command -time); then
         if [[ $lock_info != *non-blanked* ]]; then
@@ -540,8 +658,8 @@ else
       die "error: dont confuse yourself with multiple time zones. $h has different timezone than localhost"
     fi
   done
-  if [[ ! ${sshable[*]} ]] || { ! $cron && [[ ${sshfail[*]} ]]; }; then
-    die "failed to ssh to hosts: ${sshfail[*]}"
+  if [[ ! ${sshable[*]} ]] || { $force && [[ ${sshfail[*]} ]]; }; then
+    die "see skipped host warning above or sshfail hosts: ${sshfail[*]}"
   else
     if [[ ${sshfail[*]} ]]; then
       ret=1
@@ -585,8 +703,12 @@ snapshot_dir btrbk
 target_preserve $std_preserve
 target_preserve_min 6h
 
-# i tried this when investigating: clone no source subvolume found error
-#incremental_prefs sro:1 srn:1 sao san:1 aro:1 arn:1
+# it seems very likely that not doing this could result in clone source not found
+# errors, for example when expiry happens differently on different hosts,
+# also, as btrbk does by default, if a failed send happens, on the next run it
+# will warn about a stray subvolume, but then create a backup of a newer subvol
+# and use an older subvol as the parent.
+incremental_prefs sao:1
 
 # if something fails and it's not obvious, try doing
 # btrbk -l debug -v dryrun
@@ -600,21 +722,6 @@ incremental strict
 EOF
 fi
 
-qconf() {
-  case $sub in
-    q)
-      # q has sensitive data i dont want to backup for so long
-      cat >>/etc/btrbk$conf_suf.conf <<EOF
-snapshot_preserve $q_preserve
-snapshot_preserve_min 2h
-snapshot_dir btrbk
-target_preserve $q_preserve
-target_preserve_min 2h
-EOF
-      ;;
-  esac
-
-}
 
 # make /q be last
 mp_count=${#mountpoints[@]}
@@ -625,6 +732,12 @@ for (( i=0; i < mp_count - 1 ; i++ )); do
   fi
 done
 
+
+
+snap_list_cmds=()
+tg_snaps=()
+declare -A source_snaps
+
 for m in ${mountpoints[@]}; do
   case $m in
     /o)
@@ -636,7 +749,11 @@ for m in ${mountpoints[@]}; do
   esac
 
   sub=${m#/}
+  snap_list_cmds+=("echo $vol/btrbk/$sub.*;")
+
   if [[ $source ]]; then
+    tmp_a=($vol/btrbk/$sub.*)
+    tg_snaps+=("${tmp_a[*]}")
     cat >>/etc/btrbk$conf_suf.conf <<EOF
 volume ssh://$bbksource$vol
 subvolume $sub
@@ -645,8 +762,11 @@ EOF
     cat >>/etc/btrbk$conf_suf.conf <<EOF
 target send-receive $vol/btrbk
 EOF
-  fi
-  if (( ${#targets[@]} )); then
+  else # we have targets
+    for snap in "$vol/btrbk/$sub."*; do
+      source_snaps[$snap]=t
+    done
+
     cat >>/etc/btrbk$conf_suf.conf <<EOF
 volume $vol
 subvolume $sub
@@ -664,6 +784,54 @@ EOF
   fi
 done
 
+# Delete any subvols on the receiving host that don't exist on the
+# sending host.  Otherwise, the receiving host could have snapshots that
+# aren't on the sending side, and thus become odd leaf subvols, and then
+# btrbk could try to use them when we sync back, creating a weird tree
+# instead of linear parent/child relationship. Maybe this could lead to
+# a missing source subvol error, so lets avoid it.
+
+get-orphan-tg-snaps() {
+  orphan_tg_snaps=()
+  for (( i=0; i < ${#mountpoints[@]}; i++ )); do
+    orphan_start_count=${#orphan_tg_snaps[@]}
+    tg_snap_count=0
+    for tg_snap in ${tg_snaps[$i]}; do
+      tg_snap_count=$(( tg_snap_count + 1 ))
+      if [[ ! ${source_snaps[$tg_snap]} ]]; then
+        orphan_tg_snaps+=("$tg_snap")
+      fi
+    done
+    orphan_mp_count=$(( ${#orphan_tg_snaps[@]} - orphan_start_count ))
+    # sanity checking
+    tmp=$(( tg_snap_count  > 1 && tg_snap_count == orphan_mp_count ))
+    if (( tmp )) ; then
+      die "something went wrong checking orphans on $tg: for mountpoint ${mountpoints[$i]}, $orphan_mp_count"
+    fi
+  done
+}
+
+if [[ $source ]]; then
+  for snap in $(ssh root@$source "shopt -s nullglob; ${snap_list_cmds[*]}"); do
+    source_snaps[$snap]=t
+  done
+  get-orphan-tg-snaps
+  tmp=$(( ${#orphan_tg_snaps[*]} >= 1 ))
+  if (( tmp )); then
+    d btrfs sub del ${orphan_tg_snaps[*]}
+  fi
+else # we have targets
+  for tg in ${targets[@]}; do
+    tmp_str=$(ssh root@$tg "shopt -s nullglob; ${snap_list_cmds[*]}")
+    mapfile -t tg_snaps <<<"$tmp_str"
+    get-orphan-tg-snaps
+    tmp=$(( ${#orphan_tg_snaps[*]} >= 1 ))
+    if (( tmp )); then
+      d ssh root@$tg "btrfs sub del ${orphan_tg_snaps[*]}"
+    fi
+  done
+fi
+
 # todo: umount first to ensure we don't have any errors
 # todo: do some kill fuser stuff to make umount more reliable
 
@@ -716,10 +884,20 @@ else
   done
 fi
 
+# todo, we get hostnames earlier, reuse that.
 if [[ $ret == 0 ]]; then
   for tg in ${targets[@]}; do
-    ssh root@$tg /usr/local/bin/mail-backup-clean
+    h=$(ssh $tg hostname)
+    if [[ $h == kd && $HOSTNAME == x3 && $HOSTNAME == "$MAIL_HOST" ]]; then
+      m ssh root@$tg 'btrbk-spread-wrap &>/dev/null </dev/null &'
+    fi
+    rsync --mkpath -a -f"- */" -f"+ *" /var/log/btrbk/ root@$tg:/var/log/btrbk/$tg
+    cmd=/usr/local/bin/mail-backup-clean
+    ssh root@$tg "if test -x $cmd; then $cmd; fi"
   done
+  if [[ $source ]]; then
+    rsync --mkpath -a -f"- */" -f"+ *" $source:/var/log/btrbk/ /var/log/btrbk/$source
+  fi
 fi
 
 mexit $ret