Mainly add external monitoring of mail server
[distro-setup] / switch-mail-host
index b79559657a6aff8753b021fb84ba930f067ec2e7..a0c590d0ae8b3287715584cda9eaf26119eb8c15 100755 (executable)
 #!/bin/bash
-set -x
-set -eE -o pipefail
-trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-usage() {
-    cat <<EOF
-Usage: ${0##*/} OLD_HOST NEW_HOST
+source /usr/local/lib/err
 
-Adjust home network dns so NEW_HOST resolves locally if it is on the
-local network.  Turn off mail receiving on OLD_HOST, run btrbk to move
-mail to NEW_HOST, turn on mail receiving on NEW_HOST.
+usage() {
+  cat <<EOF
+Usage: ${0##*/} push|pull HOST
 
+Turn off mail receiving on OLD_HOST, run btrbk to move mail to NEW_HOST,
+turn on mail receiving on NEW_HOST.  Assumes we want to move all
+filesystems unless passing -o.
 
+-o         Only btrbk /o, instead of all filesystems.
 -h|--help  Print help and exit.
 
+I used to adjust home network dns so NEW_HOST resolves locally if it is
+on the local network, but its simpler just not to and just rely
+on the internet. Email can wait.
+
 Note: Uses GNU getopt options parsing style
 EOF
-    exit $1
+  exit $1
+}
+
+restore_new_btrbk=false
+restore_old_btrbk=false
+cleanup() {
+  if $restore_new_btrbk; then
+    e WARNING: due to failure, btrbk.timer may need manual restoration:
+    e $new_shell sudo systemctl start btrbk.timer
+  fi
+  if $restore_old_btrbk; then
+    e WARNING: due to failure, btrbk.timer may need manual restoration:
+    e $old_shell sudo systemctl start btrbk.timer
+  fi
 }
+b
+pre="${0##*/}:"
+m() { printf "$pre %s\n"  "$*"; "$@"; }
+e() { printf "$pre %s\n"  "$*"; }
+err() { echo "[$(date +'%Y-%m-%d %H:%M:%S%z')]: $pre: $*" >&2; }
 
 ##### begin command line parsing ########
 
-if (( $# != 2 )) || [[ $1 == -* || $2 == -* ]]; then
-    usage 1
-fi
+temp=$(getopt -l help owh "$@") || usage 1
+mp_args="-m /o,/q,/a"
+eval set -- "$temp"
+while true; do
+  case $1 in
+    -o) mp_args="-m /o"; shift ;;
+    -h|--help) usage ;;
+    --) shift; break ;;
+    *) echo "$0: Internal error! unexpected args: $*" ; exit 1 ;;
+  esac
+done
 
-old_host=$1
-new_host=$2
-source /a/bin/bash_unpublished/source-semi-priv
 
-if [[ $old_host != $MAIL_HOST ]]; then
-    read -p "warning: \$old_host != \$MAIL_HOST: $old_host != $MAIL_HOST, proceed? y/N "
-    if [[ $REPLY != [yY] ]]; then
-        exit 1
-    fi
-fi
+(( $# == 2 )) || usage 1
+
 
-if [[ $new_host == "$HOSTNAME" ]]; then
-    localhost_new=true
-    new_shell=
-else
-    localhost_new=false
+case $1 in
+  push)
+    new_host=$2
+    bbk_args="-s $old_host"
     new_shell="ssh $new_host"
-fi
+    old_host=$HOSTNAME
+    ;;
+  pull)
+    old_host=$2
+    bbk_args="-t $new_host"
+    bbk_args="-s $old_host"
+    new_host=$HOSTNAME
+    old_shell="ssh $old_host"
+    ;;
+  *)
+    err invalid first argument
+    exit 1
+    ;;
+esac
 
-old_shell="ssh $old_host"
-if [[ $old_host == "$HOSTNAME" ]]; then
-    old_shell=
-fi
 
-if [[ ! $new_host || ! $old_host ]]; then
-    echo "$0: bad args. see script"
+source /a/bin/bash_unpublished/source-state
+
+if [[ $old_host != "$MAIL_HOST" ]]; then
+  read -r -p "warning: \$old_host != \$MAIL_HOST: $old_host != $MAIL_HOST, proceed? y/N "
+  if [[ $REPLY != [yY] ]]; then
     exit 1
+  fi
 fi
 
-at_home=false
-if [[ $HOSTNAME == treetowl ]] || [[ $HOSTNAME == frodo ]] || timeout -s 9 5 ssh wrt.b8.nz :; then
-    at_home=true
-fi
-echo "$0: at_home = $at_home"
-
-source /a/bin/bash_unpublished/source-semi-priv
-#### begin convert private hostnames to public hostnames ####
-if ! $at_home; then
-    for var in old_host new_host; do
-        case ${!var} in
-            treetowl)
-                eval $var=$HOME_DOMAIN
-                ;;
-        esac
-    done
-fi
-####  end convert private hostnames to public hostnames ####
-
-
-# because our port forward is not robust enough, we can't use proxy command,
-# todo: setup vpn so this is all taken care of.
-if ! $at_home; then
-    if [[ $old_host == iank.vpn.office.fsf.org || $new_host == iank.vpn.office.fsf.org ]]; then
-        wrt_shell="ssh iank.vpn.office.fsf.org ssh wrt.b8.nz"
-    else
-        wrt_shell="ssh $HOME_DOMAIN ssh wrt.b8.nz"
-    fi
-else
-    wrt_shell="ssh wrt.b8.nz"
+if [[ ! $new_host || ! $old_host ]]; then
+  echo "$0: bad args. see script"
+  exit 1
 fi
 
-btrbk_test="systemctl is-active btrbk.service"
-while $new_shell $btrbk_test || $old_shell $btrbk_test; do
-    echo "$0: btrbk is running on new or old host. sleeping for 8 seconds"
-    sleep 6
-    echo "$0: testing for btrbk activity in 2 seconds"
-    sleep 2
-done
+e $new_shell hostname
+new_hostname=$($new_shell hostname)
 
 ########### end initial processing, begin actually modifying things ##########
 
-restore_new_btrbk=false
 if $new_shell systemctl is-active btrbk.timer; then
-    $new_shell sudo systemctl stop btrbk.timer
-    restore_new_btrbk=true
+  m $new_shell sudo systemctl stop btrbk.timer
+  _errcatch_cleanup=cleanup
+  restore_new_btrbk=true
 fi
-restore_old_btrbk=false
 if $old_shell systemctl is-active btrbk.timer; then
-    $old_shell sudo systemctl stop btrbk.timer
-    restore_old_btrbk=true
-fi
-
-$new_shell bash -s <<'EOF'
-set -eE
-if mountpoint /m; then sudo umount /m; fi
-if mountpoint /o; then sudo umount /o; fi
-EOF
-
-# if new_host is not on home network, make mail.iankelling.org not resolve
-# on the home network.
-if [[ $new_host == $HOSTNAME ]] && ! $at_home; then
-    echo | $wrt_shell cedit mail_host /etc/hosts || [[ $? == 1 ]] # 1 means file changed.
-else
-    $wrt_shell bash -s <<EOFOUTER
-    cedit mail_host /etc/hosts <<EOF || /etc/init.d/dnsmasq restart
-\$(grep "\b$new_host\b" /etc/hosts | awk '{print \$1}') mail.iankelling.org
-EOF
-EOFOUTER
+  m $old_shell sudo systemctl stop btrbk.timer
+  _errcatch_cleanup=cleanup
+  restore_old_btrbk=true
 fi
 
-mail-setup() {
-    shell="$1"
-    $shell sed -ri "s/MAIL_HOST=.*/MAIL_HOST=$new_host/" /a/bin/bash_unpublished/source-semi-priv
-    $shell /a/bin/distro-setup/mail-setup exim4
-}
-
-mail-setup "$old_shell"
-
-sudo dd of=/etc/btrbk.conf <<'EOF'
-ssh_identity /root/.ssh/id_rsa
-# Just a guess that local7 is a good facility to pick.
-# It's a bit odd that the transaction log has to be logged to
-# a file or syslog, while other output is sent to std out.
-# The man does not mention a way for them to be together, but
-# I dunno if setting a log level like warn might also output
-# transaction info.
-transaction_syslog local7
-
-# so we only run one at a time
-lockfile                   /var/lock/btrbk.lock
-
-# default format of short does not accomidate hourly preservation setting
-timestamp_format long-iso
-
-# only make a snapshot if things have changed
-snapshot_create onchange
-# I could make this different from target_preserve,
-# if one disk had less space.
-# for now, keeping them equal.
-snapshot_preserve 36h 14d 8w 24m
-snapshot_preserve_min 4h
-snapshot_dir btrbk
-
-# so, total backups = ~89
-target_preserve 36h 14d 8w 24m
-target_preserve_min 4h
-
-# if something fails and it's not obvious, try doing
-# btrbk -l debug -v dryrun
+btrbk_test="systemctl is-active btrbk.service"
+while true; do
+  for shell in "$new_shell" "$old_shell"; do
+    e $shell $btrbk_test
+    status=$($shell $btrbk_test) ||:
+    case $status in
+      inactive|failed) : ;;
+      *)
+        e "btrbk active on shell:$shell, status:$status, sleeping 8 seconds"
+        sleep 8
+        continue
+        ;;
+    esac
+  done
+  break
+done
 
+# ensure these are unused before doing anything
 
+e "umounting /m and /o via $new_shell"
+$new_shell bash -xs <<'EOF'
+set -eE
+if mountpoint -q /m; then sudo umount /m; fi
+if mountpoint -q /o; then sudo umount /o; fi
 EOF
 
-
-if $localhost_new; then
-    btrbk_src=ssh://$old_host/mnt/root
-    btrbk_dst=/mnt/root/btrbk
-else
-    btrbk_src=/mnt/root
-    btrbk_dst=ssh://$new_host/mnt/root/btrbk
+# previously, I was checking to see if the new mail host
+# is on my home network, then changing my home dns
+# to resolve on the local network, so that I didnt
+# have to send traffic out to the internet or rely
+# on that. However, that breaks for a laptop that roams.
+# So, we could have a cronjob that updates that dns,
+# however, another solution is to just use ipv6,
+# and I prefer that.
+#
+# TODO: enable ipv6 for email. exim config setting disables it.
+# need to add vpn support. need to add firewall / routing.
+# I think exim will try ipv6 first, so no need to disable
+# ipv6 i think.
+
+
+
+m $old_shell /a/exe/primary-setup $new_hostname
+
+if ! m btrbk-run -v $bbk_args $mp_args; then
+  ret=$?
+  bang="$(printf "$(tput setaf 5)█$(tput sgr0)%.0s" 1 2 3 4 5 6 7)"
+  e $bang failed btrbk. restoring old host as primary
+  m $old_shell /a/exe/primary-setup localhost
+  exit $ret
 fi
 
-sudo tee -a /etc/btrbk.conf <<EOF
-volume $btrbk_src
-subvolume o
-target send-receive $btrbk_dst
-EOF
-
-
-sudo btrbk --progress run
-$new_shell mount-latest-subvol
-
-mail-setup
-
-if $restore_new_btrbk; then
-    $new_shell sudo systemctl start btrbk.timer
-fi
-if $restore_old_btrbk; then
-    $old_shell sudo systemctl start btrbk.timer
-fi
+m $new_shell /a/exe/primary-setup localhost