fix vpn host naming
[distro-setup] / brc2
diff --git a/brc2 b/brc2
index 9dda87b0930740b7896e601fd780e452b887dcfc..e936badfba828a52dcbab2c003e8b1c05bd2c65a 100644 (file)
--- a/brc2
+++ b/brc2
@@ -1,6 +1,25 @@
 #!/bin/bash
-# Copyright (C) 2019 Ian Kelling
-# SPDX-License-Identifier: AGPL-3.0-or-later
+# I, Ian Kelling, follow the GNU license recommendations at
+# https://www.gnu.org/licenses/license-recommendations.en.html. They
+# recommend that small programs, < 300 lines, be licensed under the
+# Apache License 2.0. This file contains or is part of one or more small
+# programs. If a small program grows beyond 300 lines, I plan to switch
+# its license to GPL.
+
+# Copyright 2024 Ian Kelling
+
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+
+#     http://www.apache.org/licenses/LICENSE-2.0
+
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
 # this gets sourced. shebang is just for file mode detection
 
 
@@ -42,6 +61,7 @@ export WCDHOME=/a
 
 case $EUID in
   0)
+    # shellcheck disable=SC2034 # used in brc
     SL_SSH_ARGS="-F $HOME/.ssh/confighome"
     ;;
 esac
@@ -57,14 +77,28 @@ source /a/bin/log-quiet/logq-function
 source /a/bin/bash_unpublished/source-semi-priv
 source /a/bin/bash_unpublished/source-state
 
-source /a/bin/log-quiet/logq-function
-if [[ -s /a/opt/alacritty/extra/completions/alacritty.bash ]]; then
-  source /a/opt/alacritty/extra/completions/alacritty.bash
+if [[ $HOSTNAME == "$MAIL_HOST" ]]; then
+  export MAIL_HOST_P=t
+else
+  export NOT_MAIL_HOST_P=t
 fi
 
 
+source /a/bin/log-quiet/logq-function
+
+# not used
+# if [[ -s /a/opt/alacritty/extra/completions/alacritty.bash ]]; then
+#   source /a/opt/alacritty/extra/completions/alacritty.bash
+# fi
+
+
+source /a/bin/ds/beet-data
+
+
 # * functions
 
+
+
 multimic() {
   local i
   local -a sources
@@ -73,7 +107,7 @@ multimic() {
   m pactl unload-module module-null-sink
   m pactl unload-module module-remap-source
 
-  sources=($(pacmd list-sources | sed -rn 's/.*name: <([^>]+).*/\1/p'))
+  IFS=" " read -r -a sources <<<"$(pacmd list-sources | sed -rn 's/.*name: <([^>]+).*/\1/p')"
 
   if (( ! $# )); then
     i=0
@@ -120,6 +154,12 @@ zcheck() {
   ssh bow rm /tmp/oegu.jpg
   feh /t/oegu.jpg
 }
+zmon() {
+  while true; do
+    ziva-screen
+    sleep 15
+  done
+}
 
 slemacs() {
   local arg rtime v
@@ -176,8 +216,23 @@ rm-docker-iptables() {
 
 # usage mkschroot [-] distro codename packages
 # - means no piping in of sources.list
+#
+# note some useful post mkschroot i've used in the past
+# tu /nocow/schroot/flidas/etc/sudoers <<EOF
+# $USER  ALL=(ALL)  NOPASSWD: ALL
+# Defaults  env_keep += SUDOD
+# Defaults always_set_home
+# Defaults !umask
+# EOF
+# sd /nocow/schroot/flidas//etc/locale.gen <<'EOF'
+# en_US.UTF-8 UTF-8
+# EOF
+# s schroot -c flidas locale-gen
+# s schroot -c flidas update-locale LANG=en_US.UTF-8
+
 mkschroot() {
-  local force=false
+  local sources force repo n distro
+  force=false
   while [[ $1 == -* ]]; do
     case $1 in
       -f) force=true; shift ;;
@@ -282,11 +337,41 @@ tback() {
 # sshfs example:
 # s sshfs bu@$host:/bu/home/md /bu/mnt -o reconnect,ServerAliveInterval=20,ServerAliveCountMax=30 -o allow_other
 
+edelayoff() {
+  echo all >/etc/exim4/no-delay-eximids
+}
+edelayon() {
+  echo >/etc/exim4/no-delay-eximids
+}
+
 eqgo() {
-  enn -M $(exiqgrep -i -r.\*)
+  local -a array tmpstr delayon
+  delayon=true
+  if grep -qFx all /etc/exim4/no-delay-eximids; then
+    delayon=false
+  fi
+  if $delayon; then
+    echo all >/etc/exim4/no-delay-eximids
+  fi
+  tmpstr=$(exiqgrep -i -r.\*)
+  mapfile -t array <<<"$tmpstr"
+  enn -M "${array[@]}"
+  if $delayon; then
+    echo >/etc/exim4/no-delay-eximids
+  fi
 }
 eqgo1() {
-  enn -M $(exipick -i -r.\*|h1)
+  local eid
+  eid="$(exipick -i -r.\*|h1)"
+  sed -n "/^all$/p;\$a $eid" /etc/exim4/no-delay-eximids
+  enn -M "$eid"
+}
+ennm() {
+  local eid
+  for eid; do
+    printf "%s\n" "$eid" >>/etc/exim4/no-delay-eximids
+  done
+  enn -M "$@"
 }
 
 
@@ -316,11 +401,17 @@ cp-blocked-domains-to-ansible() {
 }
 
 
-anki() {
-  # crashes on adding new cards in t9
-  schroot -c buster -- anki
+daycat() {
+  ngset
+  hrcat /m/md/daylert/{cur,new}/*
+  ngreset
+}
+dayclear() {
+  ngset
+  rm -f /m/md/daylert/{cur,new}/*
 }
 
+
 acat() {
   ngset
   hrcat /m/md/alerts/{cur,new}/*
@@ -342,7 +433,7 @@ alerts() {
 ralerts() { # remote alerts
   local ret shell
   # this list is duplicated in check-remote-mailqs
-  for h in bk je li frodo kwwg x3wg x2wg kdwg sywg; do
+  for h in bk je li frodo x3wg kdwg sywg; do
     echo $h:
     shell="ssh $h"
     if [[ $HOSTNAME == "${h%wg}" ]]; then
@@ -377,27 +468,59 @@ astudio() {
   # googling android emulator libGL error: failed to load driver: r600
   # lead to http://stackoverflow.com/a/36625175/14456
   export ANDROID_EMULATOR_USE_SYSTEM_LIBS=1
-  /a/opt/android-studio/bin/studio.sh "$@" &r;
+  /a/opt/android-studio/bin/studio.sh "$@" & r
 }
 
+# Convert brains file path to url and vice versa
+# usage: brains [URL_OR_PATH]
+brains() {
+  _iki-convert brains.fsf.org/wiki "$@"
+}
+glue() {
+  _iki-convert gluestick.office.fsf.org "$@"
+}
 
-iki() {
-  local url path
+# usage: see above
+_iki-convert() {
+  local url url_prefix path input repo_dir dir url_dir url name
+  url_prefix="$1"
+  name="${url_prefix%%.*}"
+  repo_dir="/f/$name"
+  shift
   if [[ $1 ]]; then
-    path="$*"
+    input="$*"
   else
-    read -r -p "enter path" path
+    read -r -p "enter path or url"$'\n' input
   fi
-  url=$(readlink -f "$path")
-  url="https://brains.fsf.org/wiki/${url#*brains/}"
-  url="${url%.mdwn}"
-  echo "$url"
-  # /f/brains/sysadmin/interns/2022/nick_shrader/intro_blog_post.mdwn
-  # becomes
-  # https://brains.fsf.org/wiki/sysadmin/interns/2022/nick_shrader/intro_blog_post
-
+  case $input in
+    http*)
+      path="$repo_dir/${input##http*://"$url_prefix"/}"
+      # for files like x.jpg, we dont need to convert the extension.
+      if [[ $path == */ ]]; then
+        path=${path%/}.mdwn
+        # brains adds trailing slash, but without trailing is still
+        # valid. We can't be totally sure whether to add mdwn, but we
+        # can guess based on the existence of the file. We can't be sure
+        # because it could be a file like x.jpg, that we just don't have
+        # in our local repo.
+      elif [[ ! -f $path && -e $path.mdwn ]]; then
+        path=${path}.mdwn
+      fi
+      j printf "%s\n" "$path"
+      ;;
+    *)
+      path=$(fp "$input")
+      url_dir=$(echo "$path" | sed -r "s,^(/a)?$repo_dir/,,")
+      url="https://$url_prefix/$url_dir"
+      if [[ $url == *.mdwn ]]; then
+        url="${url%.mdwn}/"
+      fi
+      j echo "$url"
+      ;;
+  esac
 }
 
+
 # Generate beet smartplaylists for navidrome.
 # for going in the reverse direction, run
 # /b/ds/navidrome-playlist-export
@@ -415,47 +538,71 @@ beetsmartplaylists() {
   rmdir /tmp/ianbeetstmp
 }
 
-# Export beets ratings into navidrome
-beetrating() {
-  local tmp tmpfile myuser userid rating path cpath sqlpath
+# internal function for beetrating, in case we need to ssh
+beetrating-stdin() {
+  local tmp rating path cpath sqlpath userid
   # plucked this from the db. im the only user.
   userid=23cc2eb9-e35e-4811-a0f0-d5f0dd6eb634
-  tmpfile=$(mktemp)
-  beet ls -f '$rating $path' ^genre:spoken-w ^genre:skit rating:2..5 >$tmpfile
   while read -r rating path; do
-    tmp="/i/converted${path#/i/m}"
-    cpath="${tmp%.*}.mp3" # converted path
+    cpath="/i/converted${path#/i/m}" # converted path
+    case $cpath in
+      *.flac)
+        cpath="${cpath%.*}.mp3"
+        ;;
+    esac
+    if [[ ! -e $cpath ]]; then
+      echo "beetraing: error: this should not happen, path does not exist: $cpath"
+      return 1
+    fi
     sqlpath="${cpath//\'/\'\'}"
     old_rating=$(sqlite3 /i/navidrome/navidrome.db "select rating from annotation inner join media_file on item_id = id where path = '$sqlpath' and item_type = 'media_file';")
     if [[ $old_rating ]]; then
-      if [[ $old_rating != $rating ]]; then
+      if [[ $old_rating != "$rating" ]]; then
+        echo "setting rating $old_rating -> $rating $cpath"
         # https://stackoverflow.com/a/50317320
-        m sqlite3 /i/navidrome/navidrome.db "
+        # we got a timeout error once. arbitrarily chose 15 seconds.
+        sqlite3 /i/navidrome/navidrome.db ".timeout 15000" "
 update annotation set rating = $rating
  where item_id in (
  select media_file.id from annotation inner join media_file on annotation.item_id = media_file.id
    where media_file.path = '$sqlpath' and annotation.item_type = 'media_file' );"
       fi
     else
+      echo "setting rating $rating $cpath"
       # /a/opt/navidrome/persistence/sql_annotations.go v0.48.0
       # https://www.sqlite.org/lang_insert.html
-      m sqlite3 /i/navidrome/navidrome.db "insert into annotation select '$(uuidgen)', '$userid', id, 'media_file', 0, NULL, $rating, 0, NULL from media_file where path = '$sqlpath';"
+      sqlite3 /i/navidrome/navidrome.db ".timeout 15000" "insert into annotation select '$(uuidgen)', '$userid', id, 'media_file', 0, NULL, $rating, 0, NULL from media_file where path = '$sqlpath';"
     fi
-    #sqlite3 /i/navidrome/navidrome.db "select path from annotation inner join media_file on item_id = id where rating = $r;"
-  done <$tmpfile
+  done
+}
+
+# Export beets ratings into navidrome
+beetrating() {
+  local ssh_prefix
+  if [[ $HOSTNAME != kd ]]; then
+    ssh_prefix="ssh b8.nz"
+  fi
+  # shellcheck disable=SC2016 # obvious reason
+  beet ls -f '$rating $path' $nav_convert_query | $ssh_prefix beetrating-stdin
 }
 
 # Do transcoding and hardlinking of audio files for navidrome.
-#
+beetconvert() {
+  local tmpf
+  tmpf="$(mktemp)"
+  # a bunch of effort to ignore output we dont care about...
+  sed 's/^format_item:.*/format_item: ignore_this/' ~/.config/beets/config.yaml >$tmpf
+  beet -c $tmpf convert -y $nav_convert_query > >(grep -vFx 'ignore_this' ||:) 2> >(grep -v '^convert: Skipping' ||:)
+  rm "$tmpf"
+}
 # This deletes files in the converted directory which should no longer
 # be there due to a rename of the unconverted file.
-beetconvert() {
-  local l query
+beetconvert-rm-extras() {
+  local l tmpf
   local -A paths
-  query="^genre:spoken-w ^genre:skit ^lesser_version:t ^rating:1"
-  # redirect is to avoid printing every file
-  beet convert -y $query >/dev/null 2> >(grep -v '^convert: Skipping' ||:)
-
+  tmpf="$(mktemp)"
+  # shellcheck disable=SC2016 # obvious reason
+  beet ls -f '$path' $nav_convert_query >"$tmpf"
   ## begin removal of files that are leftover from previous conversion,
   # eg, previously rated > 1, now rated 1.
   while read -r l; do
@@ -464,116 +611,286 @@ beetconvert() {
       *.flac) convertedpath="${convertedpath%.flac}.mp3" ;;
     esac
     paths[$convertedpath]=t
-  done < <(beet ls -f '$path' $query)
+  done <"$tmpf"
+
+  find /i/converted -path /i/converted/beetsmartplaylists -prune -o \( -type f -print \) -name '*.mp3' -o -name '*.m4a' >"$tmpf"
   while read -r l; do
     if [[ ! ${paths[$l]} ]]; then
       rm -v "$l"
     fi
     # note: the pruning is duplicative of filtering on name, but whatever.
-  done < <(find /i/converted -path /i/converted/beetsmartplaylists -prune -o \( -type f -print \) -name '*.mp3' -o -name '*.m4a')
-  ## end
+  done <"$tmpf"
+  rm "$tmpf"
+}
+
+beets-gen-playlists() {
+  local i str
+  local -a query_array query_str
+  for i in "${!bpla[@]}"; do
+    query_str=()
+    eval "query_array=(${bpla[$i]})"
+    for str in "${query_array[@]}"; do
+      query_str+=("\"$str\"")
+    done
+    cat <<EOF
+    - name: $i.m3u
+      query: '${query_str[@]}'
+EOF
+  done
+}
+
+# beet playlist. use beetag with a playlist name
+bpl() {
+  local playlist playlist_regex
+  case $1 in
+    -h|--help)
+      for playlist in "${!bpla[@]}"; do
+        printf "%s\n" "$playlist"
+      done
+      return 0
+      ;;
+  esac
+
+  playlist="${*: -1}"
+  playlist_regex='[a-z0-9_]'
+  if [[ ! $playlist =~ $playlist_regex ]]; then
+    echo "bpl: error unexpected chars in playlist: $playlist"
+    return 1
+  fi
+  # all but last arg as options
+  eval beetag -r "${*:1:$# - 1}" "${bpla[$playlist]}"
+}
+complete -W "${!bpla[*]}" bpl
+
+
+# beet modify quietly
+beetmq() {
+  local tmpf
+  tmpf="$(mktemp)"
+  # a bunch of effort to ignore output we dont care about...
+  sed 's/^format_item:.*/format_item: ignore_this/' ~/.config/beets/config.yaml >$tmpf
+  beet -c $tmpf modify -y "$@" > >(grep -vFx -e 'ignore_this' -e 'Modifying 1 items.' ||:)
+  rm "$tmpf"
+  beetag-nostatus 1
+}
+
+kill-bg-quiet() {
+  # https://stackoverflow.com/a/5722874
+  kill %% 2>/dev/null ||:; wait %% 2>/dev/null ||:
+}
+
+# debug variables
+dv() {
+  for arg; do
+    printf "%s=%s " "$arg" "${!arg}"
+  done
+  echo
+}
+
+# Must be called from beetag for variables to be setup
+beetag-help() {
+  local -i i j col_total row col button_total row_total remainder_cols remainder_term
+  col_total=4
+  button_total=${#button_map[@]}
+  row_total=$(( button_total / col_total ))
+  remainder_cols=$(( button_total % col_total ))
+  # for debugging
+  #dv button_total row_total remainder_cols
+  beetag-nostatus
+  #   - 3 is just a constant that helps things work in practice.
+  if [[ $LINES ]] && (( LINES - 3 < scrolled )); then
+    hr
+    for (( i=0; i<button_total; i++)); do
+      row=$(( i / col_total ))
+      col=$(( i % col_total ))
+      remainder_term=$remainder_cols
+      if (( col < remainder_term )); then
+        remainder_term=$col
+      fi
+      j=$(( col * row_total + row + remainder_term ))
+      # avoid double newline when we have exactly row * col buttons
+      if (( i == button_total - 1 )); then
+        printf "%s %s" ${buttons[j]} ${button_map[j]}
+      elif (( i % col_total == col_total -1 )); then
+        printf "%s %s\n" ${buttons[j]} ${button_map[j]}
+      else
+        printf "%s %-15s" ${buttons[j]} ${button_map[j]}
+      fi
+    done
+    cat <<'EOF'
+
+
+y other genres   z fg player      ' = toggle play  1-5 rate    ] repeat1
+; previous       _ = delete       up/down skip     mpv vol,pause,seek
+EOF
+    hr
+    scrolled=10
+  fi
+}
+
+# Must be called from beetag for variables to be setup
+beetag-nostatus() {
+  if (( $# )); then
+    scrolled=$(( scrolled + $1 ))
+  fi
+  if $erasable_line; then
+    # https://stackoverflow.com/a/71286261
+    # erase line / delete line in terminal
+    printf '\033[1A\033[K'
+  fi
+  erasable_line=false
+}
+# meant to be called from beetag
+beetag-status() {
+  if $erasable_line; then
+    # https://stackoverflow.com/a/71286261
+    printf '\033[1A\033[K'
+  fi
+  erasable_line=true
+}
+
+# meant to be called from beetag
+mpvrpc() {
+  if jobs -p | grep -q . &>/dev/null; then
+    printf "%s\n" "$*" | socat - /tmp/mpvsock >/dev/null ||:
+  fi
+}
+# meant to be called from beetag
+# o for get output
+mpvrpco() {
+  # note: testing for background jobs will output nothing if we are in a pipeline
+  printf "%s\n" "$*" | socat - /tmp/mpvsock ||:
+}
+
+# meant to be called from beetag
+mpvrpc-percent-pos() {
+  mpvrpco '{ "command": ["get_property", "percent-pos"] }' | jq .data | sed 's/\..*/%/' 2>/dev/null ||:
+}
+
+# run if not running.
+#
+# Note: this does not work with shell scripts as they are normally
+# invoked, because the ps output has the interpreter at the start.
+# A workaround is to invoke the command in that format, or we could
+# do various other workarounds.
+#
+# background, this relies on how ps converts newlines in arguments to spaces, and
+# assumes we won't be searching for a command with spaces in its arguments
+rinr() {
+  # shellcheck disable=SC2009 # pgrep has no fixed string option, plus see above.
+  if ps h -o args -C "${1##*/}" | grep -Fxqv "$*" &>/dev/null || [[ $? == 141 ]]; then
+    "$@"
+  fi
+}
+# variation of above: run or wait if running
+rowir() {
+  local pid
+  pid=$(ps h -o 'pid,args' -C "${1##*/}" | sed -r 's/^[[:space:]]*([0-9]+)[[:space:]](.*)/\1\n\2/' | grep -B1 -Fx "$*" | head -n1 ||: )
+  if [[ $pid ]]; then
+    # https://unix.stackexchange.com/questions/427115/listen-for-exit-of-process-given-pid
+    tail --pid="$pid" -f /dev/null
+  else
+    "$@"
+  fi
+}
+
+mpvrpc-loadfile() {
+  local path nextpath cachedir finalpath nextpath count
+  cachedir=$HOME/.iank-music-cache
+  path="$1"
+  nextpath="$2"
+
+  # note: logic duplicated in beetpull
+  local remote_p=true
+  if [[ $HOSTNAME == kd ]]; then
+    remote_p=false
+  fi
+
+  if $remote_p; then
+    finalpath="$cachedir${path#/i/m}"
+    rowir rsync --partial -a --inplace --mkpath "b8.nz:$path" "$finalpath"
+    finalnextpath="$cachedir${nextpath#/i/m}"
+    count=$(pgrep -a -f "^rsync --partial -a --inplace --mkpath $cachedir" || [[ $? == 1 ]] )
+    # allow us to start 2 rsyncs in the background
+    if [[ $count == [01] ]]; then
+      rinr rsync --partial -a --inplace --mkpath "b8.nz:$nextpath" "$finalnextpath" &
+    fi
+  else
+    finalpath="$path"
+  fi
+  mpvrpc '{ "command": ["loadfile", "'"$finalpath"'"] }'
 }
 
 # tag with beets.
-# usage: beetag QUERY
+# usage: beetag [-r] [-s] QUERY
 # it lists the query, reads an input char for tagging one by one.
-# 1-5 = set rating
-# a-x 0 6-9 / . , = set genre/playlist. (available buttons: ` \ ) ] [
-# q = quit
-# y = toggle to setting rare genres
-# z = put the player in the foreground
-# enter = next song
-# ' = toggle playing of songs, also replays current song if hit twice
-# ; = go to previous song
-# _ = delete file, remove from library
-# -/+ = decrease / increase volume
 #
 # note, you may want to change the play command for doing rapid taging
 # by immediately jumping forward into the song. this is set in the beets
 # config yaml.
-beetag() {
-  local last_genre_i fstring tag id char new_item char_i genre tag remove doplay i j random
-  local do_rare_genres read_wait
-  local -a genres pl_tags buttons button_map ids tags rare_genres tmp_tags
+#
+# (available buttons: ` \ ) ] [ and non-printing chars, see
+# https://stackoverflow.com/questions/10679188/casing-arrow-keys-in-bash
+#
+#
+# note: after foregrounding the player, must quit it to get back. can't ctrl-c.
+#
+# keys I dont need help to remember:
+# 1-5 rate
+# q quit
+# ret next
+#
+# todo: enter should also unpause
+beetag()  {
+  local last_genre_i fstring tag id char new_item char_i genre tag remove doplay i j random path
+  local do_rare_genres read_wait help line lsout tmp ls_line skip_lookback
+  local escape_char escaped_input expected_input skip_input_regex right_pad erasable_line seek_sec
+  local pl_state_path pl_state_dir pl_state_file tmpstr
+  local new_random pl_seed_path seed_num seed_file fmt first_play repeat1
+  local -a buttons button_map ids tags tmp_tags initial_ls ls_lines paths
   local -A button_i
-  local -i volume
-  do_rare_genres=false
+  local -i i j volume scrolled id_count line_int skip_start pre_j_count head_count skip_lookback
+  local -i overflow_lines overflow
+
+  first_play=true
+  erasable_line=false
+  escape_char=$(printf "\u1b")
+  scrolled=999 # more than any $LINES
+  ### begin arg processing ###
   random=false
-  volume=70
-  read_wait=2
+  repeat1=false
+  new_random=false
   case $1 in
     -r)
       random=true
       shift
       ;;
+    -s)
+      random=false
+      shift
+      ;;
+    -x)
+      new_random=true
+      shift
+      ;;
   esac
   if (( ! $# )); then
     echo beetag: error expected a query arg >&2
     return 1
   fi
+  ### end arg processing ###
+
+  # note: I used to do beetpull here, but mpv + ssfs on slowish
+  # connection leads to bad/buggy result.
+
+  do_rare_genres=false
+  volume=70
+  read_wait=2
   doplay=true
-  genres=(
-    # gangsta rap / angry rap. something like g-rap would make beet queries for genre:rap include it
-    arp
-    ambient
-    avant
-    blues
-    classical
-    # slow instrumental. todo: reclassify some ambient into this.
-    chill
-    country
-    # like power glove
-    dark-wave
-    # lyrical edm. todo: some pop needs reclassification to this
-    dance
-    hardcore
-    instrumental
-    latin
-    metal
-    # mq = mac quale. similar to the mr robot soundtracks.
-    # slow, foreboding. usually electronic.
-    mq
-    pop
-    rap
-    rock
-    # like rain by brian crain. mostly slow broody piano
-    sleep
-    techno
-    world
-  )
-  # because we were destined to run out of single key buttons.
-  rare_genres=(
-    jazz
-    musical
-    noise
-    skit
-    spoken-w
-  )
-  pl_tags=(
-    ## cross-genre tags that dont really make a playlist
-    expl
-    # songs i like but they get old fast due to feeling gimicky, or cringy after a while.
-    gimicky
-    # alternate version of a song we already have which isn't as good
-    lesser_version
-    # anything sad which i sometimes like or avoid.
-    sad
-
-    ## playlists
-    # intimate, love
-    love
-    # favorite songs pump up songs
-    pump1
-    # favorite rap pump up songs, allows more songs than pump1
-    pumprap
-    # heart rending, spine tickling
-    rend
-    # for running
-    run
-  )
-  last_genre_i=$(( ${#genres[@]} - 1 ))
-  buttons=( {a..p} {r..w} 0 {6..9} , . / )
-  button_map=(${genres[@]} ${pl_tags[@]})
+
+  last_genre_i=$(( ${#common_genres[@]} - 1 ))
+  buttons=( {a..p} {r..w} {6..8} , . / - "=")
+  button_map=(${common_genres[@]} ${pl_tags[@]})
   fstring=
   for tag in "${pl_tags[@]}"; do
     fstring+="%ifdef{$tag,$tag }"
@@ -582,96 +899,216 @@ beetag() {
   for (( i=0; i<${#buttons[@]}; i++ )); do
     button_i[${buttons[i]}]=$i
   done
-  beet ls -f '%ifdef{rating,$rating }'"$fstring"', $genre $artist - $album - $title' "$@"
-  mapfile -t ids < <(beet ls -f '$id' "$@" | { if $random; then sort -R; else cat; fi; } )
-  for (( j=0; j<${#ids[@]}; j++ )); do
-    hr
+
+  # note: this structure of files is rather haphazard.
+  seed_num=1 # later we might want a few
+  seed_file=seed$seed_num
+  if $random; then
+    pl_state_file=$seed_num
+  else
+    pl_state_file=sorted
+  fi
+  pl_state_dir=/i/info/pl-state
+  if [[ $playlist ]]; then
+    pl_state_dir=$pl_state_dir/$playlist
+  else
+    pl_state_dir=$pl_state_dir/nopl
+  fi
+  pl_state_path=$pl_state_dir/$pl_state_file
+  pl_seed_path=$pl_state_dir/$seed_file
+
+
+  if $new_random || [[ ! -r $pl_seed_path ]]; then
+    mkdir -p $pl_state_dir
+    { base64 < /dev/urandom | head -c 200 ||:; echo; } > $pl_seed_path
+  fi
+
+  # PijokVipiotOzeph is just a random string for a delimiter
+  # shellcheck disable=SC2016 # false positive
+  fmt='%ifdef{rating,$rating }'"$fstring"'$genre | $title - $artist - $album   $length  $id PijokVipiotOzeph $path'
+  # shellcheck disable=SC2016 # obvious reason
+  tmpstr=$(beet ls -f "$fmt" "$@" | { if $random; then sort -R --random-source=$pl_seed_path; else cat; fi; } )
+  mapfile -t initial_ls <<<"$tmpstr"
+  if [[ ! ${initial_ls[0]} ]]; then
+    echo "beetag: error: no result from beet ls $*"
+    return 1
+  fi
+  id_count=${#initial_ls[@]}
+  for line in "${initial_ls[@]}"; do
+    path="${line#*PijokVipiotOzeph }"
+    # https://github.com/koalaman/shellcheck/issues/2171
+    # shellcheck disable=SC2190 # bug in shellcheck, looking at paths from an earlier function
+    paths+=("$path")
+    line_no_path="${line% PijokVipiotOzeph*}"
+    id="${line_no_path##* }"
+    ids+=("$id")
+    right_pad="${line_no_path%% |*}"
+    ls_line="$(printf %-11s "$right_pad")${line_no_path#"$right_pad"}"
+    ls_lines+=("$ls_line")
+    i=$(( i+1 ))
+  done
+
+
+
+
+  j=0
+  if [[ $playlist ]]; then
+    if [[ -r $pl_state_path ]]; then
+      j=$(cat $pl_state_path)
+    fi
+  fi
+
+  # i only care to see a smallish portion of the list when starting.
+  head_count=$(( LINES - 20 ))
+  head_start=$(( j - head_count / 2 ))
+  if (( head_start < 0 )); then
+    head_start=0
+  fi
+  for (( i=head_start; i < head_count && i < id_count; i++ )); do
+    ls_line="${ls_lines[$i]}"
+    if (( i == j )); then
+      echo "* $ls_line"
+    else
+      echo "$ls_line"
+    fi
+  done
+  if $doplay; then
+    #{ mpv --profile=a --volume=$volume --idle 2>&1 & } 2>/dev/null
+    mpv --profile=a --volume=$volume --idle &
+    # if we dont sleep, can expect an error like this:
+    # socat[1103381] E connect(5, AF=1 "/tmp/mpvsock", 14): Connection refused
+    sleep .1
+  fi
+
+  while true; do
     id=${ids[j]}
-    lsout="$(beet ls -f '%ifdef{rating,$rating }'"$fstring"', $genre $id $artist - $album - $title' "id:$id")"
+    path="${paths[$j]}"
+    lsout="${ls_lines[j]}"
     tags=( ${lsout%%,*} )
-    printf "%s\n" "$lsout"
-    for (( i=0; i<${#button_map[@]}; i++ )); do
-      echo ${buttons[i]} ${button_map[i]}
-    done
+    beetag-help
+    printf "██ %s\n" "$lsout"
+    beetag-nostatus 1
     if $doplay; then
-      beet play --args=--volume=$volume "id:$id" &
+      # https://stackoverflow.com/a/7687716
+      # note: duplicated down below
+      #
+      # notes on old method of invoking mpv each time:
+      # https://superuser.com/questions/305933/preventing-bash-from-displaying-done-when-a-background-command-finishes-execut
+      # we can't disown or run in a subshell or set +m because all that
+      # disabled job control from working properly in ways we want.
+      # todo: figure out some kind of answer to this. I think the solution
+      # is that we are waiting in 2 second intervals and checking if the
+      # background job exists. Instead, we should make mpv just idle
+      # when it is done with a song and then send it a command to play a new track.
+      #{ mpv --profile=a --volume=$volume "$path" 2>&1 & } 2>/dev/null
+      # old
+      #{ beet play "--args=--volume=$volume" "id:$id" 2>&1 & } 2>/dev/null
+
+      # on slow systems, we may need to wait like .3 seconds before mpv
+      # is ready. so impatiently check until it is ready
+      if $first_play; then
+        first_play=false
+        for (( i=0; i<20; i++ )); do
+          if [[ $(mpvrpco '{ "command": ["get_property", "idle-active"] }' 2>/dev/null | jq .data) == true ]]; then
+            mpvrpc-loadfile "$path" 2>/dev/null
+            break
+          fi
+          sleep .1
+        done
+      else
+        mpvrpc-loadfile "$path"
+      fi
+      erasable_line=false
     fi
     while true; do
       char=
       if $doplay; then
         ret=0
-        read -r -N 1 -s -t $read_wait char || ret=$?
+        read -rsN1 -t $read_wait char || ret=$?
         read_wait=2
         # Automatically skip to the next song if this one ends, unless
         # we turn off the autoplay.
         if (( ret == 142 )) || [[ ! $char ]]; then
-          if bg %% &>/dev/null; then
+          if jobs -p | grep -q . &>/dev/null && \
+              [[ $(mpvrpco '{ "command": ["get_property", "idle-active"] }' | jq .data) == false ]]; then
             continue
           else
             break
           fi
         fi
       else
-        read -r -N 1 -s char
+        read -rsN1 char
       fi
+      beetag-help
       if [[ $char == $'\n' ]]; then
-        kill %% ||: &>/dev/null
         break
       fi
       case $char in
         ";")
-          kill %% ||: &>/dev/null
           j=$(( j - 2 ))
           break
           ;;
         "'")
           if $doplay; then
+            echo "play toggled off"
             doplay=false
           else
             doplay=true
-            kill %% ||: &>/dev/null
-            beet play --args=--volume=$volume "id:$id" &
+            mpvrpc-loadfile "$path"
+            erasable_line=false
           fi
+          beetag-nostatus 1
           continue
           ;;
         _)
-          kill %% ||: &>/dev/null
           m beet rm --delete --force "id:$id"
+          beetag-nostatus 4 # guessing. dont want to test atm
           break
           ;;
         [1-5])
-          beet modify -y "id:$id" rating=$char
+          beetmq "id:$id" rating=$char
           continue
           ;;
-        -)
+        9)
           volume=$(( volume - 5 ))
           if (( volume < 0 )); then
             volume=0
           fi
-          echo volume=$volume
-          continue
-          ;;
-        q)
-          kill %% ||: &>/dev/null
-          return
-          ;;
-        +)
+          ;;&
+        0)
           volume+=5
           if (( volume > 130 )); then
             volume=130
           fi
+          ;;&
+        0|9)
+          mpvrpc '{ "command": ["set_property", "volume", '$volume'] }'
+          beetag-status
           echo volume=$volume
           continue
           ;;
+        ']')
+          if $repeat1; then
+            repeat1=false
+          else
+            repeat1=true
+          fi
+          echo repeat1=$repeat1
+          continue
+          ;;
+        q)
+          kill-bg-quiet
+          return
+          ;;
         y)
           if $do_rare_genres; then
             do_rare_genres=false
-            button_map=(${genres[@]} ${pl_tags[@]})
+            button_map=(${common_genres[@]} ${pl_tags[@]})
             last_genre_i=$(( ${#rare_genres[@]} - 1 ))
           else
             do_rare_genres=true
             button_map=(${rare_genres[@]} ${pl_tags[@]})
-            last_genre_i=$(( ${#genres[@]} - 1 ))
+            last_genre_i=$(( ${#rare_genres[@]} - 1 ))
           fi
           local -A button_i
           for (( i=0; i<${#buttons[@]}; i++ )); do
@@ -683,6 +1120,7 @@ beetag() {
           continue
           ;;
         z)
+          beetag-nostatus 3
           # if we ctrl-z, it will put the whole function into sleep. so
           # basically, we can't return from a foregrounded mpv like we
           # would like to without some strange mechanism I can't think
@@ -690,10 +1128,112 @@ beetag() {
           # input. One idea would be to use a music player like mpd where
           # we can send it messages.
           if ! fg; then
-            sleep_wait=10
+            read_wait=10
           fi
           continue
           ;;
+
+        #
+        " ")
+          # output time if we aren't already paused
+          if [[ $(mpvrpco '{ "command": ["get_property", "pause"] }' | jq .data) == false ]]; then
+            # minutes/seconds
+            #date -d @"$(mpvrpco '{ "command": ["get_property", "playback-time"] }' | jq .data)" +%M:%S ||:
+            beetag-status
+            mpvrpc-percent-pos
+          fi
+          # originally found this solution, which worked fine.
+          #kill -STOP %% &>/dev/null
+          #
+          mpvrpc '{ "command": ["cycle", "pause"] }'
+          continue
+          ;;
+        "$escape_char")
+          expected_input=true
+          read -rsn2 escaped_input
+          skip_input_regex="^[0-9]+$"
+          case $escaped_input in
+            # up char: show all the songs, use less
+            '[A')
+              skip_start=0
+              skip_lookback=5
+              if (( j - skip_lookback > skip_start )); then
+                skip_start=$(( j - skip_lookback ))
+              fi
+              beetag-nostatus $(( id_count - skip_start - 1 ))
+              {
+                line_int=0
+                for (( i=skip_start; i < id_count; i++ )); do
+                  if (( i == j )); then
+                    echo "  * ${ls_lines[i]}"
+                    continue
+                  fi
+                  echo "$line_int | ${ls_lines[i]}"
+                  line_int+=1
+                done
+              } | less -F
+              ;;
+            # down char
+            '[B')
+              # skip forward, but show the last few songs anyways.
+              skip_start=0
+              skip_lookback=3
+              if (( j - skip_lookback > skip_start )); then
+                skip_start=$(( j - skip_lookback ))
+              fi
+              beetag-nostatus $(( id_count - skip_start - 1 ))
+
+              line_int=0
+              overflow_lines=$LINES
+              for (( i=skip_start; i < overflow_lines - 1 && i < id_count; i++ )); do
+                ls_line="${ls_lines[i]}"
+                overflow=$(( ${#ls_line} / ( COLUMNS - 1 ) ))
+                overflow_lines=$(( overflow_lines - overflow ))
+                if (( i == j )); then
+                  echo "  * $ls_line"
+                  continue
+                fi
+                echo "$line_int | $ls_line"
+                line_int+=1
+              done
+              ;;
+            # left key
+            '[D')
+              seek_sec=-8
+              ;;&
+            # right key
+            '[C')
+              seek_sec=8
+              ;;&
+            '[C'|'[D')
+              beetag-status
+              mpvrpc-percent-pos
+              erasable_line=true
+              mpvrpc '{ "command": ["seek", "'$seek_sec'"] }'
+              continue
+              ;;
+            *)
+              expected_input=false
+              ;;
+          esac
+          if $expected_input; then
+            read -r skip_input
+            case $skip_input in
+              q)
+                kill-bg-quiet
+                return
+                ;;
+            esac
+            if [[ $skip_input =~ $skip_input_regex ]]; then
+              pre_j_count=$(( j - skip_start ))
+              j=$(( j + skip_input - pre_j_count ))
+              if (( skip_input < pre_j_count )); then
+                j=$(( j - 1 ))
+              fi
+            fi
+            break
+          fi
+          ;;
       esac
       char_i=${button_i[$char]}
       new_item=${button_map[$char_i]}
@@ -702,7 +1242,7 @@ beetag() {
         continue
       fi
       if (( char_i <= last_genre_i )); then
-        m beet modify -y "id:$id" genre=$new_item
+        m beetmq "id:$id" genre=$new_item
       else
         remove=false
         tmp_tags=()
@@ -715,13 +1255,23 @@ beetag() {
         done
         if $remove; then
           tags=("${tags[@]}")
-          m beet modify -y "id:$id" "$new_item!"
+          m beetmq "id:$id" "$new_item!"
         else
           tags+=("$new_item")
-          m beet modify -y "id:$id" $new_item=t
+          m beetmq "id:$id" $new_item=t
         fi
       fi
     done
+    if ! $repeat1; then
+      if (( j < id_count - 1 )); then
+        j+=1
+      else
+        j=0
+      fi
+    fi
+    if [[ $playlist ]]; then
+      echo $j >$pl_state_path
+    fi
   done
 }
 
@@ -745,18 +1295,48 @@ beetadd() {
 
 # update navidrome music data after doing beets tagging
 beet2nav() {
-  beetconvert
-  beetsmartplaylists
-  beetrating
+  m beetpull
+  m beetconvert
+  m beetrating
+  # this function would naturally just be part of beetconvert,
+  # but we want beetrating to happen sooner so that our ssh auth dialog
+  # happens earlier. Currently 17 seconds for that.
+  m beetconvert-rm-extras
+  m beetsmartplaylists
 }
 
 # pull in beets library locally
 beetpull() {
+  local sshfs_host sshfs_cmd
+  sshfs_host=b8.nz
+  if [[ $HOSTNAME == kd ]]; then
+    return 0
+  fi
   if [[ ! -e /i ]]; then
     s mkdir /i
     s chown iank:iank /i
-    sshfs b8.nz:/i /i
   fi
+  sshfs_cmd="sshfs -o ServerAliveInterval=15,reconnect $sshfs_host:/i /i"
+  if ! pgrep -f "^$sshfs_cmd$" >/dev/null; then
+    m $sshfs_cmd
+  fi
+}
+
+# remove all playlists in navidrome, for when I make big
+# playlist name changes and just want to scrap everything.
+nav-rm-plists() {
+  local tmpf id
+  tmpf=$(mktemp)
+  if [[ $HOSTNAME != kd ]]; then
+    echo "error: run on kd"
+    return 1
+  fi
+  sqlite3 /i/navidrome/navidrome.db "select id from playlist" >$tmpf
+  while read -r id; do
+
+    curl --http1.1 --user "iank:$navidrome_pw" "https://b8.nz/rest/deletePlaylist.view?u=iank&s=sb219dvv7egnoe4i47k75cli0m&t=1c8f5575cd0fdf03deb971187c9c88b1&v=1.2.0&c=DSub&id=$id"
+  done <$tmpf
+  rm $tmpf
 }
 
 # escape regex.
@@ -775,28 +1355,37 @@ er() {
 # "artist:" it is used as the artist instead of each artist in QUERY.
 #
 beegenre() {
-  local artist artregex genre term singleartist
-  local -a artists genres terms
+  local count artist artregex genre singleartist tmpf tmpf2
+  local -a artists genres
   singleartist=false
   case $1 in
     artist:*)
       singleartist=true
-      artist="$term"
+      artist="$1"
+      shift
       ;;
   esac
+  tmpf=$(mktemp)
+  tmpf2=$(mktemp)
   if $singleartist; then
-    read count genre < <(beet ls -f '$genre' "$artist" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1) ||:
+    # shellcheck disable=SC2016 # obvious reason
+    beet ls -f '$genre' "$artist" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1 >$tmpf
+    read -r count genre <$tmpf ||:
     beet modify "$artist" "$@" genre=$genre
   else
+    # shellcheck disable=SC2016 # obvious reason
+    beet ls -f '$artist' "$@" | sort -u >$tmpf
     while read -r artist; do
       artregex=$(er "$artist")
-      read count genre < <(beet ls -f '$genre' "artist::^$artregex$" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1) || continue
+      # shellcheck disable=SC2016 # obvious reason
+      beet ls -f '$genre' "artist::^$artregex$" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1 >$tmpf2
+      read -r count genre <$tmpf2 || continue
       if [[ $count ]]; then
         artists+=("$artregex")
         genres+=("$genre")
-        echo "beet modify -y $@ \"artist::^$artist$\" genre=$genre # $count"
+        echo "beet modify -y $* \"artist::^$artist$\" genre=$genre # $count"
       fi
-    done < <(beet ls -f '$artist' "$@" | sort -u)
+    done <$tmpf
     read -r -N 1 -s -p "Y/n " char
     case $char in
       [Yy$'\n'])
@@ -806,6 +1395,110 @@ beegenre() {
         ;;
     esac
   fi
+  rm $tmpf
+}
+
+# prettify the date
+btrbk-date() {
+  local indate
+  indate="$1"
+  shift
+  date +%F_%T%:::z -d "$(sed -r  's/(.{4})(..)(.{5})(..)(.*)/\1-\2-\3:\4:\5/' <<<"$indate")" "$@"
+}
+btrbk-undate() {
+  # fudCaHougfirp is a random string
+  { if [[ $1 ]]; then
+      echo "$1"
+    else
+      cat
+    fi
+  } | sed -r 's/-0([45])( |$)/fudCaHougfirp0\100/;s/_/T/;s/[:-]//g;s/fudCaHougfirp/-/'
+
+}
+btrbk-date-sed() {
+  local line
+  while read -r line; do
+    if [[ $line == *20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00* ]]; then
+      pre="${line%%20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00*}"
+      post="${line##*20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00}"
+      mid="${line:${#pre}:22}"
+      echo "$pre$(btrbk-date "$mid")$post"
+    else
+      echo "$line"
+    fi
+  done
+}
+jrbtrbk() {
+  jr -u btrbk-run -u btrbk -u switch-mail-host "$@"
+}
+
+# internal function
+btrbk-host-debug-show-host() {
+  for f; do
+    snaphost=
+    for host in $remote $alt local; do
+      if line=$(grep -P "\S*$f" /tmp/b/s/$host.log); then
+        if [[ $snaphost ]]; then
+          e error: snaphost=$snaphost, host=$host line="$line"
+        fi
+        if [[ $line == ssh* ]]; then
+          tmp="${line#ssh://}"
+          snaphost="${tmp%%/*}"
+        else
+          snaphost=$host
+        fi
+      fi
+    done
+    echo $snaphost $f | btrbk-date-sed
+  done
+}
+
+# If we get a btrfs receive error like this:
+# ERROR: ... clone: did not find source subvol
+# running this command will help track down the problem.
+# Alter remote= and alt=. When I used it, remote is
+# the host having the error when I push a snapshot.
+# Alt is just the other host that takes snapshots
+# besides the local host.
+btrbk-host-debug() {
+
+  remote=b8.nz
+  alt=sywg.b8.nz
+
+  mkdir -p /tmp/b/s
+  for host in $remote $alt; do
+    h=$(ssh $host hostname)
+    rsync -a /var/log/btrbk $host:/var/log/btrbk /var/log/btrbk/$h
+    grr '\bsnapshot success' /var/log/btrbk/$h >/tmp/b/$h.log
+
+    ## this takes a while, we only want to do it on 1st run
+    # if [[ -s /tmp/b/$host.log ]]; then continue; fi
+    # ssh $host journalctl -u btrbk-run -u btrbk -u switch-mail-host >/tmp/b/$host.log
+  done
+  gr '\bsnapshot success' /var/log/btrbk/*.log >/tmp/b/local.log
+  cd /tmp/b
+  for f in *.log; do
+    gr '\bsnapshot success' $f >s/$f
+  done
+  cd /mnt/root/btrbk
+  localq=(q.*)
+  declare -A localq_a
+  for f in "${localq[@]}"; do
+    localq_a[$f]=t
+  done
+
+  remoteq=()
+  for f in $(ssh $remote "cd /mnt/root/btrbk; echo q.*"); do
+    if [[ ! ${localq_a[$f]} ]]; then
+      remoteq+=($f)
+    fi
+  done
+  btrbk-host-debug-show-host "${localq[@]}"
+  if (( ${#remoteq[@]} >= 1 )); then
+    echo "=== $remote only ===="
+    btrbk-host-debug-show-host ${remoteq[@]}
+  fi
+
 }
 
 # note, to check for glue records
@@ -838,8 +1531,6 @@ bbk() { # btrbk wrapper
       return 1
       ;;
   esac
-  # run latest
-  install-my-scripts
   # todo: consider changing this to srun and having the args come
   # from a file like /etc/default/btrbk, like is done in exim
   s jdo btrbk-run "$@"
@@ -893,14 +1584,16 @@ scr() {
 # tried to use ceb2txt but it failed because of schema
 # slightly different than what it expected.
 cheogram-get-logs() {
-  adb shell rm -r /storage/emulated/0/Download/Cheogram/Backup
-  read -p "do cheogram backup on phone, do not enable extra cheogram data. press any key when done"
+  #adb shell rm -r /storage/emulated/0/Download/Cheogram/Backup
+  read -r -p "do cheogram backup on phone, do not enable extra cheogram data. press any key when done"
   cd /p/cheogram
   rm -rf Backup b
   adb pull /storage/emulated/0/Download/Cheogram/Backup
   sqlite3 b </a/opt/ceb-tools/schema.sql
   echo "note: the next step took 39 seconds last time i measured"
-  /a/opt/ceb-tools/ceb2sqlgz Backup/iank@fsf.org.ceb <pas | gunzip | sqlite3 b
+  # expected failure: Error: near line 1: in prepare, table accounts has no column named pinned_mechanism (1)
+  # the sql needs an update
+  /a/opt/ceb-tools/ceb2sqlgz Backup/iank@fsf.org.ceb <pas | gunzip | sqlite3 b ||:
   rm -r Backup
 }
 
@@ -924,9 +1617,17 @@ order by timeSent;"
 mycheologs() {
   local days q
   days=${1:-16}
+  # timezone compared to utc. note: this takes the current offset, so if daylight savings change
+  # happened in the looking back period, this won't account for it.
+  zone_offset=$(( $( date +%z | sed 's/[^1-9-]*//g' ) * 60 * 60))
+  case $zone_offset in
+    -*) : ;;
+    *) zone_offset="+ $zone_offset"
+  esac
+  echo zone_offset=$zone_offset
   q="
 select
- datetime(substr(timeSent,0,11),  'unixepoch'),
+ datetime(substr(timeSent,0,11) $zone_offset,  'unixepoch'),
  body
 from messages
 where timeSent > $(( (EPOCHSECONDS - days * 60 * 60 * 24) * 1000 ))
@@ -1001,7 +1702,7 @@ jdo() {
   # it does sudo ssh, that will leave a process around that we can't kill
   # and it will leave the unit hanging around in a failed state needing manual
   # killing of the process.
-  s systemd-run --uid $(id -u) --gid $(id -g) \
+  s systemd-run --uid "$(id -u)" --gid "$(id -g)" \
     -E SSH_AUTH_SOCK=/run/openssh_agent \
     --unit "$cmd_name" --wait --collect "$cmd" "$@" || ret=$?
   # The sleep lets the journal output its last line
@@ -1011,7 +1712,7 @@ jdo() {
   unset jr_pid
   fg &>/dev/null ||:
   # this avoids any err-catch
-  (( $ret == 0 )) || return $ret
+  (( ret == 0 )) || return $ret
 }
 
 # service run, and watch the output
@@ -1032,11 +1733,10 @@ sm() { # switch mail host
   c /
   # run latest
   keyhash=$(s ssh-keygen -lf /root/.ssh/home  | awk '{print $2}')
-  tmp=$(s ssh-add -l | awk '$2 == "'$keyhash'"')
+  tmp=$(s ssh-add -l | awk '$2 == "'$keyhash'"' ||:)
   if [[ ! $tmp ]]; then
     s ssh-add /root/.ssh/home
   fi
-  install-my-scripts
   s jdo switch-mail-host "$@"
   return $ret
 }
@@ -1061,7 +1761,7 @@ lipush() {
   local p a
   # excluding emacs for now
   #p=(/a/opt/{emacs-debian11{,-nox},mu,emacs} /a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts})
-  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts})
+  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts} /c/roles/prom_export/files/simple/usr/local/bin/fsf-install-node-exporter /a/opt/fpaste)
   a="-ahviSAXPH --specials --devices --delete --relative --exclude-from=/p/c/li-rsync-excludes"
   ret=0
   for h in li je bk; do
@@ -1074,14 +1774,14 @@ lipush() {
   return $ret
 }
 bkpush() { # no emacs. for running faster.
-  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts})
+  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts} /c/roles/prom_export/files/simple/usr/local/bin/fsf-install-node-exporter)
   a="-ahviSAXPH --specials --devices --delete --relative --exclude-from=/p/c/li-rsync-excludes"
   ret=0
   m rsync "$@" $a ${p[@]} /p/c/machine_specific/bk root@bk.b8.nz:/ || ret=$?
   return $ret
 }
 jepush() { # no emacs. for running faster.
-  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts})
+  p=(/a/bin /a/exe /a/h /a/c /p/c/machine_specific/vps{,.hosts} /c/roles/prom_export/files/simple/usr/local/bin/fsf-install-node-exporter)
   a="-ahviSAXPH --specials --devices --delete --relative --exclude-from=/p/c/li-rsync-excludes"
   ret=0
   m rsync "$@" $a ${p[@]} /p/c/machine_specific/je root@je.b8.nz:/ || ret=$?
@@ -1092,19 +1792,13 @@ bindpush() {
   dsign iankelling.org expertpathologyreview.com zroe.org amnimal.ninja
   lipush
   for h in li bk; do
-    m sl $h <<'EOF'
-source ~/.bashrc
-m dnsup
-EOF
+    m ssh $h.b8.nz dnsup
   done
 }
 bindpushb8() {
   lipush
   for h in li bk; do
-    m sl $h <<'EOF'
-source ~/.bashrc
-m dnsb8
-EOF
+    m ssh $h.b8.nz dnsb8
   done
 }
 
@@ -1115,8 +1809,18 @@ dnsup() {
 dnsb8() {
   local f=/var/lib/bind/db.b8.nz
   m ser stop named
-  m sleep 1
-  m sudo rm -fv $f.jnl $f.signed.jnl
+  # jbk is like a temp file. dunno if removing it helps
+
+  i=0
+  while pgrep '^named$' &>/dev/null; do
+    sleep .5
+    i=$(( i + 1 ))
+    if (( i > 100 )); then
+      echo "dnsb8: error: timeout waiting for named to exit"
+      return 1
+    fi
+  done
+  m sudo rm -fv $f.jnl $f.signed.jnl $f.jbk
   m sudo install -m 644 -o bind -g bind /p/c/machine_specific/vps/bind-initial/db.b8.nz $f
   m ser restart named
 }
@@ -1133,7 +1837,7 @@ dnsecgen() {
   local zone=$1
   dnssec-keygen -a RSASHA256 -b 2048 $zone
   dnssec-keygen -f KSK -a RSASHA256 -b 4096 $zone
-  for f in K$zone.*.key; do
+  for f in K"$zone".*.key; do
     # eg Kb8.nz.+008+47995.key tag=47995
     # in dnsimple, you add the long string from this.
     # in gandi, you add the long string from the .key file,
@@ -1144,7 +1848,7 @@ dnsecgen() {
   # For b8.nz, we let bind read the keys and sign, and
   # right now they have root ownership, so let them
   # get group read.
-  chmod g+r *.private
+  chmod g+r ./*.private
 }
 dsign() {
   # create .signed file
@@ -1157,13 +1861,22 @@ dsign() {
   done
 }
 
+# set day start for use in other programs.
+# expected to do be in a format like 830, or 800 or 1300.
+ds() {
+  if [[ $1 ]]; then
+    echo $1 >/b/data/daystart
+  else
+    cat /b/data/daystart
+  fi
+}
 
 #### begin bitcoin related things
 btc() {
   local f=/etc/bitcoin/bitcoin.conf
   # importprivkey will timeout if using the default of 15 mins.
   # upped it to 1 hour.
-  bitcoin-cli -rpcclienttimeout=60000 -$(s grep rpcuser= $f) -$(s grep rpcpassword= $f) "$@"
+  bitcoin-cli -rpcclienttimeout=60000 -"$(s grep rpcuser= $f)" -"$(s grep rpcpassword= $f)" "$@"
 }
 btcusd() { # $1 btc in usd
   local price
@@ -1191,6 +1904,74 @@ satoshi() { # $1 satoshi in usd
     printf "$%.2f\n" "$(echo "scale=10; $price * $1"| bc -l)"
   fi
 }
+
+# Bitcoin holds open the wallet file. this causes problems for a
+# secondary computer running bitcoin and receiving a backup (as of
+# 2023). However, in 2024-02, I ran a backup where a receiving machine
+# had the wallet enabled and there was no error, so I don't know if this
+# is still an issue or likely it is an inconsistent behavior.
+#
+# As a workaround, this function is for enabling the wallet when I want
+# to use it and leave it disabled otherwise.
+walleton() {
+  local active
+  active=false
+  no_on=true
+  if [[ ! $(readlink -f /var/lib/bitcoind/wallets) == /q/wallets ]]; then
+    if systemctl --quiet is-active bitcoind; then
+      if [[ -e /tmp/no-bitcoinon ]]; then
+        no_on=true
+      else
+        if [[ $EUID == 0 ]]; then
+          m install -T -o iank -g iank /dev/null /tmp/no-bitcoinon
+        else
+          m touch /tmp/no-bitcoinon
+        fi
+      fi
+      active=true
+      m ser stop bitcoind
+    fi
+    m s ln -s /q/wallets /var/lib/bitcoind
+    sudo chown -h bitcoin:bitcoin /var/lib/bitcoind/wallets
+    if $active; then
+      m ser start bitcoind
+      if ! $no_on; then
+        m rm /tmp/no-bitcoinon
+      fi
+    fi
+  fi
+}
+walletoff() {
+  local active
+  active=false
+  no_on=true
+  if [[ $(readlink -f /var/lib/bitcoind/wallets) == /q/wallets ]]; then
+    if systemctl --quiet is-active bitcoind; then
+      if [[ -e /tmp/no-bitcoinon ]]; then
+        no_on=true
+      else
+        if [[ $EUID == 0 ]]; then
+          m install -T -o iank -g iank /dev/null /tmp/no-bitcoinon
+        else
+          m touch /tmp/no-bitcoinon
+        fi
+      fi
+      active=true
+      m ser stop bitcoind
+    else
+      echo note: bitcoind not active
+    fi
+    m rm /var/lib/bitcoind/wallets
+    if $active; then
+      # note, starting bitcoin always fails, but it actually
+      # succeeds. But this is strangely not consistent.
+      m ser start bitcoind
+      if ! $no_on; then
+        m rm /tmp/no-bitcoinon
+      fi
+    fi
+  fi
+}
 #### end bitcoin related things
 
 
@@ -1216,13 +1997,78 @@ capache()
   fi
 }
 
+
+
+apache-header() {
+  # First paragraph is to avoid people being confused about why a
+  # file is apache licensed.
+  cat <<'EOF'
+# I, Ian Kelling, follow the GNU license recommendations at
+# https://www.gnu.org/licenses/license-recommendations.en.html. They
+# recommend that small programs, < 300 lines, be licensed under the
+# Apache License 2.0. This file contains or is part of one or more small
+# programs. If a small program grows beyond 300 lines, I plan to switch
+# its license to GPL.
+
+# Copyright 2024 Ian Kelling
+
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+
+#     http://www.apache.org/licenses/LICENSE-2.0
+
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
+EOF
+
+}
+
+# apply apache to git tracked bash files + README, except files with A?GPL3 header.
+apache-apply-repo() {
+  for f in $(git ls-files); do
+    [[ -L $f || ! -f $f ]] && continue
+    if [[ $f != README ]]; then
+      if ! grep -n '^#!/bin/bash' $f | grep ^1: &>/dev/null; then continue; fi
+      if  head -n 10 $f | grep 'it under the terms of the GNU General Public License as published by' &>/dev/null; then continue; fi
+    fi
+    apache-apply $f
+  done
+}
+
+apache-apply() {
+  for file; do
+    if head -n1 "$file"| grep -E '^#!/bin/bash\b' &>/dev/null; then
+      {
+        head -n1 "$file"
+        apache-header
+        tail -n+2 "$file"
+      } | sponge "$file"
+    else
+      {
+        apache-header
+        cat "$file"
+      } | sponge "$file"
+    fi
+  done
+}
+# strip out the apache license from a file.
+apache-strip() {
+  # shellcheck disable=SC2044 # meh
+  for f in $(find . -type f -maxdepth 1); do if head -n1 "$f"| grep -E '^#!/bin/bash\b' &>/dev/null; then { head -n 20 $f | tac | sed '/^# limitations under the License.$/,/^# Copyright.*Ian Kelling$/d' | tac; tail -n+21 $f; } |sponge $f; fi ; done
+}
+
 chrome() {
   if type -p chromium &>/dev/null; then
     cmd=chromium
   else
     cd /
     cmd="schroot -c bullseye chromium"
-    CHROMIUM_FLAGS='--enable-remote-extensions' $cmd &r
+    CHROMIUM_FLAGS='--enable-remote-extensions' $cmd & r
   fi
 }
 
@@ -1264,10 +2110,6 @@ digme() {
   digdiff @ns{1,2}.iankelling.org "$@"
 }
 
-tsr() { # ts run
-  "$@" |& ts || return $?
-}
-
 dup() {
   local ran_d
   ran_d=false
@@ -1430,10 +2272,13 @@ fdup() {
 }
 
 firefox-default-profile() {
-  key=Default value=1 section=$1
+  local key value section
+  key=Default
+  value=1
+  section=$1
   file=/p/c/subdir_files/.mozilla/firefox/profiles.ini
   sed -ri "/^ *$key/d" "$file"
-  sed -ri "/ *\[$section\]/,/^ *\[[^]]+\]/{/^\s*$key[[:space:]=]/d};/ *\[$section\]/a $key=$value" "$file"
+  sed -ri "/ *\[$section\]/,/^ *\[[^]]+\]/{/^\s*${key}[[:space:]=]/d};/ *\[$section\]/a $key=$value" "$file"
 }
 fdhome() { #firefox default home profile
   firefox-default-profile Profile0
@@ -1481,11 +2326,13 @@ fsdiff () {
   fi
 }
 fsdiff-test() {
+  local tmpd x
   # expected output, with different tmp dirs
   # /tmp/tmp.HDPbwMqdC9/c/d ./c/d
   # /a/tmp/tmp.qLDkYxBYPM-missing
   # ./b
-  cd $(mktemp -d)
+  tmpd="$(mktemp -d)"
+  cd "$tmpd"
   echo ok > a
   echo nok > b
   mkdir c
@@ -1496,6 +2343,7 @@ fsdiff-test() {
   echo different > $x/c/d
   echo ok > $x/a
   fsdiff $x
+  rm -r "$x" "$tmpd"
 }
 rename-test() {
   # test whether missing files were renamed, generally for use with fsdiff
@@ -1522,7 +2370,7 @@ rename-test() {
 
 feh() {
   # F = fullscren, z = random, Z = auto zoom
-  command feh -FzZ "$@"
+  command feh --auto-rotate -FzZ "$@"
 }
 
 
@@ -1545,7 +2393,7 @@ gpg() {
 }
 
 gse() {
-  local email=ian@iankelling.org
+  local email=iank@fsf.org
   git send-email --notes "--envelope-sender=<$email>" \
       --suppress-cc=self "$@"
 }
@@ -1558,7 +2406,7 @@ hstatus() {
   # do git status on published repos.
   c /a/bin/githtml
   for x in *; do
-    cd $(readlink -f $x)/..
+    cd "$(readlink -f $x)"/..
     status=$(i status -s) || pwd
     if [[ $status ]]; then
       hr
@@ -1569,11 +2417,13 @@ hstatus() {
   done
 }
 
-# work log
+## work log
+#
+# note: database location is specified in ~/.timetrap.yml, currently /p/.timetrap.db
 wlog() {
-  local day now i days_back
+  local day i days_back
   days_back=${1:-16}
-  for (( i=0; i<days_back; i++ )); do
+  for (( i=days_back; i>=0; i-- )); do
     day=$( date +%F -d @$((EPOCHSECONDS - 86400*i )) )
     date "+%a %b %d" -d @$((EPOCHSECONDS - 86400*i )) | tr '\n' ' '
     /a/opt/timetrap/bin/t d -ftotal -s $day -e $day all -m '^w|lunch$'
@@ -1582,27 +2432,152 @@ wlog() {
 to() { t out -a "$@"; }
 ti() { t in -a "$@"; }
 tl() {
+  local in_secs
   to "$*"
   t s lunch
   t in -a "$*"
-  m t out -a $(date +%F.%T -d @$(( $(date -d "$(echo $*|sed 's/[_.]/ /g')" +%s) + 60*45 )) )
+  in_secs="$(date -d "${*//[_.]/ }" +%s)"
+  m t out -a "$(date +%F.%T -d @$(( in_secs + 60*45 )) )"
   t s w
 }
 
-arbttlog() { arbtt-dump "$@" | grep -v '( )\|Current Desktop' | sed -rn '/^[^ ]/{N;s/^(.{21})([0-9]*)[0-9]{3}m.*\(\*/\1\2/;s/^(.{21})[0-9]*.*\(\*/\1/;s/\n//;p}' ;   }
+
+# help me focus. opens 2 windows.
+focus() {
+  /p/c/proc/focus/linux-amd64/focus &
+  watcharb5
+  kill %%
+}
+
+
+# Display a list of the active window title
+# i've been on with 10 second samples going back
+# 5 minutes. If I've been on one window for 10 seconds
+# or longer, then display the second count.
+#
+# Press any key to exit.
+watcharb5() {
+  local char ret
+  killall arbtt-capture &>/dev/null ||:
+  rm -f ~/.arbtt/capture.log
+  arbtt-capture --sample-rate=10 &
+  while true; do
+    arb5
+    ret=0
+    # i first thought to sleep and capture ctrl-c, but it seems we can't
+    # capture control-c, unless maybe we implement the commands in a
+    # separate script or maybe add err-cleanup to err. Anyways, this
+    # method is superior because any single char exits.
+    read -rsN1 -t 5 char || ret=$?
+    if (( ret == 142 )) || [[ ! $char ]]; then
+      # debug
+      #e ret=$ret char=$char
+      :
+    else
+      killall arbtt-capture ||:
+      return 0
+    fi
+  done
+
+}
+
+arb5() {
+  local i j l sec blanks line
+  local -a arbtt_lines
+  if [[ ! -e ~/.arbtt/capture.log ]]; then
+    sleep 5
+  fi
+  blanks=$(( LINES - 34 ))
+  for (( i=0; i < blanks; i++ )); do
+    echo
+  done
+
+  {
+    i=0
+    j=0
+    # https://stackoverflow.com/questions/56486272/how-to-concat-multiple-fields-to-same-line-with-jq
+    arbtt_lines=$(arbtt-dump -l 30 -t json | \
+                    jq -r '.[] | [ ( .inactive  / 1000 | floor ) , ( .windows[] | select (.active == true) |.title) ] | @tsv' | tac)
+    for line in "${arbtt_lines[@]}"; do
+      read -r sec l <<<"$line"
+      if (( j >= LINES )); then
+        break
+      fi
+      if (( i % 6 == 0 && i >= 2 )); then
+        j=$(( j + 1 ))
+        echo "## $(( i / 6 + 1 )) ##"
+      fi
+      if (( sec > 10 )); then
+        printf "%3d %s\n" $sec "$l" | sed -r "s/^(.{$COLUMNS}).*/\1/"
+      else
+        printf "    %s\n" "$l" | sed -r "s/^(.{$COLUMNS}).*/\1/"
+      fi
+      i=$(( i + 1 ))
+      j=$(( j + 1 ))
+    done
+    while (( j < 34 && j < LINES )); do
+      echo
+      j=$(( j + 1 ))
+    done
+  } | tac
+}
+
+arbttlog() {
+  # from the log, show only the currently active window, and the number of
+  # seconds of input inactivity.
+  arbtt-dump "$@" | grep -v '( )\|Current Desktop' | sed -rn '/^[^ ]/{N;s/^(.{21})([0-9]*)[0-9]{3}m.*\(\*/\1\2/;s/^(.{21})[0-9]*.*\(\*/\1/;s/\n//;p}' ;   }
 
 idea() {
-  /a/opt/idea-IC-163.7743.44/bin/idea.sh "$@" &r
+  /a/opt/idea-IC-163.7743.44/bin/idea.sh "$@" & r
 }
 
+ilogs-local() {
+  d=/var/lib/znc/moddata/log/iank/
+  for n in freenode libera; do
+    cd $d/$n
+    hr
+    for x in "#$1/"*; do
+      base=${x##*/}
+      files=()
+      for f in $@; do
+        tmp=\#$f/$base
+        if [[ -e $tmp ]]; then
+          files+=(\#$f/$base)
+        fi
+      done
+      sed \"s/^./${base%log}/\" ${files[@]}|sort -n
+      hr
+    done
+  done
+}
 ilogs() {
-  ssh root@iankelling.org "cd /var/lib/znc/moddata/log/iank/freenode/ && hr && for x in \#$1/*; do base=\${x##*/}; files=(); for f in $@; do tmp=\#\$f/\$base; if [[ -e \$tmp ]]; then files+=(\#\$f/\$base); fi; done; sed \"s/^./\${base%log}/\" \${files[@]}|sort -n; hr; done"
+  sl root@iankelling.org ilogs-local "$@"
 }
 
+
+ilog-local() {
+  local d chan
+  chan="$1"
+  d=/var/lib/znc/moddata/log/iank/
+  for n in freenode libera; do
+    if [[ ! -d $d$n/"$chan" ]]; then
+      continue
+    fi
+    cd $d$n/"$chan"
+    hr
+    for x in *; do
+      # *** are parts and joins and such, and they make reading hard.
+      # I probably will want to see them sometimes, just have to
+      # remove that part.
+      echo $x; sed "s/^./${x%log}/;/\*\*\*/d" $x; hr;
+    done
+  done
+}
 ilog() {
-  chan=${1:-#fsfsys}
+  local chan
+  chan="${1:-#fsfsys}"
   # use * instead of -r since that does sorted order
-  ssh root@iankelling.org "for n in freenode libera; do cd /var/lib/znc/moddata/log/iank/\$n/$chan && hr && for x in *; do echo \$x; sed \"s/^./\${x%log}/\" \$x; hr; done; done" | less +G
+  sl root@iankelling.org ilog-local "$chan" | less +G
 }
 
 o() {
@@ -1627,46 +2602,231 @@ ccomp xdg-open o
 # jr() { journalctl "$@" | jfilter | less ; }
 # jrf() { journalctl -n 200 -f "$@" | jfilter; }
 
-jr() { journalctl "$@" ; }
-jrf() { journalctl -n 200 -f "$@" ; }
 
+## old version for model01. i need to get that firmware working again.
+# kff() { # keyboardio firmware flash. you must hold down the tilde key
+#   pushd /a/opt/Model01-Firmware
+#   # if we didn't want this yes hack, then remove "shell read" from
+#   # /a/opt/Kaleidoscope/etc/makefiles/sketch.mk
+#   yes $'\n' | VERBOSE=1 make flash
+#   popd
+# }
+
+
+kff() {
+  pushd /a/opt/Kaleidoscope/examples/Devices/Keyboardio/Model100
+  make flash
+  popd
+}
+
+wgkey() {
+  local umask_orig name
+  if (( $# != 1 )); then
+    e expected 1 arg >&2
+    return 1
+  fi
+  name=$1
+  umask_orig=$(umask)
+  umask 0077
+  wg genkey | tee $name-priv.key | wg pubkey > $name-pub.key
+  umask $umask_orig
+}
+
+host-info-all() {
+  host-info-update
+  bindpushb8
+  wrt-setup
+}
+
+
+# if you change a host's ip, then run
+# bindpushb8
+# wrt-setup
+host-info-update() {
+
+  local -A vpn_ips host_ips host_macs nonvpn_ips
+  local -a root_hosts nonroot_hosts
+
+  # the hosts with no mac
+  root_hosts=( bk je li b8.nz )
+  for h in ${root_hosts[@]}; do
+    root_hosts+=(${h}ex)
+  done
+  root_hosts+=(cmc)
+
+  while read -r ip host mac opts; do
+    if [[ $ip == *#*  || ! $host ]]; then continue; fi
+    if [[ $opts == vpn ]]; then
+      vpn_ips[$host]=$ip
+    else
+      nonvpn_ips[$host]=$ip
+    fi
+
+
+    if [[ $opts == user=root ]]; then
+      # note: the b8.nz suffix is for the User part, the IdentityFile
+      # part is redundant to *.b8.nz.
+      root_hosts+=($host i$host $host.b8.nz i$host.b8.nz)
+    else
+      nonroot_hosts+=($host i$host)
+    fi
+
+    host_ips[$host]=$ip
+    host_macs[$host]=$mac
+  done </p/c/host-info
+
+  cedit /p/c/subdir_files/.ssh/config <<EOF || [[ $? == 1 ]]
+Host ${nonroot_hosts[@]}
+User iank
+IdentityFile ~/.ssh/home
+
+Host ${root_hosts[@]}
+IdentityFile ~/.ssh/home
+EOF
+
+
+  local host ipsuf f files
+
+  sedi '/edits below here are made automatically/,$d' /p/c/machine_specific/li/filesystem/etc/wireguard/wgmail.conf
+  for host in ${!vpn_ips[@]}; do
+    ipsuf=${vpn_ips[$host]}
+    wghole $host $ipsuf
+    u /a/bin/ds/machine_specific/$host/filesystem/etc/systemd/system/openvpn-client-tr@.service <<EOF
+[Unit]
+Description=OpenVPN tunnel for %I
+After=syslog.target network-online.target
+Wants=network-online.target
+Documentation=man:openvpn(8)
+Documentation=https://community.openvpn.net/openvpn/wiki/Openvpn24ManPage
+Documentation=https://community.openvpn.net/openvpn/wiki/HOWTO
+Requires=iptables.service
+
+[Service]
+Type=notify
+RuntimeDirectory=openvpn-client
+RuntimeDirectoryMode=0710
+WorkingDirectory=/etc/openvpn/client
+ExecStart=/usr/sbin/openvpn --suppress-timestamps --nobind --config /etc/openvpn/client/%i.conf
+# todo, try reenabling this from the default openvpn,
+# it was disabled so we could do bind mounts as a command,
+# but now systemd handles it
+#CapabilityBoundingSet=CAP_IPC_LOCK CAP_NET_ADMIN CAP_NET_RAW CAP_SETGID CAP_SETUID CAP_SYS_CHROOT CAP_DAC_OVERRIDE
+LimitNPROC=10
+# DeviceAllow=/dev/null rw
+# DeviceAllow=/dev/net/tun rw
+
+# we use .1 to make this be on a different network than kd, so that we can
+# talk to transmission on kd from remote host, and still use this
+# vpn.
+ExecStartPre=/usr/bin/flock -w 20 /tmp/newns.flock /a/bin/newns/newns -n 10.174.$ipsuf start %i
+ExecStartPre=/sbin/iptables-restore /a/bin/distro-setup/transmission-firewall/netns.rules
+# allow wireguard network to connect
+ExecStartPre=/usr/sbin/ip r add 10.8.0.0/24 via 10.174.$ipsuf.1 dev veth1-client
+ExecStopPost=/usr/bin/flock -w 20 /tmp/newns.flock /a/bin/newns/newns stop %i
+PrivateNetwork=true
+BindReadOnlyPaths=/etc/tr-resolv:/run/systemd/resolve:norbind /etc/basic-nsswitch:/etc/resolved-nsswitch:norbind
+
+[Install]
+WantedBy=multi-user.target
+EOF
+  done
+
+  {
+    echo "cat <<EOF"
+    for host in ${!host_ips[@]}; do
+      ipsuf=${host_ips[$host]}
+      echo 'local-data-ptr: "$l.'$ipsuf $host.b8.nz'"'
+    done
+    echo "EOF"
+  } | u /p/c/ptr-data
+
+  {
+    echo "cat <<EOF"
+    for host in ${!host_ips[@]}; do
+      ipsuf=${host_ips[$host]}
+      echo "dhcp-host=${host_macs[$host]},set:$host,\$l.$ipsuf,$host"
+    done
+    echo "EOF"
+  } | u /p/c/dnsmasq-data
+
+  {
+    for host in ${!nonvpn_ips[@]}; do
+      ipsuf=${nonvpn_ips[$host]}
+      echo "$host      A       10.2.0.$ipsuf"
+    done
+    for host in ${!vpn_ips[@]}; do
+      ipsuf=${vpn_ips[$host]}
+      cat <<EOF
+$host  A       10.2.0.$ipsuf
+${host}wg      A       10.8.0.$ipsuf
+${host}vp      A       10.5.5.$ipsuf
+${host}tr      A       10.174.$ipsuf.2
+EOF
+    done
+  } | cedit vpn-ips-update /p/c/machine_specific/vps/bind-initial/db.b8.nz ||:
+
+
+  echo checking for stray files:
 
-ccomp journalctl jtail jr jrf
+  initial_dir=$PWD
+  cd /a/bin/ds/machine_specific
+  ngset
+  files=( */filesystem/etc/systemd/system/openvpn-client-tr@.service )
+  ngreset
+  cd $initial_dir
+  for f in "${files[@]}"; do
+    host=${f%%/*}
+    if [[ ! ${vpn_ips[$host]} ]]; then
+      e rm /a/bin/ds/machine_specific/$host/filesystem/etc/systemd/system/openvpn-client-tr@.service
+    fi
+  done
 
-kff() { # keyboardio firmware flash. you must hold down the tilde key
-  pushd /a/opt/Model01-Firmware
-  # if we didn't want this yes hack, then remove "shell read" from
-  # /a/opt/Kaleidoscope/etc/makefiles/sketch.mk
-  yes $'\n' | VERBOSE=1 make flash
-  popd
+  cd /p/c/machine_specific
+  ngset
+  files=( */filesystem/etc/wireguard/wghole.conf )
+  ngreset
+  cd $initial_dir
+  for f in "${files[@]}"; do
+    host=${f%%/*}
+    if [[ ! ${vpn_ips[$host]} ]]; then
+      e rm /p/c/machine_specific/$host/filesystem/etc/wireguard/wghole.conf
+    fi
+  done
 }
 
-wgkey() {
-  local umask_orig name
-  if (( $# != 1 )); then
-    e expected 1 arg >&2
-    return 1
-  fi
-  name=$1
-  umask_orig=$(umask)
-  umask 0077
-  wg genkey | tee $name-priv.key | wg pubkey > $name-pub.key
-  umask $umask_orig
-}
+# usage host ipsuf [extrahost]
+#
+# If the keys already exist and you want new ones, remove them:
+# rm /p/c/machine_specific/$host/filesystem/etc/wireguard/hole-{priv,pub}.key
+#
+# extrahost is a host/cidr that is allowed to go be routed through the
+# vpn by this host.
 wghole() {
-  if (( $# != 2 )); then
-    e expected 2 arg of hostname, ip suffix >&2
+  if (( $# < 2 || $# > 3 )); then
+    e expected 2-3 arg of hostname, ip suffix, and extrahost >&2
     return 1
   fi
-  local host ipsuf umask_orig
+  local host ipsuf umask_orig vpn_allowed
   host=$1
   ipsuf=$2
+  if [[ $3 ]]; then
+    extrahost=,$3
+  fi
+  for vpn_host in ${!vpn_ips[@]}; do
+    if [[ $vpn_host == "$host" ]]; then
+      continue
+    fi
+    vpn_allowed+=",10.174.${vpn_ips[$vpn_host]}.2/32"
+  done
   mkdir -p /p/c/machine_specific/$host/filesystem/etc/wireguard
-  cd /p/c/machine_specific/$host/filesystem/etc/wireguard
-  umask_orig=$(umask)
-  umask 0077
-  wg genkey | tee hole-priv.key | wg pubkey > hole-pub.key
-  cat >wghole.conf <<EOF
+  (
+    cd /p/c/machine_specific/$host/filesystem/etc/wireguard
+    umask_orig=$(umask)
+    umask 0077
+    if [[ ! -s hole-priv.key || ! -s hole-pub.key ]]; then
+      wg genkey | tee hole-priv.key | wg pubkey > hole-pub.key
+    fi
+    cat >wghole.conf <<EOF
 [Interface]
 # contents hole-priv.key
 PrivateKey = $(cat hole-priv.key)
@@ -1674,24 +2834,24 @@ ListenPort = 1194
 Address = 10.8.0.$ipsuf/24
 # https://dev.to/tangramvision/what-they-don-t-tell-you-about-setting-up-a-wireguard-vpn-1h2g
 # ||: makes the systemd service not fail due to the failed command
-PostUp = ping -c1 10.8.0.1 ||:
+PostUp = ping -w10 -c1 10.8.0.1 ||:
 
 [Peer]
 # li. called wgmail on that server
 PublicKey = CTFsje45qLAU44AbX71Vo+xFJ6rt7Cu6+vdMGyWjBjU=
-AllowedIPs = 10.8.0.0/24
+AllowedIPs = 10.8.0.0/24$vpn_allowed$extrahost
 Endpoint = 72.14.176.105:1194
 PersistentKeepalive = 25
 EOF
-  umask $umask_orig
-  # old approach. systemd seems to work fine and cleaner.
-  rm -f ../network/interfaces.d/wghole
-  cedit -q $host /p/c/machine_specific/li/filesystem/etc/wireguard/wgmail.conf <<EOF || [[ $? == 1 ]]
+    umask $umask_orig
+    # old approach. systemd seems to work fine and cleaner.
+    rm -f ../network/interfaces.d/wghole
+    cedit -q $host /p/c/machine_specific/li/filesystem/etc/wireguard/wgmail.conf <<EOF || [[ $? == 1 ]]
 [Peer]
 PublicKey = $(cat hole-pub.key)
-AllowedIPs = 10.8.0.$ipsuf/32
+AllowedIPs = 10.8.0.$ipsuf/32,10.174.${vpn_ips[$host]}.2/32
 EOF
-  cd - >/dev/null
+  )
 }
 
 
@@ -1712,12 +2872,49 @@ mns() { # mount namespace
   m sudo -E /usr/bin/nsenter --mount=/root/mount_namespaces/$ns "$@"
 }
 
+mnsd() { # mount namespace + systemd namespace
+  ns=$1
+  unit=$2
+  shift 2
+
+  s mkdir -p /root/mount_namespaces
+  if ! sudo mountpoint /root/mount_namespaces >/dev/null; then
+    m sudo mount --bind /root/mount_namespaces /root/mount_namespaces
+  fi
+  m sudo mount --make-private /root/mount_namespaces
+  if [[ ! -e /root/mount_namespaces/$ns ]]; then
+    m sudo touch /root/mount_namespaces/$ns
+  fi
+  if ! sudo mountpoint /root/mount_namespaces/$ns >/dev/null; then
+    m sudo unshare --propagation slave --mount=/root/mount_namespaces/$ns /bin/true
+  fi
+
+  pid=$(servicepid $unit)
+  tmpf=$(mktemp --tmpdir $unit.XXXXXXXXXX)
+  export -p >$tmpf
+  printf "%s " "${@@Q}" >>$tmpf
+  echo >>$tmpf
+
+  m sudo nsenter -t $pid -n --mount=/root/mount_namespaces/$ns sudo -u $USER -i bash -c ". $tmpf & sleep 1; rm $tmpf"
+}
+
+
 mnsr() { # mns run
   local ns=$1
   shift
   mns $ns sudo -u iank -E env "PATH=$PATH" "$@"
 }
 
+mnsnonetr() {
+  ns=$1
+  lomh
+  if ! s ip netns list | grep -Fx nonet &>/dev/null; then
+    s ip netns add nonet
+  fi
+  mns $ns --net=/var/run/netns/nonet /bin/bash
+  lomh
+}
+
 mnsnonet() {
   ns=$1
   lomh
@@ -1732,6 +2929,10 @@ mnsnonet() {
 lom() {
   # l = the loopback device
   local l base
+  # get sudo pass cached right away
+  if ! sudo -nv 2>/dev/null; then
+    sudo -v
+  fi
   if [[ $1 == /* ]]; then
     base=${1##*/}
     fs_file=$1
@@ -1808,7 +3009,7 @@ mdenable() {
 
   two=false
   case $1 in
-    -2) two=true shift ;;
+    -2) two=true; shift ;;
   esac
 
   for md; do
@@ -1889,6 +3090,9 @@ mpvgpu() {
 mpvd() {
   mpv --profile=d "$@";
 }
+mpva() {
+  mpv --profile=a "$@";
+}
 # mpv all media files in . or $1
 mpvm() {
   local -a extensions arg
@@ -1946,31 +3150,173 @@ mpvs() {
 
 myirc() {
   if [[ ! $1 ]]; then
-    set -- fsf-office
+    set -- fsfsys
   fi
-  local d1 d2
+  local -a d
   d=( /var/lib/znc/moddata/log/iank/{freenode,libera} )
   # use * instead of -r since that does sorted order
-  ssh root@iankelling.org "for f in ${d[@]}; do cd \$f/#$1; grep '\<iank.*' *; done" | cut --complement -c12-16
-}
-mypidgin() {
-  c /p/c/.purple/logs/jabber/iank@fsf.org/office@conference.fsf.org.chat
-  for x in *.html; do html2text -o ${x%.html}.txt $x; done;
-  grep -A1 ') iank:' *.txt | sed -r 's/^(.{10})[^ ]*\.txt:\(?([^ ]*)[[:space:]](..). iank:/\1_\2_\3/;s/^[^ ]*\.txt-//;/^--$/d;s/^[^ ]*\.txt:\((.{2}).(.{2}).(.{4}) (.{8}) (.{2})\)?/\3-\1-\2_\4_\5/' | sed -n 'x;1d;0~2{G;s/\n/ /;p};${x;p}'
+  ssh root@iankelling.org "for f in ${d[*]}; do cd \$f/#$1; grep '\<iank.*' *; done" | cut --complement -c12-16
 }
+
+
 allmyirc() {
   local d
   d=/var/lib/znc/moddata/log/iank/freenode
   ssh root@iankelling.org "cd $d; find . -mtime -60 -type f -exec grep '\<iank.*' {} +" | sed -r 's,^..([^/]*)/(.{11})(.{5})(.{8}).,\2\4 \1,' | sort
 }
 
+# The way pidgin logs with xmpp (maybe related to running cheogram too)
+# is that there are sometimes duplicates, and sometimes the a log file
+# is for a specific day yet logs messages for subsequent days, and the
+# only way to realize that is to notice that the timestamps rolled over
+# into a new day, you can't see it in isolation. So, basically, pidgin
+# logs are really annoying to read a grep of my messages to find the
+# date and time I said when I started and stopped working, so I'm trying
+# out a new client: profanity.
+mypidgin() {
+  c /p/c/.purple/logs/jabber/iank@fsf.org/office@conference.fsf.org.chat
+  for x in *.html; do html2text -o ${x%.html}.txt $x; done;
+  # shellcheck disable=SC2016 # false positive on ${
+  grep -A1 ') iank:' ./*.txt \
+    | sed -r 's/^(.{10})[^ ]*\.txt:\(?([^ ]*)[[:space:]](..). iank:/\1_\2_\3/
+s/^[^ ]*\.txt-//
+/^--$/d
+s/^[^ ]*\.txt:\((.{2}).(.{2}).(.{4}) (.{8}) (.{2})\)?/\3-\1-\2_\4_\5/' \
+    | sed -n 'x;1d;0~2{G;s/\n/ /;p};${x;p}'
+}
+
+# my profanity
+#
+myprof() {
+  pushd /home/iank/.local/share/profanity/chatlogs/iank_at_fsf.org/rooms/office_at_conference.fsf.org
+  logs=(*)
+  logcount=${#logs[@]}
+  if (( logcount > 15 )); then
+    i=$(( logcount - 15 ))
+  else
+    i=0
+  fi
+  # usually do this on monday, sometimes later
+  if [[ $(date +%A) == Monday ]]; then
+    min_date=$(date -d 'monday 2 weeks ago' +%s)
+  else
+    min_date=$(date -d 'monday 3 weeks ago' +%s)
+  fi
+  for (( ; i < logcount; i++ )); do
+    log=${logs[$i]}
+    d=$(date -d "$(head -n1 $log|awk '{print $1}')" +%s)
+    if (( d < min_date )); then
+      continue
+    fi
+    if awk '$3 == "iank:"' $log | sed -r 's/^(.{10}).(.{8})[^ ]+(.*)/\1_\2\3/' | grep .; then
+      hr
+    fi
+  done
+  popd
+}
+
+
+# Tail all recent prof logs. Copying from profanity has unwanted line breaks
+# especially for links.
+profr() {
+  case $HOSTNAME in
+    kd)
+      profr-local
+      ;;
+    *)
+      ssh b8.nz profr-local
+      ;;
+  esac
+}
+
+profr-local() {
+  local d0 d1
+  local -a files
+  d0="$(date +%Y_%m_%d).log"
+  d1="$(date -d '1 day ago' +%Y_%m_%d).log"
+  ngset
+  files=(/d/p/profanity/chatlogs/iank_at_fsf.org/{*,rooms/*}/{$d0,$d1})
+  ngreset
+  if (( ${#files[@]} > 0 )); then
+    cat "${files[@]}" | sort | tail -n 40
+  fi
+}
+
+
+# Tail pms in the last day, for the case where we restart profanity and
+# didn't check for pms beforehand. Assume the most recent logs are on kd.
+# If that isn't the case, use prof-recent-local
+prof-recent() {
+  case $HOSTNAME in
+    kd)
+      prof-recent-local
+      ;;
+    *)
+      ssh b8.nz prof-recent-local
+      ;;
+  esac
+}
+prof-recent-local() {
+  local d dates date files f
+  # consider making the day count passed by parameter. note: this works: $(date -d '2 day ago' +%Y_%m_%d)
+  dates=("$(date +%Y_%m_%d)" "$(date -d '1 day ago' +%Y_%m_%d)" )
+  for d in /d/p/profanity/chatlogs/iank_at_fsf.org/!(rooms); do
+    files=()
+    for date in ${dates[@]}; do
+      f=$d/$date.log
+      if [[ -e $f ]]; then
+        files+=($f)
+      fi
+    done
+    if (( ${#files[@]} >= 1 )); then
+      cat ${files[@]} | tail
+      hr
+    fi
+  done
+}
+
+prof-sort() {
+  case $HOSTNAME in
+    kd)
+      prof-recent-sort
+      ;;
+    *)
+      ssh b8.nz prof-recent-sort
+      ;;
+  esac
+}
+
+prof-recent-sort() {
+  local d dates date files f
+  # consider making the day count passed by parameter. note: this works: $(date -d '2 day ago' +%Y_%m_%d)
+  dates=("$(date +%Y_%m_%d)" "$(date -d '1 day ago' +%Y_%m_%d)" )
+  files=()
+  for d in /d/p/profanity/chatlogs/iank_at_fsf.org/!(rooms); do
+    for date in ${dates[@]}; do
+      f=$d/$date.log
+      if [[ -e $f ]]; then
+        files+=($f)
+      fi
+    done
+  done
+  for f in "${files[@]}"; do
+    sed "s/\$/ $f/" $f
+  done | sort
+}
+
+
 # usage: debvm DEBIAN_VERSION RAM_MB
 debvm() {
   local ver ram fname src
   ver=$1
   ram=${2:-2024}
-  # * is because it might have -backports in the name
-  fname=debian-$ver-*nocloud-$(dpkg --print-architecture).qcow2
+  # * is because it might have -backports in the name. we only expect 1 expansion
+  fnames=( debian-$ver-*nocloud-"$(dpkg --print-architecture)".qcow2 )
+  if (( ${#fnames[@]} >= 2 )); then
+    echo "error: iank: unexpected multiple files"
+    return 1
+  fi
+  fname="${fnames[0]}"
   src=/a/opt/roms/$fname
   if [[ ! -f $src ]]; then
     echo debvm: not found $src, download from eg: https://cloud.debian.org/images/cloud/buster/latest/
@@ -2050,10 +3396,19 @@ ngo() {
 otp() {
   oathtool --totp -b "$*" | xclip -selection clipboard
 }
+# run cmd and copy output
 j() {
-  "$@" |& pee "xclip -r -selection clipboard"
+  "$@" |& pee "xclip -r -selection clipboard" cat
 }
 
+# xorg copy. copy text piped into command
+xc() {
+  xclip -r -selection clipboard
+}
+# echo copy
+ec() {
+  pee "xclip -r -selection clipboard" cat
+}
 
 pakaraoke() {
   # from http://askubuntu.com/questions/456021/remove-vocals-from-mp3-and-get-only-instrumentals
@@ -2217,16 +3572,11 @@ spd() {
 }
 
 spamf() { # spamtest on FILE
-  local spamcpre spamdpid
-
   if (( $# != 1 )); then
     e spamtest error: expected 1 arg, filename >&2
     return 1
   fi
-
-  spamdpid=$(systemctl status spamassassin| sed -n '/^ *Main PID:/s/[^0-9]//gp')
-  spamcpre="nsenter -t $spamdpid -n -m"
-  s $spamcpre sudo -u Debian-exim spamassassin -t --cf='score PYZOR_CHECK 0' <"$1"
+  sdncmdroot spamassassin sudo -u Debian-exim spamassassin -t --cf='score PYZOR_CHECK 0' <"$1"
 }
 
 
@@ -2271,7 +3621,7 @@ To: alerts@iankelling.org
 Subject: $*
 EOF
   else
-    read sub
+    read -r sub
     { cat <<EOF
 From: alertme@b8.nz
 To: alerts@iankelling.org
@@ -2290,7 +3640,7 @@ To: daylert@iankelling.org
 Subject: $*
 EOF
   else
-    read sub
+    read -r sub
     { cat <<EOF
 From: alertme@b8.nz
 To: daylert@iankelling.org
@@ -2360,7 +3710,8 @@ weblert() {
 
 torshell() {
   # per man torsocks
-  source `type -p torsocks` on
+  # shellcheck disable=SC1090 # expected
+  source "$(type -p torsocks)" on
 }
 
 eless2() {
@@ -2386,9 +3737,12 @@ testexim() {
   #
   # -t = get recipient from header
   exim -d -t <<EOF
-From: root@$(hostname -f)
-To: root@$(hostname -f)
-Subject: test2
+From: ian@iankelling.org
+To: submit@b.b8.nz
+Subject: testbug1
+
+Package: test
+Version:1
 
 This is a test message.
 EOF
@@ -2428,10 +3782,15 @@ tk() {
 tm() {
   # timer in minutes
   # --no-config
-  (sleep $(calc "$* * 60") && mpv --no-config --volume 50 /a/bin/data/alarm.mp3) > /dev/null 2>&1 &
+  (sleep "$(calc "$* * 60")" && mpv --no-config --volume 50 /a/bin/data/alarm.mp3) > /dev/null 2>&1 &
 }
 
+## usage: to connect to my main transmission daemon from a different host, run this
+trans-remote-route() {
+  :
+}
 trg() { transmission-remote-gtk & r; }
+# TODO: this wont work transmission.lan doesnt exist
 trc() {
   # example, set global upload limit to 100 kilobytes:
   # trc -u 100
@@ -2461,16 +3820,16 @@ tu() {
   $s /a/exe/teeu "$@"
 }
 
+# execute exim in its namespace. Useful args like -Mrm
 enn() {
   local ecmd pid
 
   ecmd="/usr/sbin/exim4 -C /etc/exim4/my.conf"
   if ip a show veth1-mail &>/dev/null; then
     s $ecmd "$@"
-    return
+  else
+    sdncmdroot exim4 $ecmd "$@"
   fi
-  pid=$(pgrep -f "/usr/sbin/exim4 -bd -q30m -C /etc/exim4/my.conf"|h1)
-  m s nsenter -t $pid -n -m $ecmd "$@"
 }
 
 # get pid of systemd service
@@ -2512,7 +3871,7 @@ sdnbash() { # systemd namespace bash
   m sudo nsenter -t $pid -n -m sudo -u $USER -i bash
 }
 
-sdnbashroot() { # systemd namespace bash
+sdnbashroot() { # systemd namespace bash as root
   local unit pid
   if (( $# != 1 )); then
     echo $0: error wrong number of args >&2
@@ -2524,16 +3883,34 @@ sdnbashroot() { # systemd namespace bash
 }
 
 
-sdncmd() { # systemd namespace cmd
+# systemd namespace cmd
+# usage: UNIT CMD...
+sdncmd() {
+  local unit pid tmpf
+  if (( $# <= 1 )); then
+    echo $0: error wrong number of args >&2
+    return 1
+  fi
+  unit=$1
+  shift
+  pid=$(servicepid $unit)
+  tmpf=$(mktemp --tmpdir $unit.XXXXXXXXXX)
+  export -p >$tmpf
+  printf "%s " "${@@Q}" >>$tmpf
+  echo >>$tmpf
+  m sudo nsenter -t $pid -n -m sudo -u $USER -i bash -c ". $tmpf & rm $tmpf"
+}
+
+sdncmdroot() { # systemd namespace root command
   local unit pid
-  if (( $# <= 2 )); then
+  if (( $# < 2 )); then
     echo $0: error wrong number of args >&2
     return 1
   fi
   unit=$1
   shift
   pid=$(servicepid $unit)
-  m sudo nsenter -t $pid -n -m sudo -u $USER -i "$@"
+  m sudo nsenter -t $pid -n -m "$@"
 }
 
 
@@ -2547,13 +3924,7 @@ mailnnbash() {
 # }
 
 eximbash() {
-  local pid
-  pid=$(pgrep -f "/usr/sbin/exim4 -bd -q30m -C /etc/exim4/my.conf"|h1)
-  if [[ ! $pid ]]; then
-    echo "eximbash: failed to find exim pid. systemctl -n 30 status exim4:"
-    systemctl status exim4
-  fi
-  m sudo nsenter -t $pid -n -m
+  sdnbashroot exim4
 }
 spamnn() {
   local spamdpid
@@ -2561,7 +3932,7 @@ spamnn() {
   m sudo nsenter -t $spamdpid -n -m sudo -u Debian-exim spamassassin "$@"
 }
 unboundbash() {
-  m sudo nsenter -t $(systemctl status unbound| sed -n '/^ *Main PID:/s/[^0-9]//gp') -n -m sudo -u $USER -i bash
+  sdnbashroot unbound
 }
 
 nmtc() {
@@ -2595,14 +3966,13 @@ mailnncheck() {
 
 
 vpncmd() {
-  m sudo -E env "PATH=$PATH" nsenter -t $(pgrep -f "/usr/sbin/openvpn .* --config /etc/openvpn/.*client.conf") -n "$@"
+  sdncmd openvpn-client-tr@client.service "$@"
 }
-
 vpni() {
-  vpncmd sudo -u iank env "PATH=$PATH" "$@"
+  sdncmd openvpn-client-tr@client.service bash
 }
 vpnbash() {
-  vpncmd bash
+  sdncmdroot openvpn-client-tr@client.service bash
 }
 
 
@@ -2636,6 +4006,37 @@ fixu() {
   fi
 }
 
+# unmute
+um() {
+  local sink card
+  sink=$(pactl get-default-sink)
+  if [[ $sink == auto_null ]]; then
+    # guessing there is just one with an off profile. otherwise we will
+    # need some other solution, like storing the card identifier that we
+    # muted with nap.
+    card=$(pacmd list-cards | sed -n '/^[[:space:]]*index:/{s/^[[:space:]]*index://;h};/^[[:space:]]*active profile: <off>$/{g;p;q}')
+    m pacmd set-card-profile "$card" output:analog-stereo
+  fi
+
+  m pactl set-sink-mute @DEFAULT_SINK@ false
+  rm -f /tmp/ianknap
+}
+
+nap() {
+  local sink card
+  sink=$(pactl get-default-sink)
+  card="${sink%.*}"
+  card="${card/output/card}"
+  m pacmd set-card-profile "$card" off
+
+  # clicking on a link in a browser can cause unmute.
+  # I don't want that. So, use a stronger form of mute
+  # than this.
+  #pactl set-sink-mute @DEFAULT_SINK@ true
+  touch /tmp/ianknap
+}
+
+
 # systemctl is-enabled / status / cat says nothing, instead theres
 # some obscure symlink. paths copied from man systemd.unit.
 # possibly also usefull, but incomplete, doesnt show units not loaded in memory:
@@ -2702,7 +4103,7 @@ sysd-deps() {
 
 fixvpndns() {
   local link istls
-  read _ link _ istls < <(resolvectl dnsovertls tunfsf)
+  read -r _ link _ istls < <(resolvectl dnsovertls tunfsf)
   case $istls in
     yes|no) : ;;
     *) echo fixvpndns error: unexpected istls value: $istls >&2; return 1 ;;
@@ -2723,19 +4124,45 @@ vpnoffc() { # vpn off client
   ser stop openvpn-client-tr@client
 }
 vpnc() {
-  ser start openvpn-client-tr@client
+  local unit
+  unit=openvpn-client-tr@client
+  sudo -v
+  if [[ $(systemctl is-active $unit) != active ]]; then
+    s systemctl start $unit
+    sleep 1
+  fi
 }
 
 
 vspicy() { # usage: VIRSH_DOMAIN
   # connect to vms made with virt-install
-  spicy -p $(sudo virsh dumpxml "$1"|grep "<graphics.*type='spice'"|\
-               sed -r "s/.*port='([0-9]+).*/\1/")
+  spicy -p "$(sudo virsh dumpxml "$1"|grep "<graphics.*type='spice'"|\
+               sed -r "s/.*port='([0-9]+).*/\1/")"
 }
 
 wian() {
   cat-new-files /m/4e/INBOX/new
 }
+wakehours() {
+  local sec
+  if (( $# != 1 )) ; then
+    echo wakehours: error: expected 1 arg, got $# >&2
+    return 1
+  fi
+  sec=$(( EPOCHSECONDS -  $( date +%s -d $1am ) ))
+  printf "%d:%02d\n" $(( sec / 60 / 60)) $(( (sec / 60) % 60 ))
+}
+
+calvis() { # calendar visualize
+  install -m 600 /dev/null /tmp/calendar-bytes
+  while read -r l; do
+    for char in $l; do
+      # shellcheck disable=SC2059 # intentional for the hex formatting
+      printf "\x$(printf "%x" $char)" >>/tmp/calendar-bytes
+    done
+  done < <(grep -v '[#-]' /p/calendar-data)
+  /p/c/proc/calendar/linux-amd64/calendar
+}
 
 wtr() { curl wttr.in/boston; }
 
@@ -2748,12 +4175,6 @@ vrun() {
   "$@"
 }
 
-f=/a/f/ansible-configs/files/common/etc/fsf-workstation-bashrc.sh
-if [[ -e $f ]]; then
-  # shellcheck disable=SC1090
-  source $f
-fi
-
 electrum() {
   # https://electrum.readthedocs.io/en/latest/tor.html
   # https://github.com/spesmilo/electrum-docs/issues/129
@@ -2765,6 +4186,106 @@ monero() {
 }
 
 
+# grep + find
+gef() {
+  faf | grep -E "$@" ||:
+  rgv "$@"
+}
+
+# rg my main files
+rgm() {
+  rg "$@" /p/w.org /a/t.org /a/work.org /b
+}
+
+# re all my files more expansively
+rem() {
+  local paths
+  paths="/p/c /b/"
+  find $paths -not \( -name .svn -prune -o -name .git -prune \
+       -o -name .hg -prune -o -name .editor-backups -prune \
+       -o -name .undo-tree-history -prune \) 2>/dev/null | grep -iP --color=auto -- "$*" ||:
+  rgv $local_rgv_args -g "!bash_unpublished" -- "$*" $paths /a/work.org ||:
+}
+reml() { # rem with limit to 5 matches per file
+  local_rgv_args="-m 5"
+  rem "$@"
+}
+
+rep() {
+  local paths
+  paths="/p/c"
+  find $paths -not \( -name .svn -prune -o -name .git -prune \
+       -o -name .hg -prune -o -name .editor-backups -prune \
+       -o -name .undo-tree-history -prune \) 2>/dev/null | grep -iP --color=auto -- "$*" ||:
+  rgv $local_rgv_args -- "$*" $paths /a/t.org /p/w.org ||:
+}
+repl() { # rem with limit to 5 matches per file
+  local local_rgv_args="-m 5"
+  rem "$@"
+}
+
+
+# re on common fsf files
+ref() {
+  local paths
+  paths="/f/gluestick /f/brains /f/s /c"
+  find $paths -not \( -name .svn -prune -o -name .git -prune \
+       -o -name .hg -prune -o -name .editor-backups -prune \
+       -o -name .undo-tree-history -prune \) 2>/dev/null | grep -iP --color=auto -- "$*" ||:
+  rgv -- "$*" $paths /a/work.org ||:
+}
+
+
+# for use in /f/bind
+fupzone() {
+  # shellcheck disable=SC2046 # i want word splitting
+  ./update-zone $(i s | sed -rn 's/.*db\.(.*)/\1/p')
+}
+
+# setup:
+# pip3 install linode-cli
+# linode-cli
+livp9() {
+  local input ip id tmp
+  input=$1
+  if [[ $2 ]]; then
+    id=$2
+    ip=$3
+  else
+    tmp=$(mktemp)
+    echo $tmp
+    linode-cli --json --pretty linodes create --root_pass loxHuceygomGisun | tee $tmp
+    read -r ip id <<<"$(tail -n+2 $tmp | jq -r '.[0].ipv4[0] , .[0].id')"
+    for string in $ip $id; do
+      case $string in
+        [0-9]*) : ;;
+        *)
+          echo "livp9: bad value ip=$ip id=$id input=$input"
+          return 1
+          ;;
+      esac
+    done
+    rm $tmp
+
+    while true; do
+      if timeout 4 ssh $ip :; then
+        break
+      fi
+      sleep 3
+    done
+  fi
+  ssh $ip <<EOF
+apt-get -qq update
+apt-get -qq -y install ffmpeg rsync
+mkdir vp9
+EOF
+  m rsync $input $ip:
+  m ssh $ip ffmpeg -nostdin -hide_banner -loglevel error -i $input -g 192 -vcodec libvpx-vp9 -vf scale=-1:720 -max_muxing_queue_size 9999  -b:v 750K -pass 1 -an -f null /dev/null
+  m ssh $ip ffmpeg -nostdin -hide_banner -loglevel error -y -i $input -g 192 -vcodec libvpx-vp9 -tile-rows 2 -vf scale=-1:720 -max_muxing_queue_size 9999 -b:v 750K -pass 2 -c:a libvorbis -qscale:a 5 vp9/$input
+  rsync $ip:vp9/$input vp9
+  linode-cli linodes delete $id
+}
+
 reset-konsole() {
   # we also have a file in /a/c/...konsole...
   local f=$HOME/.config/konsolerc
@@ -2850,9 +4371,6 @@ mypyenvinit () {
 }
 
 
-export GOPATH=$HOME/go
-path-add $GOPATH/bin
-path-add /usr/local/go/bin
 
 # I have the git repo and a release. either one should work.
 # I have both because I was trying to solve an issue that
@@ -2873,7 +4391,7 @@ path-add --end $HOME/.cargo/bin
 if type -P rg &>/dev/null; then
   # --no-messages because of annoying errors on broken symlinks
   # -z = search .gz etc files
-  # -. = search dotfilesq
+  # -. = search dotfiles
   rg() { command rg -. -z --no-messages -L -i -M 900 --no-ignore-parent --no-ignore-vcs -g '!.git' -g '!auto-save-list' -g '!.savehist' "$@" || return $?; }
   #fails if not exist. ignore
   complete -r rg 2>/dev/null ||:
@@ -2881,7 +4399,74 @@ else
   alias rg=grr
 fi
 
+# rg with respecting vcs ignore files
+rgv() {
+  ret=0
+  # settings that are turned off for pipes, keep them on.
+  # Found by searching for "terminal" in --help
+  # --heading
+  # -n
+  #
+  # -. = search dotfiles
+  # -z = search zipped files
+  # -i = case insensitive
+  # -M = max columns
+  # --no-messages because of annoying errors on broken symlinks
+  # --no-ignore-parent because i have /a/.git which ignores almost everything under it.
+  command rg -n --heading -. -z --no-messages -i -M 900 --no-ignore-parent -g '!.git' -g '!auto-save-list' -g '!.savehist' "$@" || ret=$?
+  return $ret
+}
+
+amall() {
+  echo "$(tput setaf 5 2>/dev/null ||:)█ coresite █$(tput sgr0 2>/dev/null||:)"
+  amfsf "$@"
+  echo "$(tput setaf 5 2>/dev/null ||:)█ office █$(tput sgr0 2>/dev/null||:)"
+  amoffice "$@"
+}
+amallq() { # amall quiet
+  amfsf "$@"
+  amoffice "$@"
+}
+amfsf() {
+  sedi -r '/alertmanager.url/s/@prom.office/@prom/' ~/.config/amtool/config.yml
+  amtool "$@"
+}
+amoffice() {
+  sedi -r '/alertmanager.url/s/@prom.fsf/@prom.office.fsf/' ~/.config/amtool/config.yml
+  amtool "$@"
+}
+amls() {
+  amall silence query "$@"
+}
+# amtool silence add
+amsa() {
+  amall silence add "$@"
+}
+# amtool silence force
+amsf() {
+  amall silence add x!="1"
+}
+amrmall() {
+  # note: not sure if quoting of this arg is correct
+  amfsf silence expire "$(amfsf silence query -q)"
+  amoffice silence expire "$(amoffice silence query -q)"
+}
+
+
+youtube-dl-update() {
+  sudo wget https://yt-dl.org/downloads/latest/youtube-dl -O /usr/local/bin/youtube-dl
+  sudo chmod a+rx /usr/local/bin/youtube-dl
+}
+
+# https://github.com/yt-dlp/yt-dlp/wiki/Installation
+yt-dlp-update() {
+  sudo curl -L https://github.com/yt-dlp/yt-dlp/releases/latest/download/yt-dlp -o /usr/local/bin/yt-dlp
+  sudo chmod a+rx /usr/local/bin/yt-dlp  # Make executable
+}
 
+mpvyt() {
+  mpv --ytdl ytdl_path=/usr/local/bin/yt-dlp "$@"
+}
 
 # taken from default changes to bashrc and bash_profile
 path-add --end --ifexists $HOME/.rvm/bin
@@ -2889,6 +4474,112 @@ path-add --end --ifexists $HOME/.rvm/bin
 # so its included in overall env
 
 
+# ya, hacky hardcoded hostnames in 2023. we could do better
+hssh-update() {
+  local -a failed_hosts hosts
+  case $HOSTNAME in
+    sy|kd)
+      hosts=(
+        kd.b8.nz x3.office.fsf.org syw x2.b8.nz
+      )
+      ;;
+    x3)
+      hosts=(
+        b8.nz sywg.b8.nz
+      )
+      ;;
+  esac
+  for host in ${hosts[@]}; do
+    e $host
+    if ! scp /b/fai/fai/config/files/usr/local/bin/hssh/IANK root@$host:/usr/local/bin/hssh; then
+      failed_hosts+=($host)
+    fi
+  done
+  if (( ${#failed_hosts[@]} >= 1 )); then
+    echo failed_hosts=${failed_hosts[*]}
+    return 1
+  fi
+}
+
+noi3bar() {
+  touch /tmp/noi3bar
+}
+i3bar() {
+  rm -fv /tmp/noi3bar
+}
+
+# example:
+# <#part type="image/jpeg" filename="/home/iank/2023-12-24-ski-trip.jpg" disposition=attachment> <#/part>
+#
+attach-txt() {
+  local f
+  for f; do
+    if [[ ! -s $f ]]; then
+      e "error: empty or non-existent file $f"
+      return 1
+    fi
+  done
+  for f; do
+    echo '<#part type="image/jpeg" filename="'"$(rl "$f")"'" disposition=attachment> <#/part>'
+  done | ec
+}
+
+ctof() {
+  units "tempC($1)" tempF
+}
+
+ftoc() {
+  units "tempF($1)" tempC
+}
+
+# requires dns/firewall setup first
+local-icecast() {
+  web-conf -e ian@iankelling.org -f 8000 - apache2 live.iankelling.org  <<'EOF'
+<Location "/fsf.webm">
+AuthType Basic
+AuthName "basic_auth"
+# created with
+# htpasswd -c icecast-fsf-htpasswd USERNAME
+AuthUserFile "/etc/icecast-fsf-htpasswd"
+Require valid-user
+</Location>
+<Location "/fsf-tech.webm">
+AuthType Basic
+AuthName "basic_auth"
+AuthUserFile "/etc/icecast-fsf-tech-htpasswd"
+Require valid-user
+</Location>
+EOF
+}
+
+# obs screen switching of
+obof() {
+  ls -l /tmp/no-obs-auto-scene-switch
+  touch /tmp/no-obs-auto-scene-switch
+}
+# obs screen switching on
+obon() {
+  ls -l /tmp/no-obs-auto-scene-switch
+  if [[ -e /tmp/no-obs-auto-scene-switch ]]; then
+    rm -f /tmp/no-obs-auto-scene-switch
+  fi
+}
+
+obs-gen-profiles() {
+  local p=/p/c/basic/profiles
+  sed 's/fsf-sysops/fsf-tech/g' $p/fsfsysops/basic.ini >$p/fsftech/basic.ini
+  sed 's/fsf-sysops/fsf/g' $p/fsfsysops/basic.ini >$p/fsf/basic.ini
+}
+
+# terminal clear. like clear, but put the prompt at the bottom,
+# useful for obs streaming the bottom half of a terminal window.
+tclear() {
+  for ((i=0; i<COLUMNS; i++)); do
+    echo
+  done
+}
+
+
 export BASEFILE_DIR=/a/bin/fai-basefiles
 
 #export ANDROID_HOME=/a/opt/android-home