be safer, keep more leafs around
[distro-setup] / brc2
diff --git a/brc2 b/brc2
index 6ee207c10b126f440bd4952fff223a3a8fda2f7f..c65e578a09afdc9bc00c7c6e4e52315b9f04544a 100644 (file)
--- a/brc2
+++ b/brc2
@@ -42,6 +42,7 @@ export WCDHOME=/a
 
 case $EUID in
   0)
+    # shellcheck disable=SC2034 # used in brc
     SL_SSH_ARGS="-F $HOME/.ssh/confighome"
     ;;
 esac
@@ -58,9 +59,14 @@ source /a/bin/bash_unpublished/source-semi-priv
 source /a/bin/bash_unpublished/source-state
 
 source /a/bin/log-quiet/logq-function
-if [[ -s /a/opt/alacritty/extra/completions/alacritty.bash ]]; then
-  source /a/opt/alacritty/extra/completions/alacritty.bash
-fi
+
+# not used
+# if [[ -s /a/opt/alacritty/extra/completions/alacritty.bash ]]; then
+#   source /a/opt/alacritty/extra/completions/alacritty.bash
+# fi
+
+
+source /a/bin/ds/beet-data
 
 
 # * functions
@@ -73,7 +79,7 @@ multimic() {
   m pactl unload-module module-null-sink
   m pactl unload-module module-remap-source
 
-  sources=($(pacmd list-sources | sed -rn 's/.*name: <([^>]+).*/\1/p'))
+  IFS=" " read -r -a sources <<<"$(pacmd list-sources | sed -rn 's/.*name: <([^>]+).*/\1/p')"
 
   if (( ! $# )); then
     i=0
@@ -177,7 +183,8 @@ rm-docker-iptables() {
 # usage mkschroot [-] distro codename packages
 # - means no piping in of sources.list
 mkschroot() {
-  local force=false
+  local sources force repo n distro
+  force=false
   while [[ $1 == -* ]]; do
     case $1 in
       -f) force=true; shift ;;
@@ -283,10 +290,10 @@ tback() {
 # s sshfs bu@$host:/bu/home/md /bu/mnt -o reconnect,ServerAliveInterval=20,ServerAliveCountMax=30 -o allow_other
 
 eqgo() {
-  enn -M $(exiqgrep -i -r.\*)
+  enn -M "$(exiqgrep -i -r.\*)"
 }
 eqgo1() {
-  enn -M $(exipick -i -r.\*|h1)
+  enn -M "$(exipick -i -r.\*|h1)"
 }
 
 
@@ -364,7 +371,7 @@ ap() {
 }
 aw() {
   pushd /a/work/ans >/dev/null
-  time ansible-playbook -v -i inventory adhoc.yml "$@"
+  time ansible-playbook -i inventory adhoc.yml "$@"
   popd >/dev/null
 }
 ad() {
@@ -377,7 +384,807 @@ astudio() {
   # googling android emulator libGL error: failed to load driver: r600
   # lead to http://stackoverflow.com/a/36625175/14456
   export ANDROID_EMULATOR_USE_SYSTEM_LIBS=1
-  /a/opt/android-studio/bin/studio.sh "$@" &r;
+  /a/opt/android-studio/bin/studio.sh "$@" & r
+}
+
+# convert brains path to url
+# /f/brains/sysadmin/interns/2022/nick_shrader/intro_blog_post.mdwn
+# becomes
+# https://brains.fsf.org/wiki/sysadmin/interns/2022/nick_shrader/intro_blog_post
+iki() {
+  local url path
+  if [[ $1 ]]; then
+    path="$*"
+  else
+    read -r -p "enter path" path
+  fi
+  url=$(readlink -f "$path")
+  url="https://brains.fsf.org/wiki/${url#*brains/}"
+  url="${url%.mdwn}"
+  echo "$url"
+
+}
+
+# Generate beet smartplaylists for navidrome.
+# for going in the reverse direction, run
+# /b/ds/navidrome-playlist-export
+beetsmartplaylists() {
+  install -m 0700 -d /tmp/ianbeetstmp
+  beet splupdate
+  # kill off any playlists we deleted. they will still need manual
+  # killing from a navidrome client.
+  rm -rf /i/converted/beetsmartplaylists
+  mkdir -p /i/converted/beetsmartplaylists
+  for f in /tmp/ianbeetstmp/*; do
+    sed 's,^/i/m,/i/converted,;s,\.flac$,.mp3,' "$f" >"/i/converted/beetsmartplaylists/${f##*/}"
+    rm "$f"
+  done
+  rmdir /tmp/ianbeetstmp
+}
+
+# internal function for beetrating, in case we need to ssh
+beetrating-stdin() {
+  local tmp rating path cpath sqlpath userid
+  # plucked this from the db. im the only user.
+  userid=23cc2eb9-e35e-4811-a0f0-d5f0dd6eb634
+  while read -r rating path; do
+    cpath="/i/converted${path#/i/m}" # converted path
+    case $cpath in
+      *.flac)
+        cpath="${cpath%.*}.mp3"
+        ;;
+    esac
+    if [[ ! -e $cpath ]]; then
+      echo "beetraing: error: this should not happen, path does not exist: $cpath"
+      return 1
+    fi
+    sqlpath="${cpath//\'/\'\'}"
+    old_rating=$(sqlite3 /i/navidrome/navidrome.db "select rating from annotation inner join media_file on item_id = id where path = '$sqlpath' and item_type = 'media_file';")
+    if [[ $old_rating ]]; then
+      if [[ $old_rating != "$rating" ]]; then
+        echo "setting rating $old_rating -> $rating $cpath"
+        # https://stackoverflow.com/a/50317320
+        # we got a timeout error once. arbitrarily chose 15 seconds.
+        sqlite3 /i/navidrome/navidrome.db ".timeout 15000" "
+update annotation set rating = $rating
+ where item_id in (
+ select media_file.id from annotation inner join media_file on annotation.item_id = media_file.id
+   where media_file.path = '$sqlpath' and annotation.item_type = 'media_file' );"
+      fi
+    else
+      echo "setting rating $rating $cpath"
+      # /a/opt/navidrome/persistence/sql_annotations.go v0.48.0
+      # https://www.sqlite.org/lang_insert.html
+      sqlite3 /i/navidrome/navidrome.db ".timeout 15000" "insert into annotation select '$(uuidgen)', '$userid', id, 'media_file', 0, NULL, $rating, 0, NULL from media_file where path = '$sqlpath';"
+    fi
+  done
+}
+
+# Export beets ratings into navidrome
+beetrating() {
+  local ssh_prefix
+  if [[ $HOSTNAME != kd ]]; then
+    ssh_prefix="ssh b8.nz"
+  fi
+  # shellcheck disable=SC2016 # obvious reason
+  beet ls -f '$rating $path' $nav_convert_query | $ssh_prefix beetrating-stdin
+}
+
+# Do transcoding and hardlinking of audio files for navidrome.
+beetconvert() {
+  local tmpf
+  tmpf="$(mktemp)"
+  # a bunch of effort to ignore output we dont care about...
+  sed 's/^format_item:.*/format_item: ignore_this/' ~/.config/beets/config.yaml >$tmpf
+  beet -c $tmpf convert -y $nav_convert_query > >(grep -vFx 'ignore_this' ||:) 2> >(grep -v '^convert: Skipping' ||:)
+  rm "$tmpf"
+}
+# This deletes files in the converted directory which should no longer
+# be there due to a rename of the unconverted file.
+beetconvert-rm-extras() {
+  local l tmpf
+  local -A paths
+  tmpf="$(mktemp)"
+  # shellcheck disable=SC2016 # obvious reason
+  beet ls -f '$path' $nav_convert_query >"$tmpf"
+  ## begin removal of files that are leftover from previous conversion,
+  # eg, previously rated > 1, now rated 1.
+  while read -r l; do
+    convertedpath="/i/converted${l#/i/m}"
+    case $convertedpath in
+      *.flac) convertedpath="${convertedpath%.flac}.mp3" ;;
+    esac
+    paths[$convertedpath]=t
+  done <"$tmpf"
+
+  find /i/converted -path /i/converted/beetsmartplaylists -prune -o \( -type f -print \) -name '*.mp3' -o -name '*.m4a' >"$tmpf"
+  while read -r l; do
+    if [[ ! ${paths[$l]} ]]; then
+      rm -v "$l"
+    fi
+    # note: the pruning is duplicative of filtering on name, but whatever.
+  done <"$tmpf"
+  rm "$tmpf"
+}
+
+beets-gen-playlists() {
+  local i str
+  local -a query_array query_str
+  for i in "${!bpla[@]}"; do
+    query_str=()
+    eval "query_array=(${bpla[$i]})"
+    for str in "${query_array[@]}"; do
+      query_str+=("\"$str\"")
+    done
+    cat <<EOF
+    - name: $i.m3u
+      query: '${query_str[@]}'
+EOF
+  done
+}
+
+# beet playlist. use beetag with a playlist name
+bpl() {
+  local playlist playlist_regex
+  playlist="${*: -1}"
+  playlist_regex='[a-z0-9_]'
+  if [[ ! $playlist =~ $playlist_regex ]]; then
+    echo "bpl: error unexpected chars in playlist: $playlist"
+    return 1
+  fi
+  # all but last arg as options
+  eval beetag -r "${*:1:$# - 1}" "${bpla[$playlist]}"
+}
+complete -W "${!bpla[*]}" bpl
+
+
+# beet modify quietly
+beetmq() {
+  local tmpf
+  tmpf="$(mktemp)"
+  # a bunch of effort to ignore output we dont care about...
+  sed 's/^format_item:.*/format_item: ignore_this/' ~/.config/beets/config.yaml >$tmpf
+  beet -c $tmpf modify -y "$@" > >(grep -vFx -e 'ignore_this' -e 'Modifying 1 items.' ||:)
+  rm "$tmpf"
+  beetag-nostatus 1
+}
+
+kill-bg-quiet() {
+  # https://stackoverflow.com/a/5722874
+  kill %% 2>/dev/null ||:; wait %% 2>/dev/null ||:
+}
+
+# debug variables
+dv() {
+  for arg; do
+    printf "%s=%s " "$arg" "${!arg}"
+  done
+  echo
+}
+
+# Must be called from beetag for variables to be setup
+beetag-help() {
+  local -i i j col_total row col button_total row_total remainder_cols remainder_term
+  col_total=4
+  button_total=${#button_map[@]}
+  row_total=$(( button_total / col_total ))
+  remainder_cols=$(( button_total % col_total ))
+  # for debugging
+  #dv button_total row_total remainder_cols
+  beetag-nostatus
+  #   - 3 is just a constant that helps things work in practice.
+  if [[ $LINES ]] && (( LINES - 3 < scrolled )); then
+    hr
+    for (( i=0; i<button_total; i++)); do
+      row=$(( i / col_total ))
+      col=$(( i % col_total ))
+      remainder_term=$remainder_cols
+      if (( col < remainder_term )); then
+        remainder_term=$col
+      fi
+      j=$(( col * row_total + row + remainder_term ))
+      # avoid double newline when we have exactly row * col buttons
+      if (( i == button_total - 1 )); then
+        printf "%s %s" ${buttons[j]} ${button_map[j]}
+      elif (( i % col_total == col_total -1 )); then
+        printf "%s %s\n" ${buttons[j]} ${button_map[j]}
+      else
+        printf "%s %-15s" ${buttons[j]} ${button_map[j]}
+      fi
+    done
+    cat <<'EOF'
+
+
+y other genres   z fg player      ' = toggle play  1-5 rate
+; previous       _ = delete       up/down skip     mpv vol,pause,seek
+EOF
+    hr
+    scrolled=10
+  fi
+}
+
+# Must be called from beetag for variables to be setup
+beetag-nostatus() {
+  if (( $# )); then
+    scrolled=$(( scrolled + $1 ))
+  fi
+  if $erasable_line; then
+    # https://stackoverflow.com/a/71286261
+    printf '\033[1A\033[K'
+  fi
+  erasable_line=false
+}
+# meant to be called from beetag
+beetag-status() {
+  if $erasable_line; then
+    # https://stackoverflow.com/a/71286261
+    printf '\033[1A\033[K'
+  fi
+  erasable_line=true
+}
+
+# meant to be called from beetag
+mpvrpc() {
+  if jobs -p | grep -q . &>/dev/null; then
+    printf "%s\n" "$*" | socat - /tmp/mpvsock >/dev/null ||:
+  fi
+}
+# meant to be called from beetag
+# o for get output
+mpvrpco() {
+  # note: testing for background jobs will output nothing if we are in a pipeline
+  printf "%s\n" "$*" | socat - /tmp/mpvsock ||:
+}
+
+# meant to be called from beetag
+mpvrpc-percent-pos() {
+  mpvrpco '{ "command": ["get_property", "percent-pos"] }' | jq .data | sed 's/\..*/%/' 2>/dev/null ||:
+}
+
+# tag with beets.
+# usage: beetag [-r] [-s] QUERY
+# it lists the query, reads an input char for tagging one by one.
+#
+# note, you may want to change the play command for doing rapid taging
+# by immediately jumping forward into the song. this is set in the beets
+# config yaml.
+#
+# (available buttons: ` \ ) ] [ and non-printing chars, see
+# https://stackoverflow.com/questions/10679188/casing-arrow-keys-in-bash
+#
+#
+# note: after foregrounding the player, must quit it to get back. can't ctrl-c.
+#
+# keys I dont need help to remember:
+# 1-5 rate
+# q quit
+# ret next
+beetag() {
+  local last_genre_i fstring tag id char new_item char_i genre tag remove doplay i j random path
+  local do_rare_genres read_wait help line lsout tmp ls_line skip_lookback
+  local escape_char escaped_input expected_input skip_input_regex right_pad erasable_line seek_sec
+  local pl_state_path pl_state_dir pl_state_file
+  local new_random pl_seed_path seed_num seed_file
+  local -a pl_tags buttons button_map ids tags tmp_tags initial_ls ls_lines paths
+  local -A button_i
+  local -i i j volume scrolled id_count line_int skip_start pre_j_count head_count skip_lookback
+  local -i overflow_lines overflow
+
+  erasable_line=false
+  escape_char=$(printf "\u1b")
+  scrolled=999 # more than any $LINES
+  ### begin arg processing ###
+  random=false
+  new_random=false
+  case $1 in
+    -r)
+      random=true
+      shift
+      ;;
+    -s)
+      random=false
+      shift
+      ;;
+    -x)
+      new_random=true
+      shift
+      ;;
+  esac
+  if (( ! $# )); then
+    echo beetag: error expected a query arg >&2
+    return 1
+  fi
+  ### end arg processing ###
+
+  beetpull
+
+  do_rare_genres=false
+  volume=70
+  read_wait=2
+  doplay=true
+
+  last_genre_i=$(( ${#common_genres[@]} - 1 ))
+  buttons=( {a..p} {r..w} {6..8} , . / - "=")
+  button_map=(${common_genres[@]} ${pl_tags[@]})
+  fstring=
+  for tag in "${pl_tags[@]}"; do
+    fstring+="%ifdef{$tag,$tag }"
+  done
+
+  for (( i=0; i<${#buttons[@]}; i++ )); do
+    button_i[${buttons[i]}]=$i
+  done
+
+  # note: this structure of files is rather haphazard.
+  seed_num=1 # later we might want a few
+  seed_file=seed$seed_num
+  if $random; then
+    pl_state_file=$seed_num
+  else
+    pl_state_file=sorted
+  fi
+  pl_state_dir=/i/info/pl-state
+  if [[ $playlist ]]; then
+    pl_state_dir=$pl_state_dir/nopl
+  else
+    pl_state_dir=$pl_state_dir/$playlist
+  fi
+  pl_state_path=$pl_state_dir/$pl_state_file
+  pl_seed_path=$pl_state_dir/$seed_file
+
+
+  if $new_random || [[ ! -r $pl_seed_path ]]; then
+    mkdir -p $pl_state_dir
+    { base64 < /dev/urandom | head -c 200 ||:; echo; } > $pl_seed_path
+  fi
+
+
+
+  # PijokVipiotOzeph is just a random string for a delimiter
+  # shellcheck disable=SC2016 # obvious reason
+  mapfile -t initial_ls < <(beet ls -f '%ifdef{rating,$rating }'"$fstring"'$genre | $title - $artist - $album   $length  $id PijokVipiotOzeph $path' "$@" | { if $random; then sort -R --random-source=$pl_seed_path; else cat; fi; } )
+  id_count=${#initial_ls[@]}
+  for line in "${initial_ls[@]}"; do
+    path="${line#*PijokVipiotOzeph }"
+    # https://github.com/koalaman/shellcheck/issues/2171
+    # shellcheck disable=SC2190 # bug in shellcheck, looking at paths from an earlier function
+    paths+=("$path")
+    line_no_path="${line% PijokVipiotOzeph*}"
+    id="${line_no_path##* }"
+    ids+=("$id")
+    right_pad="${line_no_path%% |*}"
+    ls_line="$(printf %-11s "$right_pad")${line_no_path#"$right_pad"}"
+    ls_lines+=("$ls_line")
+    i=$(( i+1 ))
+  done
+
+
+
+
+  j=0
+  if [[ $playlist ]]; then
+    if [[ -r $pl_state_path ]]; then
+      j=$(cat $pl_state_path)
+    fi
+  fi
+
+  # i only care to see a smallish portion of the list when starting.
+  head_count=$(( LINES - 20 ))
+  head_start=$(( j - head_count / 2 ))
+  if (( head_start < 0 )); then
+    head_start=0
+  fi
+  for (( i=head_start; i < head_count && i < id_count; i++ )); do
+    ls_line="${ls_lines[$i]}"
+    if (( i == j )); then
+      echo "* $ls_line"
+    else
+      echo "$ls_line"
+    fi
+  done
+  if $doplay; then
+    #{ mpv --profile=a --volume=$volume --idle 2>&1 & } 2>/dev/null
+    mpv --profile=a --volume=$volume --idle &
+    # if we dont sleep, we get error like this:
+    # socat[1103381] E connect(5, AF=1 "/tmp/mpvsock", 14): Connection refused
+    # and strangely, it persists until mpv is restarted.
+    # .1 sleep was too little.
+    sleep .2
+  fi
+
+  while true; do
+    id=${ids[j]}
+    path="${paths[$j]}"
+    lsout="${ls_lines[j]}"
+    tags=( ${lsout%%,*} )
+    beetag-help
+    printf "██ %s\n" "$lsout"
+    beetag-nostatus 1
+    if $doplay; then
+      # https://stackoverflow.com/a/7687716
+      # note: duplicated down below
+      #
+      # notes on old method of invoking mpv each time:
+      # https://superuser.com/questions/305933/preventing-bash-from-displaying-done-when-a-background-command-finishes-execut
+      # we can't disown or run in a subshell or set +m because all that
+      # disabled job control from working properly in ways we want.
+      # todo: figure out some kind of answer to this. I think the solution
+      # is that we are waiting in 2 second intervals and checking if the
+      # background job exists. Instead, we should make mpv just idle
+      # when it is done with a song and then send it a command to play a new track.
+      #{ mpv --profile=a --volume=$volume "$path" 2>&1 & } 2>/dev/null
+      # old
+      #{ beet play "--args=--volume=$volume" "id:$id" 2>&1 & } 2>/dev/null
+      mpvrpc '{ "command": ["loadfile", "'"$path"'"] }'
+      erasable_line=false
+    fi
+    while true; do
+      char=
+      if $doplay; then
+        ret=0
+        read -rsN1 -t $read_wait char || ret=$?
+        read_wait=2
+        # Automatically skip to the next song if this one ends, unless
+        # we turn off the autoplay.
+        if (( ret == 142 )) || [[ ! $char ]]; then
+          if jobs -p | grep -q . &>/dev/null; then
+            continue
+          else
+            break
+          fi
+        fi
+      else
+        read -rsN1 char
+      fi
+      beetag-help
+      if [[ $char == $'\n' ]]; then
+        # https://stackoverflow.com/a/5722874
+        kill-bg-quiet
+        break
+      fi
+      case $char in
+        ";")
+          kill-bg-quiet
+          j=$(( j - 2 ))
+          break
+          ;;
+        "'")
+          if $doplay; then
+            echo "play toggled off"
+            doplay=false
+          else
+            doplay=true
+            kill-bg-quiet
+            mpvrpc '{ "command": ["loadfile", "'"$path"'"] }'
+            erasable_line=false
+          fi
+          beetag-nostatus 1
+          continue
+          ;;
+        _)
+          kill-bg-quiet
+          m beet rm --delete --force "id:$id"
+          beetag-nostatus 4 # guessing. dont want to test atm
+          break
+          ;;
+        [1-5])
+          beetmq "id:$id" rating=$char
+          continue
+          ;;
+        9)
+          volume=$(( volume - 5 ))
+          if (( volume < 0 )); then
+            volume=0
+          fi
+          ;;&
+        0)
+          volume+=5
+          if (( volume > 130 )); then
+            volume=130
+          fi
+          ;;&
+        0|9)
+          mpvrpc '{ "command": ["set_property", "volume", '$volume'] }'
+          beetag-status
+          echo volume=$volume
+          continue
+          ;;
+        q)
+          kill-bg-quiet
+          return
+          ;;
+        y)
+          if $do_rare_genres; then
+            do_rare_genres=false
+            button_map=(${common_genres[@]} ${pl_tags[@]})
+            last_genre_i=$(( ${#rare_genres[@]} - 1 ))
+          else
+            do_rare_genres=true
+            button_map=(${rare_genres[@]} ${pl_tags[@]})
+            last_genre_i=$(( ${#rare_genres[@]} - 1 ))
+          fi
+          local -A button_i
+          for (( i=0; i<${#buttons[@]}; i++ )); do
+            button_i[${buttons[i]}]=$i
+          done
+          for (( i=0; i<${#button_map[@]}; i++ )); do
+            echo ${buttons[i]} ${button_map[i]}
+          done
+          continue
+          ;;
+        z)
+          beetag-nostatus 3
+          # if we ctrl-z, it will put the whole function into sleep. so
+          # basically, we can't return from a foregrounded mpv like we
+          # would like to without some strange mechanism I can't think
+          # of. So, instead, detect ctrl-c and wait a while for prompt
+          # input. One idea would be to use a music player like mpd where
+          # we can send it messages.
+          if ! fg; then
+            read_wait=10
+          fi
+          continue
+          ;;
+
+        #
+        " ")
+          # output time if we aren't already paused
+          if [[ $(mpvrpco '{ "command": ["get_property", "pause"] }' | jq .data) == false ]]; then
+            # minutes/seconds
+            #date -d @"$(mpvrpco '{ "command": ["get_property", "playback-time"] }' | jq .data)" +%M:%S ||:
+            beetag-status
+            mpvrpc-percent-pos
+          fi
+          # originally found this solution, which worked fine.
+          #kill -STOP %% &>/dev/null
+          #
+          mpvrpc '{ "command": ["cycle", "pause"] }'
+          continue
+          ;;
+        "$escape_char")
+          expected_input=true
+          read -rsn2 escaped_input
+          skip_input_regex="^[0-9]+$"
+          case $escaped_input in
+            # up char
+            '[A')
+              skip_start=0
+              skip_lookback=5
+              if (( j - skip_lookback > skip_start )); then
+                skip_start=$(( j - skip_lookback ))
+              fi
+              beetag-nostatus $(( id_count - skip_start - 1 ))
+              {
+                line_int=0
+                for (( i=skip_start; i < id_count; i++ )); do
+                  if (( i == j )); then
+                    echo "  * ${ls_lines[i]}"
+                    continue
+                  fi
+                  echo "$line_int | ${ls_lines[i]}"
+                  line_int+=1
+                done
+              } | less -F
+              ;;
+            # down char
+            '[B')
+              # skip forward, but show the last few songs anyways.
+              skip_start=0
+              skip_lookback=3
+              if (( j - skip_lookback > skip_start )); then
+                skip_start=$(( j - skip_lookback ))
+              fi
+              beetag-nostatus $(( id_count - skip_start - 1 ))
+
+              line_int=0
+              overflow_lines=$LINES
+              for (( i=skip_start; i < overflow_lines - 1 && i < id_count; i++ )); do
+                ls_line="${ls_lines[i]}"
+                overflow=$(( ${#ls_line} / ( COLUMNS - 1 ) ))
+                overflow_lines=$(( overflow_lines - overflow ))
+                if (( i == j )); then
+                  echo "  * $ls_line"
+                  continue
+                fi
+                echo "$line_int | $ls_line"
+                line_int+=1
+              done
+              ;;
+            # left key
+            '[D')
+              seek_sec=-8
+              ;;&
+            # right key
+            '[C')
+              seek_sec=8
+              ;;&
+            '[C'|'[D')
+              beetag-status
+              mpvrpc-percent-pos
+              erasable_line=true
+              mpvrpc '{ "command": ["seek", "'$seek_sec'"] }'
+              continue
+              ;;
+            *)
+              expected_input=false
+              ;;
+          esac
+          if $expected_input; then
+            read -r skip_input
+            case $skip_input in
+              q)
+                kill-bg-quiet
+                return
+                ;;
+            esac
+            if [[ $skip_input =~ $skip_input_regex ]]; then
+              pre_j_count=$(( j - skip_start ))
+              j=$(( j + skip_input - pre_j_count ))
+              if (( skip_input < pre_j_count )); then
+                j=$(( j - 1 ))
+              fi
+            fi
+            kill-bg-quiet
+            break
+          fi
+          ;;
+      esac
+      char_i=${button_i[$char]}
+      new_item=${button_map[$char_i]}
+      if [[ ! $char_i || ! $new_item ]]; then
+        echo "error: no mapping of input: $char found, try again"
+        continue
+      fi
+      if (( char_i <= last_genre_i )); then
+        m beetmq "id:$id" genre=$new_item
+      else
+        remove=false
+        tmp_tags=()
+        for tag in ${tags[@]}; do
+          if [[ $new_item == "$tag" ]]; then
+            remove=true
+          else
+            tmp_tags+=("$tag")
+          fi
+        done
+        if $remove; then
+          tags=("${tags[@]}")
+          m beetmq "id:$id" "$new_item!"
+        else
+          tags+=("$new_item")
+          m beetmq "id:$id" $new_item=t
+        fi
+      fi
+    done
+    if (( j < id_count - 1 )); then
+      j+=1
+    else
+      j=0
+    fi
+    if [[ $playlist ]]; then
+      echo $j >$pl_state_path
+    fi
+  done
+}
+
+# usage: FILE|ALBUM_DIR [GENRE]
+beetadd() {
+  local import_path genre_arg single_track_arg
+  import_path="$1"
+  if [[ ! -e $import_path ]]; then
+    echo "beetadd error: path does not exist"
+  fi
+  if [[ $2 ]]; then
+    genre_arg="--set genre=$2"
+  fi
+  if [[ -f $import_path ]]; then
+    single_track_arg=-s
+  fi
+  beet import --set totag=t $single_track_arg $genre_arg "$import_path"
+  beetag totag:t
+  beet modify -y totag:t "totag!"
+}
+
+# update navidrome music data after doing beets tagging
+beet2nav() {
+  m beetpull
+  m beetconvert
+  m beetrating
+  # this function would naturally just be part of beetconvert,
+  # but we want beetrating to happen sooner so that our ssh auth dialog
+  # happens earlier. Currently 17 seconds for that.
+  m beetconvert-rm-extras
+  m beetsmartplaylists
+}
+
+# pull in beets library locally
+beetpull() {
+  if [[ $HOSTNAME == kd ]]; then
+    return 0
+  fi
+  if [[ ! -e /i ]]; then
+    s mkdir /i
+    s chown iank:iank /i
+  fi
+  if ! mountpoint /i &>/dev/null; then
+    m sshfs b8.nz:/i /i
+  fi
+}
+
+# remove all playlists in navidrome, for when I make big
+# playlist name changes and just want to scrap everything.
+nav-rm-plists() {
+  local tmpf id
+  tmpf=$(mktemp)
+  if [[ $HOSTNAME != kd ]]; then
+    echo "error: run on kd"
+    return 1
+  fi
+  sqlite3 /i/navidrome/navidrome.db "select id from playlist" >$tmpf
+  while read -r id; do
+
+    curl --http1.1 --user "iank:$navidrome_pw" "https://b8.nz/rest/deletePlaylist.view?u=iank&s=sb219dvv7egnoe4i47k75cli0m&t=1c8f5575cd0fdf03deb971187c9c88b1&v=1.2.0&c=DSub&id=$id"
+  done <$tmpf
+  rm $tmpf
+}
+
+# escape regex.
+#
+# This is not perfect but generally good enough. It escapes all
+# metachars listed man 3 pcrepattern.
+er() {
+  sed 's/[]\\^$.[|()?*+{}]/[&]/g; s/\^/\\^/g' <<<"$*"
+}
+
+# usage beegenre QUERY
+#
+# beet set genre for QUERY based on existing artist most used genre on
+#
+# inverse of query for each artist found in QUERY. If query starts with
+# "artist:" it is used as the artist instead of each artist in QUERY.
+#
+beegenre() {
+  local count artist artregex genre singleartist tmpf tmpf2
+  local -a artists genres
+  singleartist=false
+  case $1 in
+    artist:*)
+      singleartist=true
+      artist="$1"
+      shift
+      ;;
+  esac
+  tmpf=$(mktemp)
+  tmpf2=$(mktemp)
+  if $singleartist; then
+    # shellcheck disable=SC2016 # obvious reason
+    beet ls -f '$genre' "$artist" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1 >$tmpf
+    read -r count genre <$tmpf ||:
+    beet modify "$artist" "$@" genre=$genre
+  else
+    # shellcheck disable=SC2016 # obvious reason
+    beet ls -f '$artist' "$@" | sort -u >$tmpf
+    while read -r artist; do
+      artregex=$(er "$artist")
+      # shellcheck disable=SC2016 # obvious reason
+      beet ls -f '$genre' "artist::^$artregex$" "${@/#/^}" | sort | uniq -c | sort -n | tail -n1 >$tmpf2
+      read -r count genre <$tmpf2 || continue
+      if [[ $count ]]; then
+        artists+=("$artregex")
+        genres+=("$genre")
+        echo "beet modify -y $* \"artist::^$artist$\" genre=$genre # $count"
+      fi
+    done <$tmpf
+    read -r -N 1 -s -p "Y/n " char
+    case $char in
+      [Yy$'\n'])
+        for (( i=0; i<${#artists[@]}; i++ )); do
+          beet modify -y "$@"  "artist::^${artists[i]}$" genre=${genre[i]}
+        done
+        ;;
+    esac
+  fi
+  rm $tmpf
 }
 
 # note, to check for glue records
@@ -414,7 +1221,7 @@ bbk() { # btrbk wrapper
   install-my-scripts
   # todo: consider changing this to srun and having the args come
   # from a file like /etc/default/btrbk, like is done in exim
-  s jrun btrbk-run "$@"
+  s jdo btrbk-run "$@"
   if $active; then
     if (( ret )); then
       echo bbk: WARNING: btrbk.timer not restarted due to failure
@@ -454,40 +1261,140 @@ locat() { # log-once cat
   ngreset
 }
 
-# duplicated somewhat below.
-jrun() { # journal run. run args, log to journal, tail and grep the journal.
-  # Note, an alternative without systemd would be something like ts.
-  # Note, I tried using systemd-cat, but this seems obviously better,
-  # and that seemed to have a problem exiting during a systemctl daemon-reload
-  local cmd_name jr_pid s
+scr() {
+  screen -RD "$@"
+}
+
+# usage: first get an adb shell on the phone.
+#
+# just followed instructions in readme at
+# https://github.com/Yuubi-san/ceb-tools
+# tried to use ceb2txt but it failed because of schema
+# slightly different than what it expected.
+cheogram-get-logs() {
+  adb shell rm -r /storage/emulated/0/Download/Cheogram/Backup
+  read -r -p "do cheogram backup on phone, do not enable extra cheogram data. press any key when done"
+  cd /p/cheogram
+  rm -rf Backup b
+  adb pull /storage/emulated/0/Download/Cheogram/Backup
+  sqlite3 b </a/opt/ceb-tools/schema.sql
+  echo "note: the next step took 39 seconds last time i measured"
+  /a/opt/ceb-tools/ceb2sqlgz Backup/iank@fsf.org.ceb <pas | gunzip | sqlite3 b
+  rm -r Backup
+}
+
+# usage: cheologs [DAYS_LIMIT]
+# default days is 100
+cheologs() {
+  local days q
+  days=${1:-100}
+  q="
+select
+ datetime(substr(timeSent,0,11),  'unixepoch'),
+ replace(replace(counterpart,'@fsf.org',''),
+        '@conference.fsf.org',''),
+ body
+from messages
+where timeSent > $(( (EPOCHSECONDS - days * 60 * 60 * 24) * 1000 ))
+order by timeSent;"
+  sqlite3 /p/cheogram/b ".mode tabs" "$q" | less
+}
+
+mycheologs() {
+  local days q
+  days=${1:-16}
+  # timezone compared to utc. note: this will need adjustment for spring/fall.
+  zone_offset=$(( 60 * 60 * 5 ))
+  q="
+select
+ datetime(substr(timeSent,0,11) - $zone_offset,  'unixepoch'),
+ body
+from messages
+where timeSent > $(( (EPOCHSECONDS - days * 60 * 60 * 24) * 1000 ))
+and counterpart = 'office@conference.fsf.org/iank'
+order by timeSent;"
+  sqlite3 /p/cheogram/b ".mode tabs" "$q" | sed 's/ /./' | less
+}
+
+# version of jdo for my non-root user
+jdo() {
+  # comparison of alternative logging methods:
+  #
+  # systemd-run command (what this function does)
+  #
+  # If there is a user prompt, the program will detect that it is not
+  # connected to a terminal and act in a non-interactive way, skipping
+  # the prompt. This has the benefit that you know exactly how the
+  # program will act if you want to move it into a service that runs
+  # automatically.
+  #
+  # If run with sudo and command is a shell script which does a sleep,
+  # it can (sometimes?) output some extra whitespace in front of
+  # messages, more for each subsequent message. This can be avoided by
+  # becoming root first.
+  #
+  # It logs the command's pid and exit code, which is nice.
+  #
+  #
+  ### command |& ts | tee file.log
+  #
+  # If there is a user prompt, like "read -p prompt var", it will hang
+  # without outputting the prompt.
+  #
+  # I've had a few times where ts had an error and I wasn't totally sure
+  # if it was really the command or ts having the problem.
+  #
+  # Sometimes some output will get hidden until you hit enter.
+  #
+  #
+  ### command |& pee cat logger
+  #
+  # This seems to work. I need to test more.
+  #
+  #
+  ### command |& logger -s
+  #
+  # User prompts get confusingly prefixed to earlier output, and all log
+  # entries get prefixed with annoying priority level.
+  #
+  #
+  ### systemd-cat
+  #
+  # Had a few problems. One major one is that it exited in the middle of
+  # a command on systemctl daemon-reload
+  #
+  # Related commands which can log a whole session: script, sudo, screen
+  local cmd cmd_name jr_pid ret
   ret=0
-  cmd_name=${1##*/}
-  cmd=$1
+  cmd="$1"
+  shift
+  cmd_name=${cmd##*/}
   if [[ $cmd != /* ]]; then
-    cmd=$(which $1)
+    cmd=$(type -P "$cmd")
   fi
+  # -q = quiet
   journalctl -qn2 -f -u "$cmd_name" &
-  # Guess of time needed to avoid missing initial lines.
+  # Trial and error of time needed to avoid missing initial lines.
   # .5 was not reliable. 1 was not reliable. 2 was not reliable
   sleep 4
-  # We kill this in prompt-command for the case that we ctrl-c the
-  # systemd-cat. i dont know any way to trap ctrl-c and still run the
-  # normal action for it. There might be a way, unsure.
   jr_pid=$!
   # note, we could have a version that does system --user, but if for example
   # it does sudo ssh, that will leave a process around that we can't kill
   # and it will leave the unit hanging around in a failed state needing manual
   # killing of the process.
-  m s systemd-run --uid $(id -u) --gid $(id -g) \
+  s systemd-run --uid "$(id -u)" --gid "$(id -g)" \
     -E SSH_AUTH_SOCK=/run/openssh_agent \
-    --unit "$cmd_name" --wait --collect "$cmd" "${@:2}" || ret=$?
-  # This justs lets the journal output its last line
+    --unit "$cmd_name" --wait --collect "$cmd" "$@" || ret=$?
+  # The sleep lets the journal output its last line
   # before the prompt comes up.
   sleep .5
   kill $jr_pid &>/dev/null ||:
   unset jr_pid
   fg &>/dev/null ||:
+  # this avoids any err-catch
+  (( ret == 0 )) || return $ret
 }
+
 # service run, and watch the output
 srun() {
   local unit
@@ -511,7 +1418,7 @@ sm() { # switch mail host
     s ssh-add /root/.ssh/home
   fi
   install-my-scripts
-  s jrun switch-mail-host "$@"
+  s jdo switch-mail-host "$@"
   return $ret
 }
 sh2() { # switch host2
@@ -524,7 +1431,7 @@ sh2() { # switch host2
     s ssh-add /root/.ssh/home
   fi
   install-my-scripts
-  s jrun switch-host2 "$@"
+  s jdo switch-host2 "$@"
   return $ret
 }
 
@@ -607,7 +1514,7 @@ dnsecgen() {
   local zone=$1
   dnssec-keygen -a RSASHA256 -b 2048 $zone
   dnssec-keygen -f KSK -a RSASHA256 -b 4096 $zone
-  for f in K$zone.*.key; do
+  for f in K"$zone".*.key; do
     # eg Kb8.nz.+008+47995.key tag=47995
     # in dnsimple, you add the long string from this.
     # in gandi, you add the long string from the .key file,
@@ -618,7 +1525,7 @@ dnsecgen() {
   # For b8.nz, we let bind read the keys and sign, and
   # right now they have root ownership, so let them
   # get group read.
-  chmod g+r *.private
+  chmod g+r ./*.private
 }
 dsign() {
   # create .signed file
@@ -637,7 +1544,7 @@ btc() {
   local f=/etc/bitcoin/bitcoin.conf
   # importprivkey will timeout if using the default of 15 mins.
   # upped it to 1 hour.
-  bitcoin-cli -rpcclienttimeout=60000 -$(s grep rpcuser= $f) -$(s grep rpcpassword= $f) "$@"
+  bitcoin-cli -rpcclienttimeout=60000 -"$(s grep rpcuser= $f)" -"$(s grep rpcpassword= $f)" "$@"
 }
 btcusd() { # $1 btc in usd
   local price
@@ -696,7 +1603,7 @@ chrome() {
   else
     cd /
     cmd="schroot -c bullseye chromium"
-    CHROMIUM_FLAGS='--enable-remote-extensions' $cmd &r
+    CHROMIUM_FLAGS='--enable-remote-extensions' $cmd & r
   fi
 }
 
@@ -904,10 +1811,13 @@ fdup() {
 }
 
 firefox-default-profile() {
-  key=Default value=1 section=$1
+  local key value section
+  key=Default
+  value=1
+  section=$1
   file=/p/c/subdir_files/.mozilla/firefox/profiles.ini
   sed -ri "/^ *$key/d" "$file"
-  sed -ri "/ *\[$section\]/,/^ *\[[^]]+\]/{/^\s*$key[[:space:]=]/d};/ *\[$section\]/a $key=$value" "$file"
+  sed -ri "/ *\[$section\]/,/^ *\[[^]]+\]/{/^\s*${key}[[:space:]=]/d};/ *\[$section\]/a $key=$value" "$file"
 }
 fdhome() { #firefox default home profile
   firefox-default-profile Profile0
@@ -955,11 +1865,13 @@ fsdiff () {
   fi
 }
 fsdiff-test() {
+  local tmpd x
   # expected output, with different tmp dirs
   # /tmp/tmp.HDPbwMqdC9/c/d ./c/d
   # /a/tmp/tmp.qLDkYxBYPM-missing
   # ./b
-  cd $(mktemp -d)
+  tmpd="$(mktemp -d)"
+  cd "$tmpd"
   echo ok > a
   echo nok > b
   mkdir c
@@ -970,6 +1882,7 @@ fsdiff-test() {
   echo different > $x/c/d
   echo ok > $x/a
   fsdiff $x
+  rm -r "$x" "$tmpd"
 }
 rename-test() {
   # test whether missing files were renamed, generally for use with fsdiff
@@ -1032,7 +1945,7 @@ hstatus() {
   # do git status on published repos.
   c /a/bin/githtml
   for x in *; do
-    cd $(readlink -f $x)/..
+    cd "$(readlink -f $x)"/..
     status=$(i status -s) || pwd
     if [[ $status ]]; then
       hr
@@ -1045,7 +1958,7 @@ hstatus() {
 
 # work log
 wlog() {
-  local day now i days_back
+  local day i days_back
   days_back=${1:-16}
   for (( i=0; i<days_back; i++ )); do
     day=$( date +%F -d @$((EPOCHSECONDS - 86400*i )) )
@@ -1056,27 +1969,58 @@ wlog() {
 to() { t out -a "$@"; }
 ti() { t in -a "$@"; }
 tl() {
+  local in_secs
   to "$*"
   t s lunch
   t in -a "$*"
-  m t out -a $(date +%F.%T -d @$(( $(date -d "$(echo $*|sed 's/[_.]/ /g')" +%s) + 60*45 )) )
+  in_secs="$(date -d "${*//[_.]/ }" +%s)"
+  m t out -a "$(date +%F.%T -d @$(( in_secs + 60*45 )) )"
   t s w
 }
 
 arbttlog() { arbtt-dump "$@" | grep -v '( )\|Current Desktop' | sed -rn '/^[^ ]/{N;s/^(.{21})([0-9]*)[0-9]{3}m.*\(\*/\1\2/;s/^(.{21})[0-9]*.*\(\*/\1/;s/\n//;p}' ;   }
 
 idea() {
-  /a/opt/idea-IC-163.7743.44/bin/idea.sh "$@" &r
+  /a/opt/idea-IC-163.7743.44/bin/idea.sh "$@" & r
 }
 
+ilogs-local() {
+  cd /var/lib/znc/moddata/log/iank/freenode/
+  hr
+  for x in "#$1/"*; do
+    base=${x##*/}
+    files=()
+    for f in $@; do
+      tmp=\#$f/$base
+      if [[ -e $tmp ]]; then
+        files+=(\#$f/$base)
+      fi
+    done
+    sed \"s/^./${base%log}/\" ${files[@]}|sort -n
+    hr
+  done
+}
 ilogs() {
-  ssh root@iankelling.org "cd /var/lib/znc/moddata/log/iank/freenode/ && hr && for x in \#$1/*; do base=\${x##*/}; files=(); for f in $@; do tmp=\#\$f/\$base; if [[ -e \$tmp ]]; then files+=(\#\$f/\$base); fi; done; sed \"s/^./\${base%log}/\" \${files[@]}|sort -n; hr; done"
+  sl root@iankelling.org ilogs-local "$@"
 }
 
+
+ilog-local() {
+  local d chan
+  chan="$1"
+  d=/var/lib/znc/moddata/log/iank/
+  for n in freenode libera; do
+    cd $d$n/"$chan" && hr
+    for x in *; do
+      echo $x; sed "s/^./${x%log}/" $x; hr;
+    done
+  done
+}
 ilog() {
-  chan=${1:-#fsfsys}
+  local chan
+  chan="${1:-#fsfsys}"
   # use * instead of -r since that does sorted order
-  ssh root@iankelling.org "for n in freenode libera; do cd /var/lib/znc/moddata/log/iank/\$n/$chan && hr && for x in *; do echo \$x; sed \"s/^./\${x%log}/\" \$x; hr; done; done" | less +G
+  sl root@iankelling.org ilog-local "$chan" | less +G
 }
 
 o() {
@@ -1107,11 +2051,19 @@ jrf() { journalctl -n 200 -f "$@" ; }
 
 ccomp journalctl jtail jr jrf
 
-kff() { # keyboardio firmware flash. you must hold down the tilde key
-  pushd /a/opt/Model01-Firmware
-  # if we didn't want this yes hack, then remove "shell read" from
-  # /a/opt/Kaleidoscope/etc/makefiles/sketch.mk
-  yes $'\n' | VERBOSE=1 make flash
+## old version for model01. i need to get that firmware working again.
+# kff() { # keyboardio firmware flash. you must hold down the tilde key
+#   pushd /a/opt/Model01-Firmware
+#   # if we didn't want this yes hack, then remove "shell read" from
+#   # /a/opt/Kaleidoscope/etc/makefiles/sketch.mk
+#   yes $'\n' | VERBOSE=1 make flash
+#   popd
+# }
+
+
+kff() {
+  pushd /a/opt/Kaleidoscope/examples/Devices/Keyboardio/Model100
+  make flash
   popd
 }
 
@@ -1136,11 +2088,12 @@ wghole() {
   host=$1
   ipsuf=$2
   mkdir -p /p/c/machine_specific/$host/filesystem/etc/wireguard
-  cd /p/c/machine_specific/$host/filesystem/etc/wireguard
-  umask_orig=$(umask)
-  umask 0077
-  wg genkey | tee hole-priv.key | wg pubkey > hole-pub.key
-  cat >wghole.conf <<EOF
+  (
+    cd /p/c/machine_specific/$host/filesystem/etc/wireguard
+    umask_orig=$(umask)
+    umask 0077
+    wg genkey | tee hole-priv.key | wg pubkey > hole-pub.key
+    cat >wghole.conf <<EOF
 [Interface]
 # contents hole-priv.key
 PrivateKey = $(cat hole-priv.key)
@@ -1157,15 +2110,15 @@ AllowedIPs = 10.8.0.0/24
 Endpoint = 72.14.176.105:1194
 PersistentKeepalive = 25
 EOF
-  umask $umask_orig
-  # old approach. systemd seems to work fine and cleaner.
-  rm -f ../network/interfaces.d/wghole
-  cedit -q $host /p/c/machine_specific/li/filesystem/etc/wireguard/wgmail.conf <<EOF || [[ $? == 1 ]]
+    umask $umask_orig
+    # old approach. systemd seems to work fine and cleaner.
+    rm -f ../network/interfaces.d/wghole
+    cedit -q $host /p/c/machine_specific/li/filesystem/etc/wireguard/wgmail.conf <<EOF || [[ $? == 1 ]]
 [Peer]
 PublicKey = $(cat hole-pub.key)
 AllowedIPs = 10.8.0.$ipsuf/32
 EOF
-  cd - >/dev/null
+  )
 }
 
 
@@ -1218,7 +2171,7 @@ lom() {
       m sudo losetup $l $fs_file
     fi
     if ! sudo cryptsetup status /dev/mapper/$base &>/dev/null; then
-      if ! sudo cryptsetup luksOpen $l $base; then
+      if ! sudo cryptsetup luksOpen $l $base; then
         m sudo losetup -d $l
         return 1
       fi
@@ -1369,6 +2322,9 @@ mpvm() {
   # get page source of https://en.wikipedia.org/w/index.php?title=Video_file_format&action=edit
   # into /a/x.log, then
   # grep '^| *\.' /a/x.log | sed 's/| *//;s/,//g'
+
+  #  note: to join them together for a regex, do:
+  # old=; for e in ${extensions[@]/./}; do if [[ ! $old ]]; then old=$e; continue; fi; echo -n "$old|"; old=$e; done; echo $e
   extensions=(
     .webm
     .mkv
@@ -1419,15 +2375,21 @@ myirc() {
   if [[ ! $1 ]]; then
     set -- fsf-office
   fi
-  local d1 d2
+  local -a d
   d=( /var/lib/znc/moddata/log/iank/{freenode,libera} )
   # use * instead of -r since that does sorted order
-  ssh root@iankelling.org "for f in ${d[@]}; do cd \$f/#$1; grep '\<iank.*' *; done" | cut --complement -c12-16
+  ssh root@iankelling.org "for f in ${d[*]}; do cd \$f/#$1; grep '\<iank.*' *; done" | cut --complement -c12-16
 }
 mypidgin() {
   c /p/c/.purple/logs/jabber/iank@fsf.org/office@conference.fsf.org.chat
   for x in *.html; do html2text -o ${x%.html}.txt $x; done;
-  grep -A1 ') iank:' *.txt | sed -r 's/^(.{10})[^ ]*\.txt:\(?([^ ]*)[[:space:]](..). iank:/\1_\2_\3/;s/^[^ ]*\.txt-//;/^--$/d;s/^[^ ]*\.txt:\((.{2}).(.{2}).(.{4}) (.{8}) (.{2})\)?/\3-\1-\2_\4_\5/' | sed -n 'x;1d;0~2{G;s/\n/ /;p};${x;p}'
+  # shellcheck disable=SC2016 # false positive on ${
+  grep -A1 ') iank:' ./*.txt \
+    | sed -r 's/^(.{10})[^ ]*\.txt:\(?([^ ]*)[[:space:]](..). iank:/\1_\2_\3/
+s/^[^ ]*\.txt-//
+/^--$/d
+s/^[^ ]*\.txt:\((.{2}).(.{2}).(.{4}) (.{8}) (.{2})\)?/\3-\1-\2_\4_\5/' \
+    | sed -n 'x;1d;0~2{G;s/\n/ /;p};${x;p}'
 }
 allmyirc() {
   local d
@@ -1435,6 +2397,40 @@ allmyirc() {
   ssh root@iankelling.org "cd $d; find . -mtime -60 -type f -exec grep '\<iank.*' {} +" | sed -r 's,^..([^/]*)/(.{11})(.{5})(.{8}).,\2\4 \1,' | sort
 }
 
+# usage: debvm DEBIAN_VERSION RAM_MB
+debvm() {
+  local ver ram fname src
+  ver=$1
+  ram=${2:-2024}
+  # * is because it might have -backports in the name. we only expect 1 expansion
+  fnames=( debian-$ver-*nocloud-"$(dpkg --print-architecture)".qcow2 )
+  if (( ${#fnames[@]} >= 2 )); then
+    echo "error: iank: unexpected multiple files"
+    return 1
+  fi
+  fname="${fnames[0]}"
+  src=/a/opt/roms/$fname
+  if [[ ! -f $src ]]; then
+    echo debvm: not found $src, download from eg: https://cloud.debian.org/images/cloud/buster/latest/
+    return 1
+  fi
+  cp -a $src /t
+  # note, in fai-revm we do this: not sure why, maybe because of br device
+  # --graphics spice,listen=0.0.0.0
+  m s virt-install --osinfo debian11 --rng /dev/urandom -n deb${ver}tmp --import -r $ram --vcpus 2 --disk /t/$fname --graphics spice
+  # note: to ssh into this machine will require host key generation: ssh-keygen -A
+
+  # random: for cvs2git on gnu www, use debian 10. I could use trisquel,
+  # but happen to want to try out the debian cloud images. the upstream
+  # requires python2 and hasn't really changed since the version in d10.
+  #
+  # apt install cvs2git cvs
+  # # 7G was not enough
+  # mount -o mode=1777,nosuid,nodev,size=34G -t tmpfs tmpfs /tmp
+  # cvs2git --encoding utf_8 --fallback-encoding ascii --dumpfile=dump www-rsync/www |& tee /tmp/l
+  ## www-rsync is an rsynced copy of the cvsfrom savannah
+}
+
 mygajim() {
   local time time_sec time_pretty days
   days=${1:-16}
@@ -1713,7 +2709,7 @@ To: alerts@iankelling.org
 Subject: $*
 EOF
   else
-    read sub
+    read -r sub
     { cat <<EOF
 From: alertme@b8.nz
 To: alerts@iankelling.org
@@ -1732,7 +2728,7 @@ To: daylert@iankelling.org
 Subject: $*
 EOF
   else
-    read sub
+    read -r sub
     { cat <<EOF
 From: alertme@b8.nz
 To: daylert@iankelling.org
@@ -1802,7 +2798,8 @@ weblert() {
 
 torshell() {
   # per man torsocks
-  source `type -p torsocks` on
+  # shellcheck disable=SC1090 # expected
+  source "$(type -p torsocks)" on
 }
 
 eless2() {
@@ -1870,7 +2867,7 @@ tk() {
 tm() {
   # timer in minutes
   # --no-config
-  (sleep $(calc "$* * 60") && mpv --no-config --volume 50 /a/bin/data/alarm.mp3) > /dev/null 2>&1 &
+  (sleep "$(calc "$* * 60")" && mpv --no-config --volume 50 /a/bin/data/alarm.mp3) > /dev/null 2>&1 &
 }
 
 trg() { transmission-remote-gtk & r; }
@@ -2003,7 +3000,7 @@ spamnn() {
   m sudo nsenter -t $spamdpid -n -m sudo -u Debian-exim spamassassin "$@"
 }
 unboundbash() {
-  m sudo nsenter -t $(systemctl status unbound| sed -n '/^ *Main PID:/s/[^0-9]//gp') -n -m sudo -u $USER -i bash
+  m sudo nsenter -t "$(systemctl status unbound| sed -n '/^ *Main PID:/s/[^0-9]//gp')" -n -m sudo -u $USER -i bash
 }
 
 nmtc() {
@@ -2037,7 +3034,7 @@ mailnncheck() {
 
 
 vpncmd() {
-  m sudo -E env "PATH=$PATH" nsenter -t $(pgrep -f "/usr/sbin/openvpn .* --config /etc/openvpn/.*client.conf") -n "$@"
+  m sudo -E env "PATH=$PATH" nsenter -t "$(pgrep -f "/usr/sbin/openvpn .* --config /etc/openvpn/.*client.conf")" -n "$@"
 }
 
 vpni() {
@@ -2144,7 +3141,7 @@ sysd-deps() {
 
 fixvpndns() {
   local link istls
-  read _ link _ istls < <(resolvectl dnsovertls tunfsf)
+  read -r _ link _ istls < <(resolvectl dnsovertls tunfsf)
   case $istls in
     yes|no) : ;;
     *) echo fixvpndns error: unexpected istls value: $istls >&2; return 1 ;;
@@ -2171,8 +3168,8 @@ vpnc() {
 
 vspicy() { # usage: VIRSH_DOMAIN
   # connect to vms made with virt-install
-  spicy -p $(sudo virsh dumpxml "$1"|grep "<graphics.*type='spice'"|\
-               sed -r "s/.*port='([0-9]+).*/\1/")
+  spicy -p "$(sudo virsh dumpxml "$1"|grep "<graphics.*type='spice'"|\
+               sed -r "s/.*port='([0-9]+).*/\1/")"
 }
 
 wian() {
@@ -2207,6 +3204,11 @@ monero() {
 }
 
 
+# rg my main files
+rgm() {
+  rg "$@" /p/pd.org /p/w.org /a/t.org /a/work.org /b
+}
+
 reset-konsole() {
   # we also have a file in /a/c/...konsole...
   local f=$HOME/.config/konsolerc
@@ -2259,6 +3261,10 @@ EOF
 }
 
 
+# very useful, copy directory structure 3 deep. add remove /*/ to change level
+# rsync -aivh  --exclude '/*/*/*/' -f"+ */" -f"- *" SRC DEST
+
+
 # * stuff that makes sense to be at the end
 if [[ "$SUDOD" ]]; then
   # allow failure, for example if we are sudoing into a user with diffferent/lesser permissions.