big fix switch-mail-host plus minor improvements
[distro-setup] / brc
diff --git a/brc b/brc
index 5f43270c3c9e516864451eb357515db853756764..83721fc80fe6a20d9d0daee14de886149ed8b546 100644 (file)
--- a/brc
+++ b/brc
@@ -224,6 +224,7 @@ export PROFILE_TASKS_TASK_OUTPUT_LIMIT=100
 # i for insensitive. the rest from
 # X means dont remove the current screenworth of output upon exit
 # R means to show colors n things
+# a useful flag is -F aka --quit-if-one-screen
 export LESS=RXij12
 export SYSTEMD_LESS=$LESS
 
@@ -260,6 +261,8 @@ if [[ $SOE ]]; then
 fi
 
 
+
+
 mysrc() {
   local path dir file
   path=$1
@@ -276,11 +279,33 @@ mysrc() {
 mysrc /a/bin/small-misc-bash/ll-function
 mysrc /a/bin/distro-functions/src/package-manager-abstractions
 
+# things to remember:
+# ALT-C - cd into the selected directory
+# CTRL-T - Paste the selected file path into the command line
+#
+# good guide to some of its basic features is the readme file
+# https://github.com/junegunn/fzf
+
+# if [[ -s /usr/share/doc/fzf/examples/key-bindings.bash ]]; then
+#   source /usr/share/doc/fzf/examples/key-bindings.bash
+# fi
 
 # * functions
-ccomp() { # copy completion
-  local src=$1
-  local c
+
+### begin FSF section ###
+
+# Comments before functions are meant to be good useful
+# documentation. If they fail at that, please improve them or send Ian a
+# note.
+
+## copy bash completion
+# Usage: ORIGINAL_COMMAND TARGET_COMMAND...
+#
+# It copies how the bash completion works from one command to other
+# commands.
+ccomp() {
+  local c src
+  src=$1
   shift
   if ! c=$(complete -p $src 2>/dev/null); then
     _completion_loader $src &>/dev/null ||:
@@ -292,6 +317,277 @@ ccomp() { # copy completion
   eval $c $*
 }
 
+## directory history tracking and navigation.
+#
+# cd becomes a function, also aliased to c. b to go back, f to go
+# forward, cl to list recent directories and choose one.
+#
+# The finer details you may want to skip:
+#
+# We also define bl to print the list of back and forward directories.
+#
+# We keep 2 stacks, forward and back. Unlike with a web browser, the
+# forward stack is not erased when going somewhere new.
+#
+# Recent directories are stored in ~/.cdirs.
+#
+declare -a _dir_forward _dir_back
+c() {
+  # normally, the top of _dir_back is our current dir. if it isn't,
+  # put it on there, except we don't want to do that when we
+  # just launched a shell
+  if [[ $OLDPWD ]]; then
+    if (( ${#_dir_back[@]} == 0 )) || [[ ${_dir_back[-1]} != "$PWD" ]]; then
+      _dir_back+=("$PWD")
+    fi
+  fi
+  command cd "$@"
+  if (( ${#_dir_back[@]} == 0 )) || [[ ${_dir_back[-1]} != "$PWD" ]]; then
+    _dir_back+=("$PWD")
+  fi
+  echo "$PWD" >> ~/.cdirs
+}
+ccomp cd c
+
+# back
+b() {
+  local top_back
+  if (( ${#_dir_back[@]} == 0 )); then
+    echo "nothing left to go back to" >&2
+    return 0
+  fi
+  top_back="${_dir_back[-1]}"
+
+  if [[ $top_back == "$PWD" ]] && (( ${#_dir_back[@]} == 1 )); then
+    echo "already on last back entry" >&2
+    return 0
+  fi
+
+
+  if [[ $top_back == "$PWD" ]]; then
+    # add to dirf if not already there
+    if (( ${#_dir_forward[@]} == 0 )) || [[ ${_dir_forward[-1]} != "$top_back" ]]; then
+      _dir_forward+=("$top_back")
+    fi
+    unset "_dir_back[-1]"
+    command cd "${_dir_back[-1]}"
+  else
+    if (( ${#_dir_forward[@]} == 0 )) || [[ ${_dir_forward[-1]} != "$PWD" ]]; then
+      _dir_forward+=("$PWD")
+    fi
+    command cd "$top_back"
+  fi
+
+  # Interesting feature, not sure I want it.
+  # give us a peek at what is next in the list
+  # if (( ${#_dir_back[@]} >= 2 )); then
+  #   printf "%s\n" "${_dir_back[-2]}"
+  # fi
+  #
+
+  # c/b/f Implementation notes:
+  #
+  # The top of the back is $PWD
+  # as long as the last directory change was due to c,b,or cl.
+  #
+  # Example of stack changes:
+  #
+  # a b c (d)
+  ## back
+  # a b (c)
+  # d
+  #back
+  #a (b)
+  #d c
+  #back
+  #(a)
+  #d c b
+  #forward
+  #a (b)
+  #d c
+  #
+  # a b c
+  ## back
+  # a b
+  # (c)
+  ## forward
+
+}
+# forward
+f() {
+  local top_forward
+  if (( ${#_dir_forward[@]} == 0 )); then
+    echo "no forward dir left" >&2
+    return 0
+  fi
+  top_forward="${_dir_forward[-1]}"
+  unset "_dir_forward[-1]"
+  c "$top_forward"
+
+  # give us a peek at what is next in the list
+  # if (( ${#_dir_forward[@]} )); then
+  #   printf "%s\n" "${_dir_forward[-1]}"
+  # fi
+}
+# cd list
+cl() {
+  local i line input start
+  local -A buttondirs alines
+  local -a buttons dirs lines
+  buttons=( {a..z} {2..9} )
+  if [[ ! -s ~/.cdirs ]]; then
+    echo nothing in ~/.cdirs
+    return 0
+  fi
+
+  i=0
+
+  mapfile -t lines <~/.cdirs
+  start=$(( ${#lines[@]} - 1 ))
+
+  # we have ~33 buttons as of this writing, so lets
+  # prune down the history every once in a while.
+  if (( start > 500 )); then
+    tac ~/.cdirs | awk '!seen[$0]++' | head -n 200 | tac | sponge ~/.cdirs || [[ $? == 141 ]]
+  fi
+
+  for (( j=$start; j >= 0; j-- )); do
+    line="${lines[$j]}"
+    if [[ ! $line || ${alines[$line]} || ! -d "$line" || $line == "$PWD" || line == "$HOME"  ]]; then
+      continue
+    fi
+    alines[$line]=t
+    buttondirs[${buttons[i]}]="$line"
+    printf "%s %s\n" ${buttons[i]} "$line"
+    if (( i == ${#buttons[@]} - 1 )); then
+      break
+    fi
+    i=$(( i + 1 ))
+  done
+
+  if (( i == 0 )); then
+    echo "no dirs in ~/.cdirs"
+    return 0
+  fi
+  read -r -N 1 input
+  if [[ $input != $'\n' ]]; then
+    c "${buttondirs[$input]}"
+  fi
+}
+# back list
+bl() {
+  local start i j max
+  max=10
+  start=$(( ${#_dir_back[@]} - 1 ))
+
+  # cleanup possible repeating of pwd
+  if (( start >= 0 )) && [[ ${_dir_back[$start]} == "$PWD" ]]; then
+    start=$(( start - 1 ))
+  fi
+  j=1
+  if (( start >= 0 )); then
+    for (( i=$start; i >= 0 ; i-- )); do
+      printf "%s %s\n" $j ${_dir_back[i]}
+      j=$(( j + 1 ))
+      if (( j >= max )); then
+        break
+      fi
+    done
+  fi
+
+  max=10
+  start=$(( ${#_dir_forward[@]} - 1 ))
+
+  # cleanup possible repeating of pwd
+  if (( start >= 0 )) && [[ ${_dir_forward[$start]} == "$PWD" ]]; then
+    start=$(( start - 1 ))
+  fi
+  if (( start < 0 )); then
+    return 0
+  fi
+  echo --
+  j=1
+  for (( i=$start; i >= 0 ; i-- )); do
+    printf "%s %s\n" $j ${_dir_forward[i]}
+    j=$(( j + 1 ))
+    if (( j >= max )); then
+      break
+    fi
+  done
+}
+
+# pee do. run args as a command with output copied to syslog.
+#
+# Usage: pd [-t TAG] COMMAND...
+#
+# -t TAG Override the tag in the syslog. The default is COMMAND with
+#        any path part is removed, eg. for /bin/cat the tag is cat.
+#
+# You can view the log via "journalctl -t TAG"
+pd() {
+  local tag ret
+  ret=0
+  tag=${1##*/}
+  case $1 in
+    -t) tag="$2"; shift 2 ;;
+  esac
+  echo "PWD=$PWD command: $*" | logger -t $tag
+  "$@" |& pee cat "logger -t $tag" || ret=$?
+  echo "exited with status=$ret" | pee cat "logger -t $tag"
+  # this avoids any err-catch
+  (( $ret == 0 )) || return $ret
+}
+ccomp time pd
+
+# jdo = journal do. Run command as transient systemd service, tailing
+# its output in the journal until it completes.
+#
+# Usage: jdo COMMAND...
+#
+# Compared to pd: commands recognize this is a non-interactive shell.
+# The service is unaffected if our ssh connection dies, no need to run
+# in screen or tmux.
+#
+# Note: The last few lines of any existing entries for a unit by that
+# name will be output first, and there will be a few second delay at the
+# start of the command, and a second or so at the end.
+#
+# Note: Functions and aliases obviously won't work, we resolve the
+# command to a file.
+#
+# Note: requires running as root.
+jdo() {
+  local cmd cmd_name jr_pid ret
+  ret=0
+  cmd="$1"
+  shift
+  if [[ $EUID != 0 ]]; then
+    echo "jdo: error: rerun as root"
+    return 1
+  fi
+  cmd_name=${cmd##*/}
+  if [[ $cmd != /* ]]; then
+    cmd=$(type -P "$cmd")
+  fi
+  # -q = quiet
+  journalctl -qn2 -f -u "$cmd_name" &
+  # Trial and error of time needed to avoid missing initial lines.
+  # .5 was not reliable. 1 was not reliable. 2 was not reliable
+  sleep 4
+  jr_pid=$!
+  systemd-run --unit "$cmd_name" --wait --collect "$cmd" "$@" || ret=$?
+  # The sleep lets the journal output its last line
+  # before the prompt comes up.
+  sleep .5
+  kill $jr_pid &>/dev/null ||:
+  unset jr_pid
+  fg &>/dev/null ||:
+  # this avoids any err-catch
+  (( $ret == 0 )) || return $ret
+}
+ccomp time jdo
+#### end fsf section
+
 
 ..() { c ..; }
 ...() { c ../..; }
@@ -368,6 +664,21 @@ khcopy() {
   ssh-copy-id $1
 }
 
+# ya, hacky hardcoded hostnames in 2023. we could do better
+hssh-update() {
+  local -a failed_hosts
+  for host in kd x3.office.fsf.org syw; do
+    e $host
+    if ! scp /b/fai/fai/config/files/usr/local/bin/hssh/IANK root@$host:/usr/local/bin/hssh; then
+      failed_hosts+=($host)
+    fi
+  done
+  if (( ${#failed_hosts[@]} >= 1 )); then
+    echo failed_hosts=${failed_hosts[*]}
+    return 1
+  fi
+}
+
 a() {
   local x
   x=$(readlink -nf "${1:-$PWD}")
@@ -391,247 +702,72 @@ hexipv4() {
 }
 
 vp9() {
-  local f out outdir in
+  local f out outdir in fname origdir skip1
+  origdir="$PWD"
   outdir=vp9
-  case $1 in
-    --out)
-      outdir=$2
-      shift 2
-      ;;
-  esac
+  skip1=false
+  while [[ $1 == -* ]]; do
+    case $1 in
+      # if we got interrupted after 1st phase
+      -2)
+        skip1=true
+        shift
+        ;;
+      --out)
+        outdir=$2
+        shift 2
+        ;;
+    esac
+  done
   m mkdir -p $outdir
+  # first pass only uses about 1 cpu, so run in parallel
   for f; do
-    out=$PWD/$outdir/$f
-    in=$PWD/$f
-    m cd $(mktemp -d)
-    pwd
-    m ffmpeg -threads 0 -i $in -g 192 -vcodec libvpx-vp9 -vf scale=-1:720 -max_muxing_queue_size 9999  -b:v 750K -pass 1 -an -f null /dev/null
-    m ffmpeg -y -threads 0 -i $in -g 192 -vcodec libvpx-vp9 -vf scale=-1:720 -max_muxing_queue_size 9999 -b:v 750K -pass 2 -c:a libvorbis -qscale:a 5 $out
-    cd -
+    {
+      fname="${f##*/f}"
+      if [[ $f == /* ]]; then
+        in="$f"
+      else
+        in=$origdir/$f
+      fi
+      out="$origdir/$outdir/$fname"
+      mkdir -p /tmp/vp9/$fname
+      cd /tmp/vp9/$fname
+      if ! $skip1 && [[ ! -s ffmpeg2pass-0.log ]]; then
+        # -nostdin or else wait causes ffmpeg to go into stopped state. dunno why, random stackoverflow answer.
+        m ffmpeg -nostdin -hide_banner -loglevel error -i $in -g 192 -vcodec libvpx-vp9 -vf scale=-1:720 -max_muxing_queue_size 9999  -b:v 750K -pass 1 -an -f null /dev/null
+      fi
+      if [[ -e $out ]]; then rm -f $out; fi
+      m ffmpeg -nostdin -hide_banner -loglevel error -y -i $in -g 192 -vcodec libvpx-vp9 -tile-rows 2 -vf scale=-1:720 -max_muxing_queue_size 9999 -b:v 750K -pass 2 -c:a libvorbis -qscale:a 5 $out
+    } &
   done
+  wait -f
+  cd "$origdir"
 }
 
 utcl() { # utc 24 hour time to local hour 24 hour time
   echo "print( ($1  $(date +%z | sed -r 's/..$//;s/^(-?)0*/\1/')) % 24)"|python3
 }
 
-declare -a _iankdirf _iankdirb
-
-
-# ## old wcd, to be deleted
-# b() {
-#   # backwards
-#   c -
-# }
-# # shellcheck disable=SC2032
-# f() {
-#   # cd forward
-#   c +
-# }
-# cl() {
-#   # choose recent directory. cl = cd list
-#   c =
-# }
-# # c. better cd
-# if ! type -t c &>/dev/null; then
-#   if type -p wcd &>/dev/null; then
-#     if [[ $LC_INSIDE_EMACS ]]; then
-#       c() { wcd -c -z 50 -o "$@"; }
-#     else
-#       # lets see what the fancy terminal does from time to time
-#       c() { wcd -c -z 50 "$@"; }
-#     fi
-#   else
-#     c() { cd "$@"; }
-#   fi
-# fi
-
-# c. better cd.
-# keep 2 stacks, forward and back. the top of the back is $PWD
-# as long as the last directory change was due to c,b,or cl.
-c() {
-  # normally, the top of dirb is our current dir. if it isn't,
-  # put it on there, except we don't want to do that when we
-  # just launched a shell
-  if [[ $OLDPWD ]]; then
-    if (( ${#_iankdirb[@]} == 0 )) || [[ ${_iankdirb[-1]} != "$PWD" ]]; then
-      _iankdirb+=("$PWD")
-    fi
-  fi
-  cd "$@"
-  if (( ${#_iankdirb[@]} == 0 )) || [[ ${_iankdirb[-1]} != "$PWD" ]]; then
-    _iankdirb+=("$PWD")
-  fi
-  echo "$PWD" >> ~/.iankdirs
-}
-ccomp cd c
-
 bwm() {
   s bwm-ng -T avg -d
 }
 
-b() {
-  local topb
-  if (( ${#_iankdirb[@]} == 0 )); then
-    echo "nothing left to go back to" >&2
-    return 0
-  fi
-  topb="${_iankdirb[-1]}"
-
-  if [[ $topb == "$PWD" ]] && (( ${#_iankdirb[@]} == 1 )); then
-    echo "already on last back entry" >&2
-    return 0
-  fi
-
-
-  if [[ $topb == "$PWD" ]]; then
-    # add to dirf if not already there
-    if (( ${#_iankdirf[@]} == 0 )) || [[ ${_iankdirf[-1]} != "$topb" ]]; then
-      _iankdirf+=("$topb")
-    fi
-    unset "_iankdirb[-1]"
-    cd "${_iankdirb[-1]}"
-  else
-    if (( ${#_iankdirf[@]} == 0 )) || [[ ${_iankdirf[-1]} != "$PWD" ]]; then
-      _iankdirf+=("$PWD")
-    fi
-    cd "$topb"
-  fi
-
-  # give us a peek at what is next in the list
-  # if (( ${#_iankdirb[@]} >= 2 )); then
-  #   printf "%s\n" "${_iankdirb[-2]}"
-  # fi
-}
-
-f() {
-  local topf
-  if (( ${#_iankdirf[@]} == 0 )); then
-    echo "no forward dir left" >&2
-    return 0
-  fi
-  topf="${_iankdirf[-1]}"
-  unset "_iankdirf[-1]"
-  c "$topf"
-
-  # give us a peek at what is next in the list
-  # if (( ${#_iankdirf[@]} )); then
-  #   printf "%s\n" "${_iankdirf[-1]}"
-  # fi
-}
-
-# a b c (d)
-## back
-# a b (c)
-# d
-#back
-#a (b)
-#d c
-#back
-#(a)
-#d c b
-#forward
-#a (b)
-#d c
-#
-# a b c
-## back
-# a b
-# (c)
-## forward
-
-cl() {
-  local i line input start tmpfile
-  local -A buttondirs alines
-  local -a buttons dirs lines
-  buttons=( {a..z} {2..9} )
-  if [[ ! -s ~/.iankdirs ]]; then
-    echo nothing in ~/.iankdirs
-    return 0
-  fi
-
-  i=0
-
-  # note, alternate approach like this, made the following read fail
-  # done < <(tac ~/.iankdirs | awk '!seen[$0]++')
-  # bash: read: read error: 0: Input/output error
-  # which went away by adding a sleep 1 after it.
-
-  mapfile -t lines <~/.iankdirs
-  start=$(( ${#lines[@]} - 1 ))
 
-  # we have ~33 buttons as of this writing, so lets
-  # prune down the history every once in a while.
-  if (( start > 500 )); then
-    tmpfile=$(mktemp)
-    tac ~/.iankdirs | awk '!seen[$0]++' | head -n 200 >$tmpfile
-    cat $tmpfile > ~/.iankdirs
-  fi
-
-  for (( j=$start; j >= 0; j-- )); do
-    line="${lines[$j]}"
-    if [[ ! $line || ${alines[$line]} || ! -d "$line" || $line == "$PWD" || line == "$HOME"  ]]; then
-      continue
-    fi
-    alines[$line]=t
-    buttondirs[${buttons[i]}]="$line"
-    printf "%s %s\n" ${buttons[i]} "$line"
-    if (( i == ${#buttons[@]} - 1 )); then
-      break
-    fi
-    i=$(( i + 1 ))
+# for running in a fai rescue. iank specific.
+kdrescue() {
+  d=vgata-Samsung_SSD_850_EVO_2TB_S2RLNX0J502123D
+  for f in $d vgata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V; do
+    cryptsetup luksOpen --key-file /p /dev/$f/root crypt-$f-root
+    cryptsetup luksOpen --key-file /p /dev/$f/o crypt-$f-o
   done
-
-  if (( i == 0 )); then
-    echo "no dirs in ~/.iankdirs"
-    return 0
-  fi
-  read -r -N 1 input
-  if [[ $input != $'\n' ]]; then
-    c ${buttondirs[$input]}
-  fi
+  mount -o subvol=root_trisquelaramo /dev/mapper/crypt-$d-root /mnt
+  mount -o subvol=a /dev/mapper/crypt-$d-root /mnt/a
+  mount -o subvol=o /dev/mapper/crypt-$d-o /mnt/o
+  mount -o subvol=boot_trisquelaramo /dev/sda2 /mnt/boot
+  cd /mnt
+  chrbind
 }
-bl() {
-  local start i j max
-  max=10
-  start=$(( ${#_iankdirb[@]} - 1 ))
-
-  # cleanup possible repeating of pwd
-  if (( start >= 0 )) && [[ ${_iankdirb[$start]} == "$PWD" ]]; then
-    start=$(( start - 1 ))
-  fi
-  j=1
-  if (( start >= 0 )); then
-    for (( i=$start; i >= 0 ; i-- )); do
-      printf "%s %s\n" $j ${_iankdirb[i]}
-      j=$(( j + 1 ))
-      if (( j >= max )); then
-        break
-      fi
-    done
-  fi
-
-  max=10
 
-  start=$(( ${#_iankdirf[@]} - 1 ))
-
-  # cleanup possible repeating of pwd
-  if (( start >= 0 )) && [[ ${_iankdirf[$start]} == "$PWD" ]]; then
-    start=$(( start - 1 ))
-  fi
-  if (( start < 0 )); then
-    return 0
-  fi
-  echo --
-  j=1
-  for (( i=$start; i >= 0 ; i-- )); do
-    printf "%s %s\n" $j ${_iankdirf[i]}
-    j=$(( j + 1 ))
-    if (( j >= max )); then
-      break
-    fi
-  done
-}
 
 
 
@@ -750,6 +886,10 @@ cat-new-files() {
 
 }
 
+chownme() {
+  s chown -R $USER:$USER "$@"
+}
+
 # shellcheck disable=SC2032
 chown() {
   # makes it so chown -R symlink affects the symlink and its target.
@@ -770,6 +910,12 @@ cim() {
 d() { builtin bg "$@"; }
 ccomp bg d
 
+# f would be more natural, but i already am using it for something
+z() { builtin fg "$@"; }
+ccomp fg z
+
+x() { builtin kill %%; }
+
 dc() {
   diff --strip-trailing-cr -w "$@"   # diff content
 }
@@ -783,6 +929,26 @@ despace() {
   done
 }
 
+# df progress
+# usage: dfp MOUNTPOINT [SECOND_INTERVAL]
+# SECOND_INTERVAL defaults to 90
+dfp() {
+  # mp = mountpoint
+  local a b mp interval
+  mp=$1
+  interval=${2:-90}
+  if [[ ! $mp ]]; then
+    echo "dfp: error, missing 1st arg" >&2
+    return 1
+  fi
+  while true; do
+    a=$(df --output=used $mp | tail -n1)
+    sleep $interval
+    b=$(df --output=used $mp | tail -n1)
+    printf "used mib: %'d  mib/min: %s\n" $(( b /1000 )) $(( (b-a) / (interval * 1000 / 60 ) ))
+  done
+}
+
 # get ipv4 ip from HOST. or if it is already a number, return that
 hostip() {
   local host="$1"
@@ -830,13 +996,18 @@ digdiff() {
   diff -u /tmp/digdiff <(digsort $s2 "$@")
 }
 
+# date in a format i like reading
 dt() {
   date "+%A, %B %d, %r" "$@"
 }
 dtr() {
   date -R "$@"
 }
-ccomp date dt dtr
+# date with all digits in a format i like
+dtd() {
+  date +%F_%T% "$@"
+}
+ccomp date dt dtr dtd
 
 dus() { # du, sorted, default arg of
   du -sh ${@:-*} | sort -h
@@ -856,7 +1027,8 @@ ea() {
     printf "%s" "${arg}" |& hexdump -C
   done
 }
-# echo vars. print var including escapes, etc
+
+# echo variables. print var including escapes, etc, like xxd for variable
 ev() {
   if (( ! $# )); then
     echo no args
@@ -890,7 +1062,14 @@ etail2() {
 }
 ccomp tail etail etail2
 
+# ran into this online, trying it out
+detach() {
+  ( "$@" &>/dev/null & disown )
+}
 
+showkeys() {
+  ssh "$@" cat .ssh/authorized_keys{,2}
+}
 
 
 # print exim old pids
@@ -977,6 +1156,20 @@ econfdev() {
   update-exim4.conf -d /tmp/edev/etc/exim4 -o /tmp/edev/e.conf
 }
 
+# exim grep in
+# show important information about incoming mail in the exim log
+egrin() {
+  sed -rn '/testignore|jtuttle|eximbackup/!s/^[^ ]+ ([^ ]+) [^ ]+ [^ ]+ <= ([^ ]+).*T="(.*)" from (<[^ ]+> .*$)/\1 \4\n \3/p' <${1:-/var/log/exim4/mainlog}
+}
+
+# 2nd line is message-id:
+egrinid() {
+  sed -rn '/testignore|jtuttle|eximbackup/!s/^[^ ]+ ([^ ]+) [^ ]+ [^ ]+ <= ([^ ]+).* id=([^ ]+) T="(.*)" from (<[^ ]+> .*$)/\1 \5\n \3\n \4/p' <${1:-/var/log/exim4/mainlog}
+}
+etailin() {
+  tail -F /var/log/exim4/mainlog | sed -rn '/testignore|jtuttle|eximbackup/!s/^[^ ]+ ([^ ]+) [^ ]+ [^ ]+ <= ([^ ]+).*T="(.*)" from (<[^ ]+> .*$)/\1 \4\n \3/p'
+}
+
 
 
 
@@ -995,12 +1188,75 @@ faf() { # find all files. use -L to follow symlinks
        -o -name .undo-tree-history -prune \) -type f 2>/dev/null
 }
 
-# full path without resolving symlinks
+# usage ffconcat FILES_TO_CONCAT OUTPUT_FILE
+ffconcat() {
+  local tmpf
+  tmpf=$(mktemp)
+  printf "file '%s'\n" "$1" >$tmpf
+  while (( $# > 1 )); do
+    shift
+    printf "file '%s'\n" "$1" >>$tmpf
+  done
+  # https://trac.ffmpeg.org/wiki/Concatenate
+  ffmpeg -f concat -safe 0 -i $tmpf -c copy "$1"
+  rm $tmpf
+}
+ffremux() {
+  local tmpf tmpd
+  if (( $# == 0 )); then
+    echo ffremux error expected args >&2
+    return 1
+  fi
+  tmpd=$(mktemp -d)
+  for f; do
+    tmpf=$tmpd/"${f##*/}"
+    ffmpeg -i "$f" -c:v copy -c:a copy $tmpf
+    cat $tmpf >"$f"
+  done
+  rm -r $tmpd
+}
+
+
+
+# absolute path of file/dir without resolving symlinks.
+#
+# Most of the time, I want this where I would normally use readlink.
+# This is what realpath -s does in most cases, but sometimes it
+# actually resolves symlinks, at least when they are in /.
+#
+# Note, if run on a dir, if the final component is relative, it won't
+# resolve that. Use the below fpd for that.
+#
+# note: we could make a variation of this which
+# assigns to a variable name using eval, so that we don't have to do
+# x=$(fp somepath), which might save subshell overhead and look nice,
+# but I'm not going to bother.
 fp() {
-  local dir base
-  base="${1##*/}"
-  dir="${1%$base}"
-  printf "%s/%s\n" $(cd $dir; pwd) "$base"
+  local initial_oldpwd initial_pwd dir base
+  initial_oldpwd="$OLDPWD"
+  initial_pwd="$PWD"
+  if [[ $1 == */* ]]; then
+    dir="${1%/*}"
+    base="/${1##*/}"
+    # CDPATH because having it set will cause cd to possibly print output
+    CDPATH= cd "$dir"
+    printf "%s%s\n" "$PWD" "$base"
+    CDPATH= cd "$initial_pwd"
+    OLDPWD="$initial_oldpwd"
+  else
+    printf "%s/%s\n" "$PWD" "$1"
+  fi
+}
+# full path of directory without resolving symlinks
+fpd() {
+  local initial_oldpwd initial_pwd dir
+  initial_oldpwd="$OLDPWD"
+  initial_pwd="$PWD"
+  dir="$1"
+  CDPATH= cd "$dir"
+  printf "%s%s\n" "$PWD" "$base"
+  cd "$initial_pwd"
+  OLDPWD="$initial_oldpwd"
 }
 
 
@@ -1167,9 +1423,22 @@ ccomp grep gr grr
 rg() { grr "$@"; }
 ccomp grep rg
 
-hr() { # horizontal row. used to break up output
-  printf "$(tput setaf 5 2>/dev/null ||:)█$(tput sgr0 2>/dev/null||:)%.0s" $(eval echo "{1..${COLUMNS:-60}}")
-  echo
+# recursive everything. search for files/dirs and lines. rs = easy chars to press
+re() {
+  local query
+  query="$1"
+  find "$@" -not \( -name .svn -prune -o -name .git -prune \
+       -o -name .hg -prune -o -name .editor-backups -prune \
+       -o -name .undo-tree-history -prune \) 2>/dev/null | grep -iP --color=auto "$query"
+  grr -m 5 "$@"
+}
+
+# horizontal row. used to break up output
+hr() {
+  local blocks
+  # 180 is long enough.
+  blocks=██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████
+  printf "%s\n" "$(tput setaf 5 2>/dev/null ||:)${blocks:0:${COLUMNS:-180}}$(tput sgr0 2>/dev/null||:)"
 }
 # highlight
 hl() {
@@ -1200,9 +1469,13 @@ hrcat() { local f; for f; do [[ -f $f ]] || continue; hr; echo "$f"; cat "$f"; d
 # On first use, you input username/pass and it gets an oath token so you dont have to repeat
 # it\'s at ~/.config/hub
 hub() {
-  local up uptar updir p
-  p=/github/hub/releases/
-  up=https://github.com/$(curl -s https://github.com$p| grep -o $p'download/[^/]*/hub-linux-amd64[^"]*' | head -n1)
+  local up uptar updir p v
+  # example https://github.com/github/hub/releases/download/v2.14.2/hub-linux-amd64-2.14.2.tgz
+  up=$(wget -q -O- https://api.github.com/repos/github/hub/releases/latest | jq -r .assets[].browser_download_url | grep linux-amd64)
+  re='[[:space:]]'
+  if [[ ! $up || $up == $re ]]; then
+    echo "failed to get good update url. got: $up"
+  fi
   uptar=${up##*/}
   updir=${uptar%.tgz}
   if [[ ! -e /a/opt/$updir ]]; then
@@ -1230,6 +1503,21 @@ hub() {
 i() { git "$@"; }
 ccomp git i
 
+# git status:
+# cvs -qn update
+
+# git checkout FILE
+# cvs update -C FILE
+
+# git pull
+# cvs up[date]
+
+# potentially useful command translation
+# https://fling.seas.upenn.edu/~giesen/dynamic/wordpress/equivalent-commands-for-git-svn-and-cvs/
+
+# importing cvs repo into git using git-cvs package:
+# /f/www $ /usr/lib/git-core/git-cvsimport -C /f/www-git
+
 ic() {
   # fast commit all
   git commit -am "$*"
@@ -1240,9 +1528,17 @@ ipp() {
   git push
 }
 
-
 ifn() {
-  # insensitive find
+  local glob
+  glob="$1"
+  shift
+  find -L "$@" -not \( -name .svn -prune -o -name .git -prune \
+       -o -name .hg -prune -o -name .editor-backups -prune \
+       -o -name .undo-tree-history -prune \) -iname "*$glob*" 2>/dev/null
+}
+
+ifh() {
+  # insensitive find here. args are combined into the search string.
   # -L = follow symlinks
   find -L . -not \( -name .svn -prune -o -name .git -prune \
        -o -name .hg -prune -o -name .editor-backups -prune \
@@ -1266,6 +1562,10 @@ istext() {
   grep -Il "" "$@" &>/dev/null
 }
 
+pst() {
+  pstree -apnA
+}
+
 jtail() {
   journalctl -n 10000 -f "$@"
 }
@@ -1275,6 +1575,8 @@ jru() {
   journalctl -u exim4 _SYSTEMD_INVOCATION_ID=$(systemctl show -p InvocationID --value $1)
 }
 
+
+
 l() {
   if [[ $PWD == /[iap] ]]; then
     command ls -A --color=auto -I lost+found "$@"
@@ -1372,7 +1674,7 @@ ksu() { # history search unique
 histrm() {
   history -n
   HISTTIMEFORMAT= history | awk -v IGNORECASE=1 '{ a=$1; sub(/^ *[^ ]+ */, "") }; /'"$*"'/'
-  read -p "press anything but contrl-c to delete"
+  read -r -p "press anything but contrl-c to delete"
   for entry in $(HISTTIMEFORMAT= history | awk -v IGNORECASE=1 '{ a=$1; sub(/^ *[^ ]+ */, "") }; /'"$*"'/ { print a }' | tac); do
     history -d $entry
   done
@@ -1396,6 +1698,15 @@ ccomp mkdir mkc
 mkct() {
   mkc $(mktemp -d)
 }
+# mkdir the last arg, cp the rest into it
+mkcp() {
+  mkdir -p "${@: -1}"
+  cp "${@:1:$#-1}" "${@: -1}"
+}
+mkmv() {
+  mkdir -p "${@: -1}"
+  mv "${@:1:$#-1}" "${@: -1}"
+}
 
 mkt() { # mkdir and touch file
   local path="$1"
@@ -1455,6 +1766,8 @@ nopanic() {
   ngreset
 }
 
+
+ping() { command ping -O "$@"; }
 p8() { ping "$@" 8.8.8.8; }
 p6() { ping6 "$@" 2001:4860:4860::8888; }
 
@@ -1532,8 +1845,9 @@ r() {
 
 # scp is insecure and deprecated.
 scp() {
-  rsync --inplace "$@"
+  rsync -Pt --inplace "$@"
 }
+ccomp rsync scp
 
 randport() {
   # available high ports are 1024-65535,
@@ -1570,8 +1884,9 @@ rst() {
   # rl without preserving modification time.
   rsync -ahvic --delete --no-t "$@"
 }
-rsu() { # [OPTS] HOST PATH
-  # eg. rlu -opts frodo /testpath
+# [RSYNC_OPTS] HOST PATH
+rsu() {
+  # eg. rsu -opts frodo /testpath
   # relative paths will expanded with readlink -f.
   opts=("${@:1:$#-2}") #  1 to last -2
   path="${*:$#}" # last
@@ -1579,10 +1894,7 @@ rsu() { # [OPTS] HOST PATH
   if [[ $path == .* ]]; then
     path=$(readlink -f $path)
   fi
-  # rync here uses checksum instead of time so we dont mess with
-  # unison relying on time as much. g is for group, same reason
-  # to keep up with unison.
-  m s rsync -rlpchviog --relative "${opts[@]}" "$path" "root@$host:/";
+  m rsync -ahvi --relative --no-implied-dirs "${opts[@]}" "$path" "root@$host:/";
 }
 ccomp rsync rsd rsa rst rsu
 
@@ -1640,10 +1952,20 @@ reresolv() {
   fi
 }
 
+# add annoyingly long argument which should be the default
+sedi() {
+  sed -i --follow-symlinks "$@"
+}
+
 rmstrips() {
   ssh fencepost head -n 300 /gd/gnuorg/EventAndTravelInfo/rms-current-trips.txt | less
 }
 
+urun () {
+  umask $1
+  shift
+  "$@"
+}
 sudo () {
   command sudo "$@" || return $?
   DID_SUDO=true
@@ -1672,7 +1994,9 @@ sb() { # sudo bash -c
   local SUDOD="$PWD"
   sudo -i bash -c "$@"
 }
-ccomp sudo s sb
+# secret sudo
+se() { s urun 0077 "$@"; }
+ccomp sudo s sb se
 
 safe_rename() { # warn and dont rename if file exists.
   # mv -n exists, but it\'s silent
@@ -2141,6 +2465,13 @@ pson() {
   fi
 }
 
+# prometheus node curl
+pnodecurl() {
+  local host
+  host=${1:-127.0.0.1}
+  s curl --cert-type PEM --cert /etc/prometheus/ssl/prometheus_cert.pem --key /etc/prometheus/ssl/prometheus_key.pem --cacert /etc/prometheus/ssl/prom_node_cert.pem --resolve prom_node:9100:$host -v https://prom_node:9100/metrics
+}
+
 tx() { # toggle set -x, and the prompt so it doesnt spam
   if [[ $- == *x* ]]; then
     set +x
@@ -2243,7 +2574,7 @@ s/^\Wcapability: (.*)/\1/;Ta;h;b
 # and changing directory, so we don't have any open
 # directories or files that could cause problems when
 # remounting.
-z() {
+zr() {
   local tmp
   tmp=$(type -p "$1")
   if [[ $tmp ]]; then
@@ -2317,6 +2648,7 @@ spark()
   _spark_echo
 }
 
+pdfwc() { local f; for f; do echo "$f" $(pdfinfo "$f" | awk '/^Pages:/ {print $2}'); done }
 
 # * misc stuff
 
@@ -2380,15 +2712,6 @@ if [[ $- == *i* ]]; then
       history -a # save history
     fi
 
-    # assigned in brc2
-    # shellcheck disable=SC1303
-    if [[ $jr_pid ]]; then
-      if [[ -e /proc/$jr_pid ]]; then
-        kill $jr_pid
-      fi
-      unset jr_pid
-    fi
-
     case $return in
       0) ps_color="$term_purple"
          ps_char='\$'
@@ -2412,6 +2735,10 @@ if [[ $- == *i* ]]; then
     if [[ $MAIL_HOST && $MAIL_HOST != "$HOSTNAME" ]]; then
       ps_char="@ $ps_char"
     fi
+    jobs_char=
+    if [[ $(jobs -p) ]]; then
+      jobs_char='j\j '
+    fi
     # We could test if sudo is active with sudo -nv
     # but then we get an email and log of lots of failed sudo commands.
     # We could turn those off, but seems better not to.
@@ -2421,7 +2748,7 @@ if [[ $- == *i* ]]; then
     if [[ ! $HISTFILE ]]; then
       ps_char="NOHIST $ps_char"
     fi
-    PS1="${PS1%"${PS1#*[wW]}"} $psudo\[$ps_color\]$ps_char\[$term_nocolor\] "
+    PS1="${PS1%"${PS1#*[wW]}"} $jobs_char$psudo\[$ps_color\]$ps_char\[$term_nocolor\] "
 
     # set titlebar. instead, using more advanced
     # titelbar below
@@ -2437,18 +2764,22 @@ if [[ $- == *i* ]]; then
     _title_escape="\033]0;"
   fi
 
+  # make the titlebar be the last command and the current directory.
   settitle () {
-    # this makes it so we show the current command if
-    # one is running, otherwise, show nothing
 
-    if [[ $1 == prompt-command ]]; then
+
+    # These are some checks to help ensure we dont set the title at
+    # times that the debug trap is running other than the case we
+    # want. Some of them might not be needed.
+    if (( ${#FUNCNAME[@]} != 1 || ${#BASH_ARGC[@]} != 2 || $BASH_SUBSHELL != 0 )); then
       return 0
     fi
-    if (( ${#BASH_ARGC[@]} == 1 && BASH_SUBSHELL == 0 )); then
-      echo -ne "$_title_escape ${PWD/#$HOME/~} "
-      printf "%s" "$*"
-      echo -ne "\007"
+    if [[ $1 == prompt-command ]]; then
+      return 0
     fi
+    echo -ne "$_title_escape ${PWD/#$HOME/~} "
+    printf "%s" "$*"
+    echo -ne "\007"
   }
 
   # note, this wont work: