prometheus related updates
[distro-setup] / brc2
diff --git a/brc2 b/brc2
index fa84ca383c4ddbcfe90340caa4f8e10950b0412f..0211a643258562b3dbd5f52284826a0a5c676cb1 100644 (file)
--- a/brc2
+++ b/brc2
@@ -290,7 +290,10 @@ tback() {
 # s sshfs bu@$host:/bu/home/md /bu/mnt -o reconnect,ServerAliveInterval=20,ServerAliveCountMax=30 -o allow_other
 
 eqgo() {
-  enn -M "$(exiqgrep -i -r.\*)"
+  local -a array tmpstr
+  tmpstr=$(exiqgrep -i -r.\*)
+  mapfile -t array <<<"$tmpstr"
+  enn -M "${array[@]}"
 }
 eqgo1() {
   enn -M "$(exipick -i -r.\*|h1)"
@@ -387,24 +390,49 @@ astudio() {
   /a/opt/android-studio/bin/studio.sh "$@" & r
 }
 
-# convert brains path to url
-# /f/brains/sysadmin/interns/2022/nick_shrader/intro_blog_post.mdwn
-# becomes
-# https://brains.fsf.org/wiki/sysadmin/interns/2022/nick_shrader/intro_blog_post
-iki() {
-  local url path
+# Convert brains file path to url and vice versa
+# usage: brains [URL_OR_PATH]
+brains() {
+  _iki-convert /f/brains brains.fsf.org "$@"
+}
+glue() {
+  _iki-convert /f/gluestick gluestick.office.fsf.org "$@"
+}
+
+# usage: $0 REPO_PATH [URL_OR_PATH]
+_iki-convert() {
+  local url path input err repo_dir domain filename dir path
+  local initial_oldpwd initial_pwd
+  repo_dir="$1"
+  domain="$2"
+  shift 2
+  err=false
+  if $err; then
+    return 1
+  fi
   if [[ $1 ]]; then
-    path="$*"
+    input="$*"
   else
-    read -r -p "enter path" path
+    read -r -p "enter path or url"$'\n' input
   fi
-  url=$(readlink -f "$path")
-  url="https://brains.fsf.org/wiki/${url#*brains/}"
-  url="${url%.mdwn}"
-  echo "$url"
-
+  case $input in
+    http*)
+      path="$repo_dir/${input##http*://$domain/wiki/}"
+      if [[ $path == */ ]]; then
+        path=${path%/}.mdwn
+      fi
+      j printf "%s\n" "$path"
+      ;;
+    *)
+      path=$(fp "$input")
+      url="http*://$domain/wiki/${path#$repo_dir/}"
+      url="${url%.mdwn}/"
+      j echo "$url"
+      ;;
+  esac
 }
 
+
 # Generate beet smartplaylists for navidrome.
 # for going in the reverse direction, run
 # /b/ds/navidrome-playlist-export
@@ -663,13 +691,14 @@ beetag() {
   local last_genre_i fstring tag id char new_item char_i genre tag remove doplay i j random path
   local do_rare_genres read_wait help line lsout tmp ls_line skip_lookback
   local escape_char escaped_input expected_input skip_input_regex right_pad erasable_line seek_sec
-  local pl_state_path pl_state_dir pl_state_file
-  local new_random pl_seed_path seed_num seed_file fmt
-  local -a pl_tags buttons button_map ids tags tmp_tags initial_ls ls_lines paths
+  local pl_state_path pl_state_dir pl_state_file tmpstr
+  local new_random pl_seed_path seed_num seed_file fmt first_play
+  local -a buttons button_map ids tags tmp_tags initial_ls ls_lines paths
   local -A button_i
   local -i i j volume scrolled id_count line_int skip_start pre_j_count head_count skip_lookback
   local -i overflow_lines overflow
 
+  first_play=true
   erasable_line=false
   escape_char=$(printf "\u1b")
   scrolled=999 # more than any $LINES
@@ -725,9 +754,9 @@ beetag() {
   fi
   pl_state_dir=/i/info/pl-state
   if [[ $playlist ]]; then
-    pl_state_dir=$pl_state_dir/nopl
-  else
     pl_state_dir=$pl_state_dir/$playlist
+  else
+    pl_state_dir=$pl_state_dir/nopl
   fi
   pl_state_path=$pl_state_dir/$pl_state_file
   pl_seed_path=$pl_state_dir/$seed_file
@@ -738,12 +767,11 @@ beetag() {
     { base64 < /dev/urandom | head -c 200 ||:; echo; } > $pl_seed_path
   fi
 
-
-
   # PijokVipiotOzeph is just a random string for a delimiter
   fmt='%ifdef{rating,$rating }'"$fstring"'$genre | $title - $artist - $album   $length  $id PijokVipiotOzeph $path'
   # shellcheck disable=SC2016 # obvious reason
-  mapfile -t initial_ls < <(beet ls -f "$fmt" "$@" | { if $random; then sort -R --random-source=$pl_seed_path; else cat; fi; } )
+  tmpstr=$(beet ls -f "$fmt" "$@" | { if $random; then sort -R --random-source=$pl_seed_path; else cat; fi; } )
+  mapfile -t initial_ls <<<"$tmpstr"
   id_count=${#initial_ls[@]}
   for line in "${initial_ls[@]}"; do
     path="${line#*PijokVipiotOzeph }"
@@ -786,11 +814,9 @@ beetag() {
   if $doplay; then
     #{ mpv --profile=a --volume=$volume --idle 2>&1 & } 2>/dev/null
     mpv --profile=a --volume=$volume --idle &
-    # if we dont sleep, we get error like this:
+    # if we dont sleep, can expect an error like this:
     # socat[1103381] E connect(5, AF=1 "/tmp/mpvsock", 14): Connection refused
-    # and strangely, it persists until mpv is restarted.
-    # .1 sleep was too little.
-    sleep .2
+    sleep .1
   fi
 
   while true; do
@@ -816,7 +842,21 @@ beetag() {
       #{ mpv --profile=a --volume=$volume "$path" 2>&1 & } 2>/dev/null
       # old
       #{ beet play "--args=--volume=$volume" "id:$id" 2>&1 & } 2>/dev/null
-      mpvrpc '{ "command": ["loadfile", "'"$path"'"] }'
+
+      # on slow systems, we may need to wait like .3 seconds before mpv
+      # is ready. so impatiently check until it is ready
+      if $first_play; then
+        first_play=false
+        for (( i=0; i<20; i++ )); do
+          if [[ $(mpvrpco '{ "command": ["get_property", "idle-active"] }' 2>/dev/null | jq .data) == true ]]; then
+            mpvrpc '{ "command": ["loadfile", "'"$path"'"] }' 2>/dev/null
+            break
+          fi
+          sleep .1
+        done
+      else
+        mpvrpc '{ "command": ["loadfile", "'"$path"'"] }'
+      fi
       erasable_line=false
     fi
     while true; do
@@ -828,7 +868,8 @@ beetag() {
         # Automatically skip to the next song if this one ends, unless
         # we turn off the autoplay.
         if (( ret == 142 )) || [[ ! $char ]]; then
-          if jobs -p | grep -q . &>/dev/null; then
+          if jobs -p | grep -q . &>/dev/null && \
+              [[ $(mpvrpco '{ "command": ["get_property", "idle-active"] }' | jq .data) == false ]]; then
             continue
           else
             break
@@ -942,7 +983,7 @@ beetag() {
           read -rsn2 escaped_input
           skip_input_regex="^[0-9]+$"
           case $escaped_input in
-            # up char
+            # up char: show all the songs, use less
             '[A')
               skip_start=0
               skip_lookback=5
@@ -1094,6 +1135,8 @@ beet2nav() {
 
 # pull in beets library locally
 beetpull() {
+  local sshfs_host
+  sshfs_host=b8.nz
   if [[ $HOSTNAME == kd ]]; then
     return 0
   fi
@@ -1102,7 +1145,7 @@ beetpull() {
     s chown iank:iank /i
   fi
   if ! mountpoint /i &>/dev/null; then
-    m sshfs b8.nz:/i /i
+    m sshfs $sshfs_host:/i /i
   fi
 }
 
@@ -1182,6 +1225,109 @@ beegenre() {
   rm $tmpf
 }
 
+# prettify the date
+btrbk-date() {
+  local indate
+  indate="$1"
+  shift
+  date +%F_%T%:::z -d "$(sed -r  's/(.{4})(..)(.{5})(..)(.*)/\1-\2-\3:\4:\5/' <<<"$indate")" "$@"
+}
+btrbk-undate() {
+  # fudCaHougfirp is a random string
+  { if [[ $1 ]]; then
+      echo "$1"
+    else
+      cat
+    fi
+  } | sed -r 's/-0([45])( |$)/fudCaHougfirp0\100/;s/_/T/;s/[:-]//g;s/fudCaHougfirp/-/'
+
+}
+btrbk-date-sed() {
+  local line
+  while read -r line; do
+    if [[ $line == *20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00* ]]; then
+      pre="${line%%20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00*}"
+      post="${line##*20[0-9][0-9][0-9][0-9][0-9][0-9]T[0-9][0-9][0-9][0-9][0-9][0-9]-0[45]00}"
+      mid="${line:${#pre}:22}"
+      echo "$pre$(btrbk-date "$mid")$post"
+    else
+      echo "$line"
+    fi
+  done
+}
+jrbtrbk() {
+  jr -u btrbk-run -u btrbk -u switch-mail-host -u btrbk-spread "$@"
+}
+
+# internal function
+btrbk-host-debug-show-host() {
+  for f; do
+    snaphost=
+    for host in $remote $alt local; do
+      if line=$(grep -P "\S*$f" /tmp/b/s/$host.log); then
+        if [[ $snaphost ]]; then
+          e error: snaphost=$snaphost, host=$host line="$line"
+        fi
+        if [[ $line == ssh* ]]; then
+          tmp="${line#ssh://}"
+          snaphost="${tmp%%/*}"
+        else
+          snaphost=$host
+        fi
+      fi
+    done
+    echo $snaphost $f | btrbk-date-sed
+  done
+}
+
+# If we get a btrfs receive error like this:
+# ERROR: ... clone: did not find source subvol
+# running this command will help track down the problem.
+# Alter remote= and alt=. When I used it, remote is
+# the host having the error when I push a snapshot.
+# Alt is just the other host that takes snapshots
+# besides the local host.
+btrbk-host-debug() {
+
+  remote=b8.nz
+  alt=sywg.b8.nz
+
+  mkdir -p /tmp/b/s
+  for host in $remote $alt; do
+    h=$(ssh $host hostname)
+    rsync -a /var/log/btrbk $host:/var/log/btrbk /var/log/btrbk/$h
+    grr '\bsnapshot success' /var/log/btrbk/$h >/tmp/b/$h.log
+
+    ## this takes a while, we only want to do it on 1st run
+    # if [[ -s /tmp/b/$host.log ]]; then continue; fi
+    # ssh $host journalctl -u btrbk-run -u btrbk -u switch-mail-host -u btrbk-spread >/tmp/b/$host.log
+  done
+  gr '\bsnapshot success' /var/log/btrbk/*.log >/tmp/b/local.log
+  cd /tmp/b
+  for f in *.log; do
+    gr '\bsnapshot success' $f >s/$f
+  done
+  cd /mnt/root/btrbk
+  localq=(q.*)
+  declare -A localq_a
+  for f in "${localq[@]}"; do
+    localq_a[$f]=t
+  done
+
+  remoteq=()
+  for f in $(ssh $remote "cd /mnt/root/btrbk; echo q.*"); do
+    if [[ ! ${localq_a[$f]} ]]; then
+      remoteq+=($f)
+    fi
+  done
+  btrbk-host-debug-show-host "${localq[@]}"
+  if (( ${#remoteq[@]} >= 1 )); then
+    echo "=== $remote only ===="
+    btrbk-host-debug-show-host ${remoteq[@]}
+  fi
+
+}
+
 # note, to check for glue records
 # First, find some the .org nameservers:
 # dig +trace iankelling.org
@@ -1267,14 +1413,16 @@ scr() {
 # tried to use ceb2txt but it failed because of schema
 # slightly different than what it expected.
 cheogram-get-logs() {
-  adb shell rm -r /storage/emulated/0/Download/Cheogram/Backup
+  #adb shell rm -r /storage/emulated/0/Download/Cheogram/Backup
   read -r -p "do cheogram backup on phone, do not enable extra cheogram data. press any key when done"
   cd /p/cheogram
   rm -rf Backup b
   adb pull /storage/emulated/0/Download/Cheogram/Backup
   sqlite3 b </a/opt/ceb-tools/schema.sql
   echo "note: the next step took 39 seconds last time i measured"
-  /a/opt/ceb-tools/ceb2sqlgz Backup/iank@fsf.org.ceb <pas | gunzip | sqlite3 b
+  # expected failure: Error: near line 1: in prepare, table accounts has no column named pinned_mechanism (1)
+  # the sql needs an update
+  /a/opt/ceb-tools/ceb2sqlgz Backup/iank@fsf.org.ceb <pas | gunzip | sqlite3 b ||:
   rm -r Backup
 }
 
@@ -1298,11 +1446,17 @@ order by timeSent;"
 mycheologs() {
   local days q
   days=${1:-16}
-  # timezone compared to utc. note: this will need adjustment for spring/fall.
-  zone_offset=$(( 60 * 60 * 5 ))
+  # timezone compared to utc. note: this takes the current offset, so if daylight savings change
+  # happened in the looking back period, this won't account for it.
+  zone_offset=$(( $( date +%z | sed 's/[^1-9-]*//g' ) * 60 * 60))
+  case $zone_offset in
+    -*) : ;;
+    *) zone_offset="+ $zone_offset"
+  esac
+  echo zone_offset=$zone_offset
   q="
 select
- datetime(substr(timeSent,0,11) $zone_offset,  'unixepoch'),
+ datetime(substr(timeSent,0,11) $zone_offset,  'unixepoch'),
  body
 from messages
 where timeSent > $(( (EPOCHSECONDS - days * 60 * 60 * 24) * 1000 ))
@@ -1408,7 +1562,7 @@ sm() { # switch mail host
   c /
   # run latest
   keyhash=$(s ssh-keygen -lf /root/.ssh/home  | awk '{print $2}')
-  tmp=$(s ssh-add -l | awk '$2 == "'$keyhash'"')
+  tmp=$(s ssh-add -l | awk '$2 == "'$keyhash'"' ||:)
   if [[ ! $tmp ]]; then
     s ssh-add /root/.ssh/home
   fi
@@ -1533,6 +1687,15 @@ dsign() {
   done
 }
 
+# set day start for use in other programs.
+# expected to do be in a format like 830, or 800 or 1300.
+ds() {
+  if [[ $1 ]]; then
+    echo $1 >/b/data/daystart
+  else
+    cat /b/data/daystart
+  fi
+}
 
 #### begin bitcoin related things
 btc() {
@@ -1973,7 +2136,65 @@ tl() {
   t s w
 }
 
-arbttlog() { arbtt-dump "$@" | grep -v '( )\|Current Desktop' | sed -rn '/^[^ ]/{N;s/^(.{21})([0-9]*)[0-9]{3}m.*\(\*/\1\2/;s/^(.{21})[0-9]*.*\(\*/\1/;s/\n//;p}' ;   }
+focus() {
+  /p/c/proc/focus/linux-amd64/focus &
+  watcharb5
+  kill %%
+}
+
+
+watcharb5() {
+  local char ret
+  killall arbtt-capture ||:
+  rm -f ~/.arbtt/capture.log
+  arbtt-capture --sample-rate=10 &
+  clear
+  while true; do
+    arb5
+    ret=0
+    # i first thought to sleep and capture ctrl-c, but it seems we can't
+    # capture control-c, unless maybe we implement the commands in a
+    # separate script or maybe add err-cleanup to err. Anyways, this
+    # method is superior because any single char exits.
+    read -rsN1 -t 5 char || ret=$?
+    if (( ret == 142 )) || [[ ! $char ]]; then
+      # debug
+      #e ret=$ret char=$char
+      :
+    else
+      killall arbtt-capture ||:
+      return 0
+    fi
+    clear
+  done
+
+}
+
+arb5() {
+  local i l sec
+  i=0
+  if [[ ! -e ~/.arbtt/capture.log ]]; then
+    sleep 5
+  fi
+  # https://stackoverflow.com/questions/56486272/how-to-concat-multiple-fields-to-same-line-with-jq
+  arbtt-dump -l 30 -t json | jq -r '.[] | [ ( .inactive  / 1000 | floor ) , ( .windows[] | select (.active == true) |.title) ] | @tsv' \
+    | tac | while read -r sec l; do
+    if (( i % 6 == 0 && i >= 2 )); then
+      echo == $(( i / 6 + 1 )) ==
+    fi
+    if (( sec > 10 )); then
+      printf "%3d %s\n" $sec "$l"
+    else
+      printf "    %s\n" "$l"
+    fi
+    i=$(( i + 1 ))
+  done
+}
+
+arbttlog() {
+  # from the log, show only the currently active window, and the number of
+  # seconds of input inactivity.
+  arbtt-dump "$@" | grep -v '( )\|Current Desktop' | sed -rn '/^[^ ]/{N;s/^(.{21})([0-9]*)[0-9]{3}m.*\(\*/\1\2/;s/^(.{21})[0-9]*.*\(\*/\1/;s/\n//;p}' ;   }
 
 idea() {
   /a/opt/idea-IC-163.7743.44/bin/idea.sh "$@" & r
@@ -2074,14 +2295,21 @@ wgkey() {
   wg genkey | tee $name-priv.key | wg pubkey > $name-pub.key
   umask $umask_orig
 }
+
+
+# extrahost is a host/cidr that is allowed to go be routed through the vpn by this host.
+#
 wghole() {
-  if (( $# != 2 )); then
-    e expected 2 arg of hostname, ip suffix >&2
+  if (( $# < 2 || $# > 3 )); then
+    e expected 2-3 arg of hostname, ip suffix, and extrahost >&2
     return 1
   fi
   local host ipsuf umask_orig
   host=$1
   ipsuf=$2
+  if [[ $3 ]]; then
+    extrahost=,$3
+  fi
   mkdir -p /p/c/machine_specific/$host/filesystem/etc/wireguard
   (
     cd /p/c/machine_specific/$host/filesystem/etc/wireguard
@@ -2101,7 +2329,7 @@ PostUp = ping -c1 10.8.0.1 ||:
 [Peer]
 # li. called wgmail on that server
 PublicKey = CTFsje45qLAU44AbX71Vo+xFJ6rt7Cu6+vdMGyWjBjU=
-AllowedIPs = 10.8.0.0/24
+AllowedIPs = 10.8.0.0/24$extrahost
 Endpoint = 72.14.176.105:1194
 PersistentKeepalive = 25
 EOF
@@ -2368,7 +2596,7 @@ mpvs() {
 
 myirc() {
   if [[ ! $1 ]]; then
-    set -- fsf-office
+    set -- fsfsys
   fi
   local -a d
   d=( /var/lib/znc/moddata/log/iank/{freenode,libera} )
@@ -2484,9 +2712,17 @@ otp() {
   oathtool --totp -b "$*" | xclip -selection clipboard
 }
 j() {
-  "$@" |& pee "xclip -r -selection clipboard"
+  "$@" |& pee "xclip -r -selection clipboard" cat
 }
 
+# x copy
+xc() {
+  xclip -r -selection clipboard
+}
+# echo copy
+ec() {
+  pee "xclip -r -selection clipboard" cat
+}
 
 pakaraoke() {
   # from http://askubuntu.com/questions/456021/remove-vocals-from-mp3-and-get-only-instrumentals
@@ -2865,7 +3101,12 @@ tm() {
   (sleep "$(calc "$* * 60")" && mpv --no-config --volume 50 /a/bin/data/alarm.mp3) > /dev/null 2>&1 &
 }
 
+## usage: to connect to my main transmission daemon from a different host, run this
+trans-remote-route() {
+  :
+}
 trg() { transmission-remote-gtk & r; }
+# TODO: this wont work transmission.lan doesnt exist
 trc() {
   # example, set global upload limit to 100 kilobytes:
   # trc -u 100
@@ -3070,6 +3311,17 @@ fixu() {
   fi
 }
 
+# unmute
+um() {
+  pactl set-sink-mute @DEFAULT_SINK@ false
+  rm -f /tmp/ianknap
+}
+nap() {
+  pactl set-sink-mute @DEFAULT_SINK@ true
+  touch /tmp/ianknap
+}
+
+
 # systemctl is-enabled / status / cat says nothing, instead theres
 # some obscure symlink. paths copied from man systemd.unit.
 # possibly also usefull, but incomplete, doesnt show units not loaded in memory:
@@ -3170,6 +3422,25 @@ vspicy() { # usage: VIRSH_DOMAIN
 wian() {
   cat-new-files /m/4e/INBOX/new
 }
+wakehours() {
+  local sec
+  if (( $# != 1 )) ; then
+    echo wakehours: error: expected 1 arg, got $# >&2
+    return 1
+  fi
+  sec=$(( EPOCHSECONDS -  $( date +%s -d $1am ) ))
+  printf "%d:%02d\n" $(( sec / 60 / 60)) $(( (sec / 60) % 60 ))
+}
+
+calvis() { # calendar visualize
+  install -m 600 /dev/null /tmp/calendar-bytes
+  while read -r l; do
+    for char in $l; do
+      printf "\x$(printf "%x" $char)" >>/tmp/calendar-bytes
+    done
+  done < <(grep -v '[#-]' /p/calendar-data)
+  /p/c/proc/calendar/linux-amd64/calendar
+}
 
 wtr() { curl wttr.in/boston; }
 
@@ -3201,7 +3472,7 @@ monero() {
 
 # rg my main files
 rgm() {
-  rg "$@" /p/pd.org /p/w.org /a/t.org /a/work.org /b
+  rg "$@" /p/w.org /a/t.org /a/work.org /b
 }
 
 reset-konsole() {