various updates
[distro-setup] / .bashrc
diff --git a/.bashrc b/.bashrc
index e33d153c896b77c38fc463911b5717a249184ea6..f92ecc0e63cf1f347c22bd73331f54860b418ad5 100644 (file)
--- a/.bashrc
+++ b/.bashrc
@@ -1,3 +1,4 @@
+PATH="$PATH:/opt/midfin/common/lib"
 # to debug
 #set -x
 # redirect output to log file
@@ -5,24 +6,33 @@
 #exec 2>/a/tmp/bashlog
 
 
-# By default this file is sourced for all ssh commands. This is wonky.
-# Normally, this file is not sourced when a script is run, and it would be much
-# better and more consistent if that also happened when when running a script
-# over ssh. so here we test for conditions of a script under ssh and return if
-# so. we can override with ssh -t which sets $SSH_TTY, which we can detect
-# But inside a script, ssh -t won't work, because we aren't using a tty at all.
-# So we need something else. Command lines and env variables sent across ssh are strictly limited.
-# We could override an obscure unused LC_var, like telephone, or we could transfer a file.
-# But I choose to set SendEnv and AcceptEnv ssh vars for BASH_LOGIN_SHELL.
-# In a private file, i have aliases for if $- == *i*, ssh -t, else ssh.
-
-[[ $- != *i* && ! $SSH_CONNECTION ]] && export BASH_LOGIN_SHELL=true
-
+# By default this file is sourced for ALL ssh commands. This is wonky.
+# Normally, this file is not sourced when a script is run, but we can override
+# that by having #!/bin/bash -l.
+# I want something similar for ssh commands. when a local script runs an ssh command,
+# this file should not be sourced by default, but we should be able to override that.
+#
+# so here we test for conditions of a script under ssh and return if so. To test
+# for an overriding condition, we have a few options. one is to use an
+# environment variable.  env variables sent across ssh are strictly limited. ssh
+# -t which sets $SSH_TTY, but within a script that won't work because tty
+# allocation will fail.  We could override an obscure unused LC_var, like
+# telephone, but I don't want to run into some edge case where that messes
+# things up. we could transfer a file which we could test for, but I can't think
+# of a way to make that inherently limited to a single ssh command.  I choose to
+# set SendEnv and AcceptEnv ssh config vars to allow the environment variable
+# BASH_LOGIN_SHELL to propagate across ssh.
+
+# assume we want ssh commands to source this file if we are sourcing it,
+# and we haven't specified otherwise already
+[[ ! $BASH_LOGIN_SHELL ]] && export BASH_LOGIN_SHELL=true
+
+# first conditions show that we are an ssh command without an interactive shell
 if [[ $SSH_CONNECTION ]] \
-   && [[ $- == *c* ]] \
-   && [[ ! $SSH_TTY ]] \
-   && [[ ! $BASH_LOGIN_SHELL == true ]] \
-   && [[ $- != *i* ]]; then
+       && [[ $- == *c* ]] \
+       && [[ ! $SSH_TTY ]] \
+       && [[ $- != *i* ]] \
+       && [[ ! $BASH_LOGIN_SHELL == true ]]; then
     return
 fi
 
@@ -30,13 +40,11 @@ fi
 
 
 
-
-
 ############
 # settings #
 ############
 
-CDPATH=.:/a
+CDPATH=.
 
 # remove all aliases. aliases provided by the system tend to get in the way,
 # for example, error happens if I try to define a function the same name as an alias
@@ -44,14 +52,13 @@ unalias -a
 
 # remove gnome keyring warning messages
 # there is probably a more proper way, but I didn't find any easily on google
-unset GNOME_KEYRING_CONTROL
+# now using xfce+xmonad instead of vanilla xmonad, so disabling this
+#unset GNOME_KEYRING_CONTROL
 
-#use extra globing features. See man bash, search extglob.
+# use extra globing features.
 shopt -s extglob
-#include .files when globbing.
-shopt -s dotglob
-#but ignore files name . and ..
-# this also sets dotglob, but no harm in setting it explicitly
+# include .files when globbing, but ignore files name . and ..
+# setting this also sets dotglob
 export GLOBIGNORE=*/.:*/..
 
 # broken with bash_completion package. Saw a bug for this once. Don't anymore.
@@ -85,11 +92,14 @@ shopt -s globstar
 
 # inside emacs fixes
 if [[ $INSIDE_EMACS ]]; then
+    # EMACS is used by bash on startup, but we don't need it anymore.
+    # plus I hit a bug in a makefile which inherited it
+    unset EMACS
     export INSIDE_EMACS
     export PAGER=cat
     export MANPAGER=cat
-    # for readline-complete.el
-    stty echo
+    # scp completion does not work, but this doesn't fix it. todo, figure this out
+    complete -r scp &> /dev/null
     # todo, remote file completion fails, figure out how to turn it off
 fi
 
@@ -97,6 +107,8 @@ fi
 if [[ $- == *i* ]]; then
     # for readline-complete.el
     if [[ $INSIDE_EMACS ]]; then
+        # all for readline-complete.el
+        stty echo
         bind 'set horizontal-scroll-mode on'
         bind 'set print-completions-horizontally on'
         bind '"\C-i": self-insert'
@@ -155,24 +167,28 @@ C_DEFAULT_DIR=/a
 ## include files ###
 ###################
 
-for x in $HOME/bin/bash-programs-by-ian/repos/*/*-function; do
-    source "$x"
+for _x in $HOME/bin/bash-programs-by-ian/repos/*/*-function ~/bin/distro-functions/src/*; do
+    source "$_x"
 done
-source $HOME/bin/identify-distro-functions
+unset _x
 source $HOME/bin/semi-private # so I can share my bashrc
 source $HOME/path_add-function
-path_add --ifexists /a/opt/adt-bundle*/tools /a/opt/adt-bundle*/platform-tools
-path_add $HOME/bin/bash-programs-by-ian/utils
-
+path_add --ifexists --end /a/opt/adt-bundle*/tools /a/opt/adt-bundle*/platform-tools
+path_add --ifexists --end /a/bin/sda/corpnext/cloudinit
+# todo, these need to be renamed to be less generic.
+# sync overrode something else useful
+#path_add $HOME/bin/bash-programs-by-ian/utils
+source $HOME/mw_vars
 
 ###############
 ### aliases ###
 ###############
 
-if [[ $- == *i* ]]; then
-    alias cp='cp -i'
-    alias mv='mv -i'
-fi
+# disabled for now, but these are generally good
+# if [[ $- == *i* ]]; then
+#     alias cp='cp -i'
+#     alias mv='mv -i'
+# fi
 
 # remove any default aliases for these
 alias ls > /dev/null 2>&1 && unalias ls
@@ -192,21 +208,23 @@ alias hi='history'
 
 
 # note: gksudo is recommended for X apps because it does not set the
-# home directory to the same.
-
-if [[ $- == *i* ]]; then
-    # extra space at the end allows aliases to work
-    alias s='SUDOD="$PWD" sudo -i '
-else
-    s() {
-        if [[ $EUID != 0 || $1 == -* ]]; then
-            local SUDOD="$PWD"
-            sudo -i "$@"
-        else
-            "$@"
-        fi
-    }
-fi
+# home directory to the same, and thus apps writing to ~ fuck things up
+# with root owned files.
+
+# background
+# alias s='SUDOD="$PWD" sudo -i '
+# because this is an alias, and the extra space at the end, it would allow
+#  aliases to be used with it. but aliases aren't used in scripts,
+#  better to eliminate inconsistencies. Plus, you can't do s=s; $s command
+#  with an alias, which I like to do in some functions
+# extra space at the end allows aliases to work
+s() {
+    if [[ $EUID != 0 || $1 == -* ]]; then
+        SUDOD="$PWD" sudo -i "$@"
+    else
+        "$@"
+    fi
+}
 
 
 
@@ -228,6 +246,8 @@ fi
 ###  functions   ####
 #####################
 
+
+
 # netselect-apt finds a fast mirror.
 # but we need to replace the mirrors ourselves,
 # because it doesn't do that. best it can do is
@@ -253,6 +273,16 @@ _debian_pick_mirror_grep () {
     echo "${x//\//\\/}"
 }
 
+# portable daemon, for debian & fedora
+pdaemon () {
+    if isdeb; then
+        sudo /etc/init.d/$1 $2
+    else
+        sudo systemctl $2 $1.service
+    fi
+}
+
+
 a() {
     beet "${@}"
 }
@@ -267,35 +297,89 @@ if type ack-grep >/dev/null 2>&1; then
     alias ack=ack-grep
 fi
 
+postconfin() {
+    local MAPFILE
+    mapfile -t
+    local s
+    [[ $EUID == 0 ]] || s=s
+    $s postconf -v "${MAPFILE[@]}"
+}
 
 gr() {
-    grep -i --binary-files=without-match --color=auto "$@"
+    grep -iI --color=auto "$@"
 }
 
 grr() {
-    grep -ri --binary-files=without-match --color=auto "$@"
+    grep -riI --color=auto "$@"
+}
+
+pub() {
+    rld /a/h/_site/ li:/var/www/iankelling.org/public_html
 }
 
 bashrcpush () {
     local startdir="$PWD"
     cd ~
     for x in "$@"; do
-        ssh $x mkdir -p bin
-        tar cz bin/bash-programs-by-ian bin/semi-private .profile | ssh $x tar xz
+        ssh $x mkdir -p bin/distro-functions/src
+        tar cz bin/bash-programs-by-ian bin/semi-private bin/distro-functions/src | ssh $x tar xz
     done
     cd $(mktemp -d)
-    cp ~/path_add-function ~/.bashrc ~/.bash_profile ~/.profile ~/.inputrc .
+    command cp /a/c/repos/bash/!(.git) ~/.gitconfig .
     for x in "$@"; do
-        tar cz path_add-function .bashrc | ssh $x tar xz
+        tar cz * | ssh $x tar xz
     done
     cd "$startdir"
 }
 
+whatismyip() { curl ipecho.net/plain ; echo; }
+
 # history search
 k() { grep -P "$@" ${HISTFILE:-~/.bash_history}  | tail -n 40; }
 
 calc() { echo "scale=3; $*" | bc -l; }
 
+# diff config files,
+# setup for format of postfix
+# option = stuff[,]
+#    [more stuff]
+cdiff() {
+
+    local pastline
+    local unified="$(mktemp)"
+    local f1="$(mktemp)"
+    local f2="$(mktemp)"
+
+    _cdiff-prep "$1" "$f1"
+    _cdiff-prep "$2" "$f2"
+    cat "$f1" "$f2" |  grep -Po '^[^=]+=' | sort | uniq > "$unified"
+    while IFS= read -r line; do
+        # the default bright red / blue doesn't work in emacs shell
+        dwdiff -cblue,red -A best -d "         ," <(grep "^$line" "$f1" || echo ) <(grep "^$line" "$f2" || echo ) | colordiff
+    done < "$unified"
+}
+
+
+# join options which are continued to multiples lines onto one line
+_cdiff-prep() {
+    local first=true
+    grep -vE '^([ \t]*#|^[ \t]*$)' "$1" | while IFS= read -r line; do
+                                              # remove leading spaces/tabs. assumes extglob
+                                              if [[ $line == "[        ]*" ]]; then
+                                                  line="${line##+( )}"
+                                              fi
+                                              if $first; then
+                                                  pastline="$line"
+                                                  first=false
+                                              elif [[ $line == *=* ]]; then
+                                                  echo "$pastline" >> "$2"
+                                                  pastline="$line"
+                                              else
+                                                  pastline="$pastline $line"
+                                              fi
+                                          done
+    echo "$pastline" >> "$2"
+}
 
 # makes it so chown -R symlink affects the symlink and its target.
 chown() {
@@ -386,6 +470,15 @@ git_empty_branch() { # start an empty git branch. carefull, it deletes untracked
     git clean -fdx
 }
 
+
+ff() {
+    if type -P firefox &>/dev/null; then
+        firefox "$@"
+    else
+        iceweasel "$@"
+    fi
+}
+
 fw() {
     firefox -P default "$@" >/dev/null 2>&1
 }
@@ -410,7 +503,7 @@ i() {
 complete -o bashdefault -o default -o nospace -F _git i 2>/dev/null \
     || complete -o default -o nospace -F _git i
 
-# fast commit
+# fast commit all
 ic() {
     git commit -am "$*"
 }
@@ -432,6 +525,7 @@ l() {
 }
 
 
+
 lld() { ll -d "$@"; }
 
 
@@ -478,62 +572,6 @@ despace() {
 
 
 
-# package manager
-# aliases would be much more compact, but they can't be used as ssh commands
-# also, to be used in a script, you need -i which prints annoying
-# warnings. instead, use -l in a script to source this file
-if type -p yum > /dev/null; then
-    p() {
-        if [[ $EUID == 0 ]]; then
-            yum "$@"
-        else
-            sudo yum "$@"
-        fi
-    }
-    pi() {
-        if [[ $EUID == 0 ]]; then
-            yum -y install "$@"
-        else
-            sudo yum -y install "$@"
-        fi
-    }
-    pf() {
-        if [[ $EUID == 0 ]]; then
-            yum search "$@"
-        else
-            sudo yum search "$@"
-        fi
-    }
-else
-    p() {
-        if [[ $EUID == 0 ]]; then
-            aptitude "$@"
-        else
-            sudo aptitude "$@"
-        fi
-    }
-    pi() {
-        if [[ $EUID == 0 ]]; then
-            aptitude -y install "$@"
-        else
-            sudo aptitude -y install "$@"
-        fi
-    }
-    pf() {
-        # scratch a very annoying itch.
-        # package description width as wide as the screen, and package name field small
-        # aptitude manual can't figure out how wide emacs terminal is,
-        # of course it doesn't consult the $COLUMNS variable...
-        # and in a normal terminal, it makes the package name field ridiculously big
-        # also, remove that useless dash before the description
-        if [[ $EUID == 0 ]]; then
-            aptitude -F "%c%a%M %p %$((COLUMNS - 30))d" -w $COLUMNS search "$@"
-        else
-            sudo aptitude -F "%c%a%M %p %$((COLUMNS - 30))d" -w $COLUMNS search "$@"
-        fi
-    }
-fi
-
 
 # test existence / exists
 te() {
@@ -544,6 +582,11 @@ te() {
     return $ret
 }
 
+# show make targets, via http://stackoverflow.com/questions/3063507/list-goals-targets-in-gnu-make
+make-targets() {
+    make -qp | awk -F':' '/^[a-zA-Z0-9][^$#\/\t=]*:([^=]|$)/ {split($1,A,/ /);for(i in A)print A[i]}'
+}
+
 
 # fix root file ownership for FILE argument.
 # check if parent or grandparent is not root and if the dir of FILE is also
@@ -564,6 +607,94 @@ perm_fix() {
     fi
 }
 
+# see notes for usage
+fsdiff () {
+    local missing=false
+    local dname="${PWD##*/}"
+    local m="/a/tmp/$dname-missing"
+    local d="/a/tmp/$dname-diff"
+    [[ -e $d ]] && rm "$d"
+    [[ -e $m ]] && rm "$m"
+    local msize=0
+    local fsfile
+    while read -r line; do
+        fsfile="$1${line#.}"
+        if [[ -e "$fsfile" ]]; then
+            md5diff "$line" "$fsfile" && tee -a "/a/tmp/$dname-diff" <<< "$fsfile $line"
+        else
+            missing=true
+            echo "$line" >> "$m"
+            msize=$((msize + 1))
+        fi
+    done < <(find -type f )
+    if $missing; then
+        echo "$m"
+        (( msize <= 100 )) && cat $m
+    fi
+}
+
+fsdiff-test() {
+    cd $(mktemp -d)
+    echo ok > a
+    echo nok > b
+    mkdir c
+    echo ok > c/d
+    local x=$(mktemp -d)
+    mkdir $x/c
+    echo different > $x/c/d
+    echo ok > $x/a
+    fsdiff $x
+}
+# expected output, with different tmp dirs
+# /tmp/tmp.HDPbwMqdC9/c/d ./c/d
+# /a/tmp/tmp.qLDkYxBYPM-missing
+# ./b
+
+
+# test whether missing files were renamed, generally for use with fsdiff
+# $1 = fsdiff output file, $2 = directory to compare to. pwd = fsdiff dir
+# echos non-renamed files
+rename-test() {
+    local x y found
+    unset sums
+    for x in "$2"/*; do
+        { sums+=( "$(md5sum < "$x")" ) ; } 2>/dev/null
+    done
+    while read -r line; do
+        { missing_sum=$(md5sum < "$line") ; } 2>/dev/null
+        renamed=false
+        for x in "${sums[@]}"; do
+            if [[ $missing_sum == "$x" ]]; then
+                renamed=true
+                break
+            fi
+        done
+        $renamed || echo "$line"
+    done < "$1"
+    return 0
+}
+
+
+# get a random string
+#par2rbase=$(head -c 50 /dev/urandom | tr -cd '[:alpha:]')
+par2r() {
+    [[ $par2rbase ]] || { echo "set \$par2rbase first"; return 1; }
+    d="$PWD"
+    for x in **; do
+        if [[ -d $x ]]; then
+            cd "$x"
+            par2 c QDLDeDJ6z4.par2 *
+            cd "$d"
+        fi
+    done
+
+}
+
+md5diff() {
+    [[ $(md5sum < "$1") != $(md5sum < "$2") ]]
+}
+
+
 pfind() { #find *$1* in $PATH
     [[ $# != 1 ]] && { echo requires 1 argument; return 1; }
     local pathArray
@@ -571,10 +702,8 @@ pfind() { #find *$1* in $PATH
     find "${pathArray[@]}" -iname "*$1*"
 }
 
-
-pwd() { # do pwd + some other info.
-    echo "$(ll -d "$PWD")              $USER@$HOSTNAME         $(date +%r)"
-}
+# do pwd + some other info.
+#pwd() { echo "$(ll -d "$PWD")         $USER@$HOSTNAME         $(date +%r)"; }
 
 
 pwgen() { # generate a random password, with digits & punctuation and without
@@ -582,6 +711,7 @@ pwgen() { # generate a random password, with digits & punctuation and without
     head -c 200 /dev/urandom | tr -cd '[:graph:]' | head -c "$arg"
     echo
     head -c 200 /dev/urandom | tr -cd '[:alnum:]' | head -c "$arg"
+    head -c 5 /dev/urandom | tr -cd '[:alpha:]' | head -c "$arg"
     echo
 }
 
@@ -604,7 +734,7 @@ pick-trash() {
     local nth=1
     # last condition is to not ask again for ones we skipped
     while name="$( echo | restore-trash | gr "$PWD/[^/]\+$" | gr "$1" )" \
-          && [[ $name ]] && (( $(wc -l <<<"$name") >= nth )); do
+            && [[ $name ]] && (( $(wc -l <<<"$name") >= nth )); do
         name="$(echo "$name" | head -n $nth | tail -n 1 )"
         read -p "$name [Y/n] " ask
         if [[ ! $ask || $ask == [Yy] ]]; then
@@ -653,6 +783,8 @@ sr() {
     fi
 }
 
+rbpipe() { rbt post -o --diff-filename=- "$@"; }
+rbp() { rbt post -o "$@"; }
 
 
 # log with script. timing is $1.t and script is $1.s
@@ -683,6 +815,15 @@ splay() { # script replay
 }
 
 
+# like -e for functions. returns on error.
+# at the end of the function, disable with:
+# trap ERR
+funce() {
+    trap 'echo "${BASH_COMMAND:+BASH_COMMAND=\"$BASH_COMMAND\" }
+${FUNCNAME:+FUNCNAME=\"$FUNCNAME\" }${LINENO:+LINENO=\"$LINENO\"  }\$?=$?"
+trap ERR
+return' ERR
+}
 
 # timer in minutes
 tm() {
@@ -690,6 +831,18 @@ tm() {
 }
 
 
+myunison() {
+    s unison -auto -owner -group
+}
+
+tu() {
+    local s;
+    local dir="$(dirname "$1")"
+    if [[ -e $1 && ! -w $1 || ! -w $(dirname "$1") ]]; then
+        s=s;
+    fi
+    $s teeu "$@"
+}
 ts() { # start editing a new file
     [[ $# != 1 ]] && echo "I need a filename." && return 1
     local quiet
@@ -771,7 +924,7 @@ complete -F _longopt la lower low rlt rld rl lld ts ll dircp ex fcp fct fpst gr
 
 
 hl() { # history limit. Write extra history to archive file.
-    local max_lines linecount tempfile prune_lines
+    local max_lines linecount tempfile prune_lines x
     local harchive="${HISTFILE}_archive"
     for x in "$HISTFILE" "$harchive"; do
         [[ -e $x ]] || { touch "$x" && echo "notice from hl(): creating $x"; }
@@ -792,9 +945,27 @@ hl() { # history limit. Write extra history to archive file.
     fi
 }
 
+############## work stuff #############
+
+rn() {
+    pushd /sdx/test/sandbox/;
+    ./setup.sh;
+    ./run.sh;
+    popd
+}
+
+vrm() {
+    virsh destroy $1
+    virsh undefine $1
+}
+
+
+
+
+############# some other section
 if [[ $- == *i* ]]; then
     # commands to run when bash exits normally
-    trap "hl; smh" EXIT
+    trap "hl; _smh" EXIT
 fi
 
 
@@ -951,6 +1122,7 @@ fi
 ###########################################
 if [[ "$SUDOD" ]]; then
     cd "$SUDOD"
+    unset SUDOD
 elif [[ -d /a ]] && [[ $PWD == $HOME ]] && [[ $- == *i* ]]; then
     cd /a
 fi
@@ -964,3 +1136,25 @@ unset IFS
 if [[ $SOE ]]; then
     errcatch
 fi
+
+# I'd prefer to have system-wide, plus user ruby, due to bug in it
+# https://github.com/rubygems/rubygems/pull/1002
+# further problems: installing multi-user ruby and user ruby,
+# you don't get multi-user ruby when you sudo to root, unless its sudo -i.
+# There a third hybrid form, which passenger error suggested I use,
+# but it didn't actually work.
+
+# in cased I never need this
+# rvm for non-interactive shell: modified from https://rvm.io/rvm/basics
+#if [[ $(type -t rvm) == file && ! $(type -t ruby) ]]; then
+#    source $(rvm 1.9.3 do rvm env --path)
+#fi
+
+# based on warning from rvmsudo
+export rvmsudo_secure_path=1
+
+if [[ -s "/usr/local/rvm/scripts/rvm" ]] ; then
+    source "/usr/local/rvm/scripts/rvm"
+fi
+# make our last exit code be 0
+true