static usb ethnet addresses
[automated-distro-installer] / fai-redep
index 94a85db5b387c87d13f87467ad53843f5162ad50..b90b30a285ca5d6654d8191428ec79d97c6f8392 100755 (executable)
--- a/fai-redep
+++ b/fai-redep
 #!/bin/bash
-# Copyright (C) 2016 Ian Kelling
-
-# This program is free software; you can redistribute it and/or
-# modify it under the terms of the GNU General Public License
-# as published by the Free Software Foundation; either version 2
-# of the License, or (at your option) any later version.
-
-# This program is distributed in the hope that it will be useful,
-# but WITHOUT ANY WARRANTY; without even the implied warranty of
-# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
-# GNU General Public License for more details.
-
-# You should have received a copy of the GNU General Public License
-# along with this program; if not, write to the Free Software
-# Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
+# Copyright (C) 2019 Ian Kelling
+# SPDX-License-Identifier: AGPL-3.0-or-later
 set -eE -o pipefail
 trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-x="$(readlink -f "$BASH_SOURCE")"; cd ${x%/*}
+[[ $EUID == 0 ]] || exec sudo -E "${BASH_SOURCE[0]}" "$@"
+
+readonly this_file="$(readlink -f -- "${BASH_SOURCE[0]}")"; cd "${this_file%/*}"
+
+source bash-trace
 
 usage() {
-    cat <<EOF
-usage: ${0##*/} [-h|--help] [HOST] [DISTRO]
+  cat <<EOF
+usage: ${0##*/} [OPTIONS] [HOST]
 Deploy fai config (the one in nfs) to HOST or default faiserver
-Specify DISTRO for setting up DESKTOP packages.
+
+Note, for booting from fai-cd, this needs to be called from myfai-chboot or that via pxe-server,
+due to setting
+echo FAI_ACTION=$fai_action >> /srv/fai/config/class/LAST.var
+note FAI_ACTION might be able to be set elsewhere, like in grub for this case
+
+-d DISTRO      DISTRO for setting up fai class DESKTOP packages, for preinstalling stuff.
+-t TARGET_HOST Copy only secrets for TARGET_HOST into the config space. Useful for virtual server
+               on hardware we don't control.
+-h|--help    Print help and exit
+
+Note: uses paths specific to authors machine.
 EOF
-    exit $1
+  exit $1
 }
-case $1 in
-    -h|--help) usage ;;
-esac
 
+##### begin command line parsing ########
+
+# ensure we can handle args with spaces or empty.
+ret=0; getopt -T || ret=$?
+[[ $ret == 4 ]] || { echo "Install util-linux for enhanced getopt" >&2; exit 1; }
+
+temp=$(getopt -l help hd:t: "$@") || usage 1
+eval set -- "$temp"
+while true; do
+  case $1 in
+    -d) distro=$2; shift ;;
+    -t) target=$2; shift ;;
+    -h|--help) usage ;;
+    --) shift; break ;;
+    *) echo "$0: unexpected args: $*" >&2 ; usage 1 ;;
+  esac
+  shift
+done
 host=${1:-faiserver}
-distro=$2
+
+readonly host distro target
+
+##### end command line parsing ########
+
+m() { printf "$pre %s\n"  "$*"; "$@"; }
 
 # i use faiserver as a dns alias, but ssh key is associated with
 # a canonical hostname and we will have ssh warning spam unless we
 # use it, so look it up just to avoid the warning spam.
-faiserver_host=$(chost $host) || faiserver_host=$host
+faiserver_host=$(/a/exe/chost $host)
+#  faiserver_host=$host
 
-rsync -rlp --delete --relative --exclude /fai/config/basefiles/ fai/config root@$faiserver_host:/srv
+faiserver_addr=$(host $host | sed -rn 's/^\S+ has address //p;T;q' ||:)
+if ! ip a | grep "^ *inet.\? $faiserver_addr" &>/dev/null; then
+  rpre=(-e "ssh -F $HOME/.ssh/confighome" root@$faiserver_host:)
+  faiserver_shell="ssh -F $HOME/.ssh/confighome root@$faiserver_host"
+fi
 
+# these are gitignored.
+rsync -atL /home/iank/.ssh/authorized_keys fai/config/files/root/.ssh/authorized_keys/STANDARD
+# we hssh and ssh_filter_btrbk for the initial btrbk (alternatively, I could open up the
+# permissions in authorized_keys, but that just seems lazy)
+install --owner=iank --group=iank -d fai/config/files/usr/local/bin/hssh
+install --owner=iank --group=iank -d fai/config/files/usr/local/bin/ssh_filter_btrbk.sh
+rsync -atL /a/opt/btrbk/ssh_filter_btrbk.sh fai/config/files/usr/local/bin/ssh_filter_btrbk.sh/STANDARD
+m rsync -rlpt --delete --relative --exclude /fai/config/basefiles/ fai/config "${rpre[@]}"/srv
 
-scp -q ~/.ssh/home.pub \
-    root@$faiserver_host:/srv/fai/config/files/root/.ssh/authorized_keys/GRUB_PC
 # todo: automatically disable faiserver after a period so
-# these files are not exposed.
-sudo scp -qr /q/root/luks /q/root/shadow \
-  root@$faiserver_host:/srv/fai/config/distro-install-common
+# these files are not available.
 
-# should tar ssh all the files, but these ones really justified it
-tar -cz /p/c/machine_specific/*/filesystem/etc/ssh | \
-  ssh root@$faiserver_host tar -xz -C /srv/fai/config/distro-install-common
 
+if [[ $target ]]; then
+  secret_files=(luks/$target luks/host-$target shadow/$target)
+  exists=false
+  secret_exists=()
+  for f in ${secret_files[@]}; do
+    if [[ -e /q/root/$f ]]; then
+      exists=true
+      secrets_to_send+=("$f")
+    fi
+  done
+  if $exists; then
+    {
+      for f in ${secrets_to_send[@]}; do
+        echo $f
+      done
+    } | rsync -lpt --files-from=- /q/root "${rpre[@]}"/srv/fai/config/distro-install-common
+  fi
+else
+  rsync -rlpt /q/root/shadow /q/root/luks "${rpre[@]}"/srv/fai/config/distro-install-common
+fi
+
+rsync -rlpt --delete /a/opt/btrfs-progs-release \
+      filesystem/usr/local/bin/ethusb-nm \
+      filesystem/usr/local/bin/ethusb-static \
+      "${rpre[@]}"/srv/fai/config/distro-install-common
+
+dirs=(/p/c/machine_specific/${target:-*}/filesystem/etc/ssh)
+if [[ -e ${dirs[0]} ]]; then
+  rsync -rlpt --delete --relative ${dirs[@]} "${rpre[@]}"/srv/fai/config/distro-install-common
+fi
 
 . /a/bin/distro-setup/pkgs
 pall+=($(/a/bin/buildscripts/emacs -p; /a/bin/distro-setup/distro-pkgs $distro))
-{ echo PACKAGES install; echo "${pall[*]}"|sed 's/ /\n/g'; } | \
-  ssh root@$faiserver_host dd of=/srv/fai/config/package_config/DESKTOP 2>/dev/null ||: # broken pipe
 
+printf "%s\n%s\n" "PACKAGES install" ${pall[*]} | \
+  $faiserver_shell dd of=/srv/fai/config/package_config/DESKTOP status=none ||: # broken pipe
 
-# built BELENOS basefile with mk-basefile -J BELENOS64. it's stored in
-# it's own repo which is published alongside this one called
-# fai-basefiles due to being a large binary file.
 
-declare -A sums
-while read -r sum file; do
-    sums[$file]=$sum
-done < <(cat /a/bin/fai-basefiles/md5sums.txt)
-
-{ timeout 2 curl -s http://fai-project.org/download/basefiles/md5sums.txt ||:; } |
-  while read -r sum file; do
-      if [[ ${sums[$file]} && ${sums[$file]} != $sum ]]; then
-        echo "${0##*/}: WARNING!!!!!!!!! NEW UPSTREAM BASEFILE: $file"
-      fi
-  done
-rsync -r --delete /a/bin/fai-basefiles/basefiles root@$faiserver_host:/srv/fai/config
-ssh root@$faiserver_host bash <<'EOF'
-set -eE -o pipefail
-set -x
-# make it the root because pxe-kexec only looks there.
-# It wouldn't be too hard to change if we needed.
-# We could also just dump things in /srv/tftp, but fai
-# has some defaults, which I don't even use, which expect
-# the other directory, so it's kind of a tossup, whatever.
-sed -ri 's,^ *(TFTP_DIRECTORY=).*,\1"/srv/tftp/fai",' /etc/default/tftpd-hpa
-systemctl restart tftpd-hpa
-chmod 644 /srv/fai/config/files/root/.ssh/authorized_keys/GRUB_PC
-chmod -R a+rX /srv/fai/config/distro-install-common
-# this basefile has tar acls bug, so I'm using my own
-# local one for now.
-#cd /srv/fai/config/basefiles
-#u=http://fai-project.org/download/basefiles/XENIAL64.tar.xz
-#wget -nv -N $u
-
-changed=false
-f=/srv/fai/nfsroot/root/.ssh/known_hosts
-# the known hosts entries that fai already sets up are like
-# IP,HOSTNAME key_info...
-# we are skipping the ip, because it doesn't block ssh
-# with a prompt as long as you have the user supplied hostname,
-# and i don't want to deal with getting it, it's not adding
-# any important security in this case.
-if ! grep -xFq "$line" $f; then
-    changed=true
-    printf "%s\n" "$line" >>$f
-fi
-
-if ! modprobe nfsd &>/dev/null; then
-    # no apt-cache on maru debian, because we are low on space already
-    sed -i '/^ *APTPROXY=/d' /srv/fai/config/class/DEBIAN.var
-    # maru debian doesn't have loopback devs created
-    if ! losetup -f; then
-      shopt -s nullglob
-      x=(/dev/loop*)
-      minor=0
-      if (( ${#x[@]} )); then
-        minor=$(( ${x[-1]#/dev/loop} + 1 ))
-      fi
-      mknod -m660 /dev/loop$minor b 7 $minor
-      losetup -f
-    fi
-    # -B boo only iso, no nfsroot, no paritial miorr, no config space.
-    # -f = force, for overwriting
-    # -S = make squash image for http booting
-    # -d config space url, instead of putting it in the squash.img,
-    #  this just makes it so that we don't have to regenerate the img
-    #  when the config changes.
-    cd /srv/fai/config
-    tar czf /var/www/faiserver/html/config.tar.gz .
-    if $changed || [[ ! -e /var/www/faiserver/html/squash.img ]]; then
-      # note, on maru, selinux needs to be disabled in android before
-      # this will work.
-      mount
-      export debug=true
-      fai-cd -d http://faiserver:8080/config.tar.gz  -f -M -S /var/www/faiserver/html/squash.img
-      mount
-    fi
-fi
-EOF
+m rsync -rplt --include '/*.zst' --exclude '/**' --delete-excluded $BASEFILE_DIR/ "${rpre[@]}"/srv/fai/config/basefiles/