various fixes, upgrade nfsroot to buster
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index a09b779629407f6f9466e4edc341021a717c0408..b961e62ed2d7f98055204bfd1b0bd42066960fa8 100755 (executable)
 set -eE -o pipefail
 trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-# for calling outside of FAI, first
-# - source /a/bin/fai-wrapper
+# for calling outside of FAI:
+# # need to redep and set that location so that we get luks keys
+# export FAI=/srv/fai/config
+# fai-redep
+# source /b/fai/fai-wrapper
 # - set any appropriate classes with: fai-setclass OPT1... which sets CLASS_OPT1=true...
 #   or run eval-fai-classfile FILE
 #
@@ -93,10 +96,7 @@ grub_extn=4
 # https://wiki.archlinux.org/index.php/GRUB
 bios_grubn=5
 lastn=$bios_grubn
-# this is larger than needed for several /boot subvols,
-# becuase I keep a minimal debian install on it, for
-# recovery needs, and for doing pxe-kexec.
-boot_mib=10000
+
 
 
 ##### end configuration
@@ -140,12 +140,26 @@ else
   partition=false # change to true to force a full wipe
 fi
 
+## ignore disks that are mounted, eg when running from fai-cd
+declare -A disk_excludes
+while read -r l; do
+  eval "$l"
+  if [[ ! $PKNAME ]]; then
+    PKNAME="$KNAME"
+  fi
+  if [[ $MOUNTPOINT ]]; then
+    disk_excludes[$PKNAME]=true
+  fi
+done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
 
 
 hdds=()
 ssds=()
 cd /sys/block
 for disk in [sv]d[a-z]; do
+  if [[ ${disk_excludes[$disk]} ]]; then
+    continue
+  fi
   case $(cat $disk/queue/rotational) in
     0) ssds+=(/dev/$disk) ;;
     1) hdds+=(/dev/$disk) ;;
@@ -170,7 +184,7 @@ for dev in ${short_devs[@]}; do
   if $partition; then break; fi
   y=$(readlink -f $dev)
   arr=($y[0-9])
-  [[ ${#arr[@]}  == "${lastn}" ]] || partition=true
+  [[ ${#arr[@]}  == "$lastn" ]] || partition=true
   for (( i=1; i <= lastn; i++ )); do
     [[ -e ${dev}$i ]] || partition=true
   done
@@ -193,12 +207,12 @@ shopt -s extglob
 for short_dev in ${short_devs[@]}; do
   devs+=($(devbyid $short_dev))
 done
-if [[ ! ${devs[@]} ]]; then
+if [[ ! ${devs[0]} ]]; then
   echo "$0: error: failed to detect devs" >&2
   exit 1
 fi
 
-
+boot_space=0
 first=false
 boot_devs=()
 for dev in ${devs[@]}; do
@@ -226,12 +240,14 @@ for dev in ${devs[@]}; do
         break
       fi
     done
-    $bad_disk || boot_devs+=(`bootdev`)
+    $bad_disk || boot_devs+=($(bootdev))
   else
-    boot_devs+=(`bootdev`)
+    boot_space=$(( boot_space + $(parted -m $dev unit MiB print | \
+                                    sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
+    boot_devs+=($(bootdev))
   fi
   if [[ $boot_devs && $first ]]; then
-    first_grub_extdev=`grub_extdev`
+    first_grub_extdev=$(grub_extdev)
     first=false
   fi
 done
@@ -242,11 +258,32 @@ elif ifclass RAID1 || (( ${#boot_devs[@]} <= 3 )); then
   raid_level=1
 else
   raid_level=10
-  # need double the space if we are raid 10, and then
-  # might as well give some extra.
-  boot_mib=$((boot_mib * 3))
 fi
 
+### Begin calculate boot partition space
+# due to raid duplication
+case $raid_level in
+  1*) boot_space=$(( boot_space / 2 )) ;;
+esac
+if (( boot_space > 60000 )); then
+  # this is larger than needed for several /boot subvols,
+  # becuase I keep a minimal debian install on it for
+  # recovery needs and for doing pxe-kexec.
+  boot_mib=10000
+elif (( boot_space > 30000 )); then
+  boot_mib=$(( 5000 + (boot_space - 30000) / 2 ))
+else
+  # Small vms don't have room for /boot recovery.  With 3 kernels
+  # installed, i'm using 132M on t8, so this seems like plenty of
+  # room. note: rhel 8 recomments 1g for /boot.
+  boot_mib=500
+  #
+fi
+case $raid_level in
+  1*) boot_mib=$(( boot_mib * 2 )) ;;
+esac
+### end calculate boot partition space
+
 
 
 if [[ ! $DISTRO ]]; then
@@ -254,6 +291,8 @@ if [[ ! $DISTRO ]]; then
     DISTRO=debianstretch_bootstrap
   elif ifclass VOL_STRETCH; then
     DISTRO=debianstretch
+  elif ifclass VOL_BUSTER; then
+    DISTRO=debianbuster
   elif ifclass VOL_TESTING; then
     DISTRO=debiantesting
   elif ifclass VOL_XENIAL; then
@@ -262,6 +301,8 @@ if [[ ! $DISTRO ]]; then
     DISTRO=trisquelbelenos
   elif ifclass VOL_FLIDAS; then
     DISTRO=trisquelflidas
+  elif ifclass VOL_ETIONA; then
+    DISTRO=trisqueletiona
   else
     echo "PARTITIONER ERROR: no distro class/var set" >&2
     exit 1
@@ -279,26 +320,34 @@ bpart() { # btrfs a partition
 }
 
 
-# keyfiles generated like:
-# head -c 2048 /dev/urandom | od | s dd of=/q/root/luks/host-demohost
-luks_dir=${LUKS_DIR:-/var/lib/fai/config/distro-install-common/luks}
+# see README for docs about how to create these
+luks_dir=$FAI/distro-install-common/luks
 
-if [[ ! -e $luks_dir/host-$HOSTNAME ]]; then
-  echo "$0: error: no key for hostname at $luks_dir/host-$HOSTNAME" >&2
-  exit 1
+
+luks_file=$luks_dir/host-$HOSTNAME
+if [[ ! -e $luks_file ]]; then
+  hostkeys=($luks_dir/host-*)
+  # if there is only one key, we might be deploying somewhere
+  # where dhcp doesnt give us a proper hostname, so use that.
+  if [[ ${#hostkeys[@]} == 1 && -e ${hostkeys[0]} ]]; then
+    luks_file=${hostkeys[0]}
+  else
+    echo "$0: error: no key for hostname at $luks_file" >&2
+    exit 1
+  fi
 fi
 
-lukspw=$(cat $luks_dir/iank)
-# # ian: disabled by chaning to tpnew while I use the tp host.
 # # note, corresponding changes in /b/ds/keyscript-{on,off}
 if ifclass tpnew; then
   lukspw=$(cat $luks_dir/traci)
-fi
-if ifclass ziva; then
+elif ifclass ziva; then
   lukspw=$(cat $luks_dir/ziva)
-fi
-if ifclass demohost; then
+elif ifclass demohost; then
   lukspw=x
+elif [[ -e $luks_dir/$HOSTNAME ]]; then
+  lukspw=$(cat $luks_dir/$HOSTNAME)
+else
+  lukspw=$(cat $luks_dir/iank)
 fi
 
 
@@ -311,7 +360,7 @@ swap_mib=$(( $(grep ^MemTotal: /proc/meminfo | \
 mkdir -p /tmp/fai
 root_devs=()
 for dev in ${devs[@]}; do
-  root_devs+=(`rootdev`)
+  root_devs+=($(rootdev))
 done
 shopt -s nullglob
 if $partition; then
@@ -390,7 +439,7 @@ if $partition; then
     # wait at all. So I've added a 3 second minimum wait.
     sleep 3
     secs=0
-    while [[ ! -e `rootdev` ]] && (( secs < 10 )); do
+    while [[ ! -e $(rootdev) ]] && (( secs < 10 )); do
       sleep 1
       secs=$((secs +1))
     done
@@ -402,7 +451,7 @@ if $partition; then
     # to grubenv after booting, but that relies on the boot always succeeding.
     # This is just a bit more robust, and it could work for booting
     # into ipxe which can't persist data, if we ever got that working.
-    mkfs.ext2 `grub_extdev`
+    mkfs.ext2 $(grub_extdev)
     # when we move to newer than trisquel 8, we can remove
     # --type luks1. We can also check on cryptsetup --help | less /compil
     # to see about the other settings. Default in debian 9 is luks2.
@@ -410,11 +459,11 @@ if $partition; then
     # cryptsetup luksAddKey --pbkdf pbkdf2
     # then remove the new format keys with cryptsetup luksRemoveKey
     # then cryptsetup convert DEV --type luks1, then readd old keys and remove temp.
-    yes YES | cryptsetup luksFormat `rootdev` $luks_dir/host-$HOSTNAME \
+    yes YES | cryptsetup luksFormat $(rootdev) $luks_file \
                          --type luks1 -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
     yes "$lukspw" | \
-      cryptsetup luksAddKey --key-file $luks_dir/host-$HOSTNAME \
-                 `rootdev` || [[ $? == 141 ]]
+      cryptsetup luksAddKey --key-file $luks_file \
+                 $(rootdev) || [[ $? == 141 ]]
     # background: Keyfile and password are treated just
     # like 2 ways to input a passphrase, so we don't actually need to have
     # different contents of keyfile and passphrase, but it makes some
@@ -425,8 +474,8 @@ if $partition; then
     #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
       #                            /key/file || [[ $? == 141 ]]
 
-    cryptsetup luksOpen `rootdev` `root-cryptname` \
-               --key-file $luks_dir/host-$HOSTNAME
+    cryptsetup luksOpen $(rootdev) $(root-cryptname) \
+               --key-file $luks_file
 
     if [[ $SPECIAL_DISK ]]; then
       exit 0
@@ -438,9 +487,11 @@ if $partition; then
   bpart ${boot_devs[@]}
 else
   for dev in ${devs[@]}; do
-    mkfs.ext2 `grub_extdev`
-    cryptsetup luksOpen `rootdev` `root-cryptname` \
-               --key-file $luks_dir/host-$HOSTNAME
+    if [[ -e /a/bin/fai/fai-wrapper && -e /dev/mapper/$(root-cryptname) ]]; then
+      continue
+    fi
+    cryptsetup luksOpen $(rootdev) $(root-cryptname) \
+               --key-file $luks_file
   done
   sleep 1
 fi
@@ -461,7 +512,6 @@ if [[ $DISTRO != debianstretch_bootstrap ]]; then
 
   btrfs subvolume create root_$DISTRO
 
-  mkdir -p /mnt/root_$DISTRO/boot
   # could set default subvol like this, but no reason to.
   # btrfs subvolume set-default \
     #       $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
@@ -514,19 +564,20 @@ EOF
 else
   # note, fai creates the mountpoints listed here
   cat > /tmp/fai/fstab <<EOF
-$first_root_crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
-$first_root_crypt  /mnt/root  btrfs  noatime,subvolid=0  0 0
-$first_boot_dev  /boot  btrfs  noatime,subvol=$boot_vol  0 0
+$first_root_crypt  /  btrfs          noatime,subvol=root_$DISTRO  0 0
+$first_root_crypt  /mnt/root  btrfs  nofail,noatime,subvolid=0  0 0
+$first_boot_dev  /boot  btrfs        nofail,noatime,subvol=$boot_vol  0 0
+$first_boot_dev  /mnt/boot  btrfs    nofail,noatime,subvolid=0  0 0
 EOF
   swaps=()
   for dev in ${devs[@]}; do
-    swaps+=(`swap-cryptname`)
+    swaps+=($(swap-cryptname))
     cat >>/tmp/fai/crypttab <<EOF
-`root-cryptname`  `rootdev`  none  keyscript=/root/keyscript,discard,luks
-`swap-cryptname` `swapdev`  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
+$(root-cryptname)  $(rootdev)  none  keyscript=/root/keyscript,discard,luks,initramfs
+$(swap-cryptname) $(swapdev)  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
 EOF
     cat >> /tmp/fai/fstab <<EOF
-`swap-cryptdev`  none  swap  sw  0 0
+$(swap-cryptdev)  none  swap  nofail,sw  0 0
 EOF
   done