minor fixes and improvements
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index 9ab73b22cceb9a2f91f2932b1c2c864f948484b0..7c88c7492a8b808ceeb52eaf0c3eb25b87260c47 100755 (executable)
 # along with this program; if not, write to the Free Software
 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
 
+PS4='+ $LINENO '
 set -eE -o pipefail
 trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-# for calling outside of FAI, first
-# - source /a/bin/fai-wrapper
+if [[ $EUID != 0 ]]; then
+  echo "$0: error: need to run as root" >&2
+  exit 1
+fi
+
+# for calling outside of FAI:
+# # need to redep and set that location so that we get luks keys
+# export FAI=/srv/fai/config
+# fai-redep
+# source /b/fai/fai-wrapper
 # - set any appropriate classes with: fai-setclass OPT1... which sets CLASS_OPT1=true...
 #   or run eval-fai-classfile FILE
 #
@@ -41,6 +50,8 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 # REPARTITION: forces repartitioning even if we detect the proper amount
 # of partitions already exist.
 #
+# NOWIPE: use existing subvolumes if they exist
+#
 # ROTATIONAL: forces to install onto hdds instead of sdds. normally sdds
 # are chosen if they exist.
 #
@@ -48,6 +59,7 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 #
 # RAID0: forces raid0 filesystem. Normally with 4+ devices, we use
 # raid10.
+# RAID1: forces raid1 filesystem.
 
 if [[ $SPECIAL_DISK ]]; then
   export CLASS_REPARTITION=true
@@ -92,10 +104,7 @@ grub_extn=4
 # https://wiki.archlinux.org/index.php/GRUB
 bios_grubn=5
 lastn=$bios_grubn
-# this is larger than needed for several /boot subvols,
-# becuase I keep a minimal debian install on it, for
-# recovery needs, and for doing pxe-kexec.
-boot_mib=10000
+
 
 
 ##### end configuration
@@ -133,18 +142,42 @@ swap-cryptname() { crypt-name $(swapdev $@); }
 
 ##### end function defs
 
-if ifclass REPARTITION;then
+if ifclass REPARTITION; then
   partition=true # force a full wipe
 else
   partition=false # change to true to force a full wipe
 fi
+if ifclass NOWIPE; then
+  wipe=false
+else
+  wipe=true
+fi
 
+if ((`nproc` > 2)); then
+  mopts=,compress=zstd
+fi
 
+declare -A disk_excludes
+if ! ifclass USE_MOUNTED; then
+  ## ignore disks that are mounted, eg when running from fai-cd
+  while read -r l; do
+    eval "$l"
+    if [[ ! $PKNAME ]]; then
+      PKNAME="$KNAME"
+    fi
+    if [[ $MOUNTPOINT ]]; then
+      disk_excludes[$PKNAME]=true
+    fi
+  done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
+fi
 
 hdds=()
 ssds=()
 cd /sys/block
 for disk in [sv]d[a-z]; do
+  if [[ ${disk_excludes[$disk]} ]]; then
+    continue
+  fi
   case $(cat $disk/queue/rotational) in
     0) ssds+=(/dev/$disk) ;;
     1) hdds+=(/dev/$disk) ;;
@@ -169,7 +202,7 @@ for dev in ${short_devs[@]}; do
   if $partition; then break; fi
   y=$(readlink -f $dev)
   arr=($y[0-9])
-  [[ ${#arr[@]}  == "${lastn}" ]] || partition=true
+  [[ ${#arr[@]}  == "$lastn" ]] || partition=true
   for (( i=1; i <= lastn; i++ )); do
     [[ -e ${dev}$i ]] || partition=true
   done
@@ -192,12 +225,12 @@ shopt -s extglob
 for short_dev in ${short_devs[@]}; do
   devs+=($(devbyid $short_dev))
 done
-if [[ ! ${devs[@]} ]]; then
+if [[ ! ${devs[0]} ]]; then
   echo "$0: error: failed to detect devs" >&2
   exit 1
 fi
 
-
+boot_space=0
 first=false
 boot_devs=()
 for dev in ${devs[@]}; do
@@ -225,25 +258,50 @@ for dev in ${devs[@]}; do
         break
       fi
     done
-    $bad_disk || boot_devs+=(`bootdev`)
+    $bad_disk || boot_devs+=($(bootdev))
   else
-    boot_devs+=(`bootdev`)
+    boot_space=$(( boot_space + $(parted -m $dev unit MiB print | \
+                                    sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
+    boot_devs+=($(bootdev))
   fi
   if [[ $boot_devs && $first ]]; then
-    first_grub_extdev=`grub_extdev`
+    first_grub_extdev=$(grub_extdev)
     first=false
   fi
 done
 
-if ifclass RAID0 || (( ${#boot_devs[@]} < 4 )); then
+if ifclass RAID0 || (( ${#boot_devs[@]} == 1 )); then
   raid_level=0
+elif ifclass RAID1 || (( ${#boot_devs[@]} <= 3 )); then
+  raid_level=1
 else
   raid_level=10
-  # need double the space if we are raid 10, and then
-  # might as well give some extra.
-  boot_mib=$((boot_mib * 3))
 fi
 
+### Begin calculate boot partition space
+# due to raid duplication
+case $raid_level in
+  1*) boot_space=$(( boot_space / 2 )) ;;
+esac
+if (( boot_space > 60000 )); then
+  # this is larger than needed for several /boot subvols,
+  # becuase I keep a minimal debian install on it for
+  # recovery needs and for doing pxe-kexec.
+  boot_mib=10000
+elif (( boot_space > 30000 )); then
+  boot_mib=$(( 5000 + (boot_space - 30000) / 2 ))
+else
+  # Small vms don't have room for /boot recovery.  With 3 kernels
+  # installed, i'm using 132M on t8, so this seems like plenty of
+  # room. note: rhel 8 recomments 1g for /boot.
+  boot_mib=500
+  #
+fi
+case $raid_level in
+  1*) boot_mib=$(( boot_mib * 2 )) ;;
+esac
+### end calculate boot partition space
+
 
 
 if [[ ! $DISTRO ]]; then
@@ -251,14 +309,22 @@ if [[ ! $DISTRO ]]; then
     DISTRO=debianstretch_bootstrap
   elif ifclass VOL_STRETCH; then
     DISTRO=debianstretch
+  elif ifclass VOL_BUSTER; then
+    DISTRO=debianbuster
   elif ifclass VOL_TESTING; then
     DISTRO=debiantesting
   elif ifclass VOL_XENIAL; then
     DISTRO=ubuntuxenial
+  elif ifclass VOL_BIONIC; then
+    DISTRO=ubuntubionic
+  elif ifclass VOL_FOCAL; then
+    DISTRO=ubuntufocal
   elif ifclass VOL_BELENOS; then
     DISTRO=trisquelbelenos
   elif ifclass VOL_FLIDAS; then
     DISTRO=trisquelflidas
+  elif ifclass VOL_ETIONA; then
+    DISTRO=trisqueletiona
   else
     echo "PARTITIONER ERROR: no distro class/var set" >&2
     exit 1
@@ -270,28 +336,37 @@ first_boot_dev=${boot_devs[0]}
 bpart() { # btrfs a partition
   case $raid_level in
     0) mkfs.btrfs -f $@ ;;
+    1) mkfs.btrfs -f -m raid1 -d raid1 $@ ;;
     10) mkfs.btrfs -f -m raid10 -d raid10 $@ ;;
   esac
 }
 
 
-# keyfiles generated like:
-# head -c 2048 /dev/urandom | od | s dd of=/q/root/luks/host-demohost
-luks_dir=${LUKS_DIR:-/var/lib/fai/config/distro-install-common/luks}
-
-if [[ ! -e $luks_dir/host-$HOSTNAME ]]; then
-  echo "$0: error: no key for hostname at $luks_dir/host-$HOSTNAME" >&2
-  exit 1
-fi
+if [[ ! -e /a/bin/fai/fai-wrapper ]]; then
+  # see README for docs about how to create these
+  luks_dir=$FAI/distro-install-common/luks
+
+  luks_file=$luks_dir/host-$HOSTNAME
+  if [[ ! -e $luks_file ]]; then
+    hostkeys=($luks_dir/host-*)
+    # if there is only one key, we might be deploying somewhere
+    # where dhcp doesnt give us a proper hostname, so use that.
+    if [[ ${#hostkeys[@]} == 1 && -e ${hostkeys[0]} ]]; then
+      luks_file=${hostkeys[0]}
+    else
+      echo "$0: error: no key for hostname at $luks_file" >&2
+      exit 1
+    fi
+  fi
 
-lukspw=$(cat $luks_dir/iank)
-# # ian: disabled by chaning to tpnew while I use the tp host.
-# # note, corresponding changes in /b/ds/keyscript-{on,off}
-if ifclass tpnew; then
-  lukspw=$(cat $luks_dir/traci)
-fi
-if ifclass demohost; then
-  lukspw=x
+  # # note, corresponding changes in /b/ds/keyscript-{on,off}
+  if ifclass demohost; then
+    lukspw=x
+  elif [[ -e $luks_dir/$HOSTNAME ]]; then
+    lukspw=$(cat $luks_dir/$HOSTNAME)
+  else
+    lukspw=$(cat $luks_dir/iank)
+  fi
 fi
 
 
@@ -304,7 +379,7 @@ swap_mib=$(( $(grep ^MemTotal: /proc/meminfo | \
 mkdir -p /tmp/fai
 root_devs=()
 for dev in ${devs[@]}; do
-  root_devs+=(`rootdev`)
+  root_devs+=($(rootdev))
 done
 shopt -s nullglob
 if $partition; then
@@ -383,7 +458,7 @@ if $partition; then
     # wait at all. So I've added a 3 second minimum wait.
     sleep 3
     secs=0
-    while [[ ! -e `rootdev` ]] && (( secs < 10 )); do
+    while [[ ! -e $(rootdev) ]] && (( secs < 10 )); do
       sleep 1
       secs=$((secs +1))
     done
@@ -395,7 +470,7 @@ if $partition; then
     # to grubenv after booting, but that relies on the boot always succeeding.
     # This is just a bit more robust, and it could work for booting
     # into ipxe which can't persist data, if we ever got that working.
-    mkfs.ext2 `grub_extdev`
+    mkfs.ext2 $(grub_extdev)
     # when we move to newer than trisquel 8, we can remove
     # --type luks1. We can also check on cryptsetup --help | less /compil
     # to see about the other settings. Default in debian 9 is luks2.
@@ -403,11 +478,11 @@ if $partition; then
     # cryptsetup luksAddKey --pbkdf pbkdf2
     # then remove the new format keys with cryptsetup luksRemoveKey
     # then cryptsetup convert DEV --type luks1, then readd old keys and remove temp.
-    yes YES | cryptsetup luksFormat `rootdev` $luks_dir/host-$HOSTNAME \
+    yes YES | cryptsetup luksFormat $(rootdev) $luks_file \
                          --type luks1 -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
     yes "$lukspw" | \
-      cryptsetup luksAddKey --key-file $luks_dir/host-$HOSTNAME \
-                 `rootdev` || [[ $? == 141 ]]
+      cryptsetup luksAddKey --key-file $luks_file \
+                 $(rootdev) || [[ $? == 141 ]]
     # background: Keyfile and password are treated just
     # like 2 ways to input a passphrase, so we don't actually need to have
     # different contents of keyfile and passphrase, but it makes some
@@ -418,8 +493,8 @@ if $partition; then
     #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
       #                            /key/file || [[ $? == 141 ]]
 
-    cryptsetup luksOpen `rootdev` `root-cryptname` \
-               --key-file $luks_dir/host-$HOSTNAME
+    cryptsetup luksOpen $(rootdev) $(root-cryptname) \
+               --key-file $luks_file
 
     if [[ $SPECIAL_DISK ]]; then
       exit 0
@@ -431,15 +506,17 @@ if $partition; then
   bpart ${boot_devs[@]}
 else
   for dev in ${devs[@]}; do
-    mkfs.ext2 `grub_extdev`
-    cryptsetup luksOpen `rootdev` `root-cryptname` \
-               --key-file $luks_dir/host-$HOSTNAME
+    if [[ -e /dev/mapper/$(root-cryptname) ]]; then
+      continue
+    fi
+    cryptsetup luksOpen $(rootdev) $(root-cryptname) \
+               --key-file $luks_file
   done
   sleep 1
 fi
 
 
-if [[ $DISTRO != debianstretch_bootstrap ]]; then
+if $wipe && [[ $DISTRO != debianstretch_bootstrap ]]; then
   # bootstrap distro doesn't use separate encrypted root.
   mount -o subvolid=0 $first_root_crypt /mnt
   # systemd creates subvolumes we want to delete.
@@ -454,7 +531,6 @@ if [[ $DISTRO != debianstretch_bootstrap ]]; then
 
   btrfs subvolume create root_$DISTRO
 
-  mkdir -p /mnt/root_$DISTRO/boot
   # could set default subvol like this, but no reason to.
   # btrfs subvolume set-default \
     #       $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
@@ -484,8 +560,12 @@ if [[ $DISTRO == debianstretch_bootstrap ]]; then
 else
   boot_vol=boot_$DISTRO
 fi
-[[ ! -e /mnt/$boot_vol ]] || btrfs subvolume delete /mnt/$boot_vol
-btrfs subvolume create $boot_vol
+if $wipe && [[ -e /mnt/$boot_vol ]]; then
+  btrfs subvolume delete /mnt/$boot_vol
+fi
+if [[ ! -e /mnt/$boot_vol ]]; then
+  btrfs subvolume create $boot_vol
+fi
 cd /
 umount /mnt
 ## end create subvols ##
@@ -507,19 +587,21 @@ EOF
 else
   # note, fai creates the mountpoints listed here
   cat > /tmp/fai/fstab <<EOF
-$first_root_crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
-$first_root_crypt  /mnt/root  btrfs  noatime,subvolid=0  0 0
-$first_boot_dev  /boot  btrfs  noatime,subvol=$boot_vol  0 0
+$first_root_crypt  /  btrfs          noatime,subvol=root_$DISTRO$mopts  0 0
+$first_root_crypt  /mnt/root  btrfs  nofail,noatime,subvolid=0$mopts  0 0
+$first_boot_dev  /boot  btrfs        nofail,noatime,subvol=$boot_vol  0 0
+$first_boot_dev  /mnt/boot  btrfs    nofail,noatime,subvolid=0  0 0
 EOF
   swaps=()
+  rm -f /tmp/fai/crypttab
   for dev in ${devs[@]}; do
-    swaps+=(`swap-cryptname`)
+    swaps+=($(swap-cryptname))
     cat >>/tmp/fai/crypttab <<EOF
-`root-cryptname`  `rootdev`  none  keyscript=/root/keyscript,discard,luks
-`swap-cryptname` `swapdev`  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
+$(root-cryptname) $(rootdev)  none  keyscript=/root/keyscript,discard,luks,initramfs
+$(swap-cryptname) $(swapdev)  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
 EOF
     cat >> /tmp/fai/fstab <<EOF
-`swap-cryptdev`  none  swap  sw  0 0
+$(swap-cryptdev)  none  swap  nofail,sw  0 0
 EOF
   done