minor fixes and improvements
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index 2905435b752b89d6b5a7696f1b680ab62f1a658a..7c88c7492a8b808ceeb52eaf0c3eb25b87260c47 100755 (executable)
 # along with this program; if not, write to the Free Software
 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
 
+PS4='+ $LINENO '
 set -eE -o pipefail
 trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-# for calling outside of FAI, first
-# - source /a/bin/fai-wrapper
+if [[ $EUID != 0 ]]; then
+  echo "$0: error: need to run as root" >&2
+  exit 1
+fi
+
+# for calling outside of FAI:
+# # need to redep and set that location so that we get luks keys
+# export FAI=/srv/fai/config
+# fai-redep
+# source /b/fai/fai-wrapper
 # - set any appropriate classes with: fai-setclass OPT1... which sets CLASS_OPT1=true...
 #   or run eval-fai-classfile FILE
 #
@@ -41,6 +50,8 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 # REPARTITION: forces repartitioning even if we detect the proper amount
 # of partitions already exist.
 #
+# NOWIPE: use existing subvolumes if they exist
+#
 # ROTATIONAL: forces to install onto hdds instead of sdds. normally sdds
 # are chosen if they exist.
 #
@@ -93,10 +104,7 @@ grub_extn=4
 # https://wiki.archlinux.org/index.php/GRUB
 bios_grubn=5
 lastn=$bios_grubn
-# this is larger than needed for several /boot subvols,
-# becuase I keep a minimal debian install on it, for
-# recovery needs, and for doing pxe-kexec.
-boot_mib=10000
+
 
 
 ##### end configuration
@@ -134,24 +142,34 @@ swap-cryptname() { crypt-name $(swapdev $@); }
 
 ##### end function defs
 
-if ifclass REPARTITION;then
+if ifclass REPARTITION; then
   partition=true # force a full wipe
 else
   partition=false # change to true to force a full wipe
 fi
+if ifclass NOWIPE; then
+  wipe=false
+else
+  wipe=true
+fi
 
-## ignore disks that are mounted, eg when running from fai-cd
-declare -A disk_excludes
-while read -r l; do
-  eval "$l"
-  if [[ ! $PKNAME ]]; then
-    PKNAME="$KNAME"
-  fi
-  if [[ $MOUNTPOINT ]]; then
-    disk_excludes[$PKNAME]=true
-  fi
-done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
+if ((`nproc` > 2)); then
+  mopts=,compress=zstd
+fi
 
+declare -A disk_excludes
+if ! ifclass USE_MOUNTED; then
+  ## ignore disks that are mounted, eg when running from fai-cd
+  while read -r l; do
+    eval "$l"
+    if [[ ! $PKNAME ]]; then
+      PKNAME="$KNAME"
+    fi
+    if [[ $MOUNTPOINT ]]; then
+      disk_excludes[$PKNAME]=true
+    fi
+  done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
+fi
 
 hdds=()
 ssds=()
@@ -212,7 +230,7 @@ if [[ ! ${devs[0]} ]]; then
   exit 1
 fi
 
-
+boot_space=0
 first=false
 boot_devs=()
 for dev in ${devs[@]}; do
@@ -242,6 +260,8 @@ for dev in ${devs[@]}; do
     done
     $bad_disk || boot_devs+=($(bootdev))
   else
+    boot_space=$(( boot_space + $(parted -m $dev unit MiB print | \
+                                    sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
     boot_devs+=($(bootdev))
   fi
   if [[ $boot_devs && $first ]]; then
@@ -256,11 +276,32 @@ elif ifclass RAID1 || (( ${#boot_devs[@]} <= 3 )); then
   raid_level=1
 else
   raid_level=10
-  # need double the space if we are raid 10, and then
-  # might as well give some extra.
-  boot_mib=$((boot_mib * 3))
 fi
 
+### Begin calculate boot partition space
+# due to raid duplication
+case $raid_level in
+  1*) boot_space=$(( boot_space / 2 )) ;;
+esac
+if (( boot_space > 60000 )); then
+  # this is larger than needed for several /boot subvols,
+  # becuase I keep a minimal debian install on it for
+  # recovery needs and for doing pxe-kexec.
+  boot_mib=10000
+elif (( boot_space > 30000 )); then
+  boot_mib=$(( 5000 + (boot_space - 30000) / 2 ))
+else
+  # Small vms don't have room for /boot recovery.  With 3 kernels
+  # installed, i'm using 132M on t8, so this seems like plenty of
+  # room. note: rhel 8 recomments 1g for /boot.
+  boot_mib=500
+  #
+fi
+case $raid_level in
+  1*) boot_mib=$(( boot_mib * 2 )) ;;
+esac
+### end calculate boot partition space
+
 
 
 if [[ ! $DISTRO ]]; then
@@ -274,6 +315,10 @@ if [[ ! $DISTRO ]]; then
     DISTRO=debiantesting
   elif ifclass VOL_XENIAL; then
     DISTRO=ubuntuxenial
+  elif ifclass VOL_BIONIC; then
+    DISTRO=ubuntubionic
+  elif ifclass VOL_FOCAL; then
+    DISTRO=ubuntufocal
   elif ifclass VOL_BELENOS; then
     DISTRO=trisquelbelenos
   elif ifclass VOL_FLIDAS; then
@@ -297,37 +342,33 @@ bpart() { # btrfs a partition
 }
 
 
-# keyfiles generated like:
-# head -c 2048 /dev/urandom | od | s dd of=/q/root/luks/host-demohost
-luks_dir=${LUKS_DIR:-/var/lib/fai/config/distro-install-common/luks}
-
+if [[ ! -e /a/bin/fai/fai-wrapper ]]; then
+  # see README for docs about how to create these
+  luks_dir=$FAI/distro-install-common/luks
+
+  luks_file=$luks_dir/host-$HOSTNAME
+  if [[ ! -e $luks_file ]]; then
+    hostkeys=($luks_dir/host-*)
+    # if there is only one key, we might be deploying somewhere
+    # where dhcp doesnt give us a proper hostname, so use that.
+    if [[ ${#hostkeys[@]} == 1 && -e ${hostkeys[0]} ]]; then
+      luks_file=${hostkeys[0]}
+    else
+      echo "$0: error: no key for hostname at $luks_file" >&2
+      exit 1
+    fi
+  fi
 
-luks_file=$luks_dir/host-$HOSTNAME
-if [[ ! -e $luks_file ]]; then
-  hostkeys=($luks_dir/host-*)
-  # if there is only one key, we might be deploying somewhere
-  # where dhcp doesnt give us a proper hostname, so use that.
-  if [[ ${#hostkeys[@]} == 1 && -e ${hostkeys[0]} ]]; then
-    luks_file=${hostkeys[0]}
+  # # note, corresponding changes in /b/ds/keyscript-{on,off}
+  if ifclass demohost; then
+    lukspw=x
+  elif [[ -e $luks_dir/$HOSTNAME ]]; then
+    lukspw=$(cat $luks_dir/$HOSTNAME)
   else
-    echo "$0: error: no key for hostname at $luks_file" >&2
-    exit 1
+    lukspw=$(cat $luks_dir/iank)
   fi
 fi
 
-# # note, corresponding changes in /b/ds/keyscript-{on,off}
-if ifclass tpnew; then
-  lukspw=$(cat $luks_dir/traci)
-elif ifclass BUSTER_LINODE; then
-  lukspw=$(cat $luks_dir/li)
-elif ifclass ziva; then
-  lukspw=$(cat $luks_dir/ziva)
-elif ifclass demohost; then
-  lukspw=x
-else
-  lukspw=$(cat $luks_dir/iank)
-fi
-
 
 first_root_crypt=$(root-cryptdev ${devs[0]})
 
@@ -465,7 +506,9 @@ if $partition; then
   bpart ${boot_devs[@]}
 else
   for dev in ${devs[@]}; do
-    mkfs.ext2 $(grub_extdev)
+    if [[ -e /dev/mapper/$(root-cryptname) ]]; then
+      continue
+    fi
     cryptsetup luksOpen $(rootdev) $(root-cryptname) \
                --key-file $luks_file
   done
@@ -473,7 +516,7 @@ else
 fi
 
 
-if [[ $DISTRO != debianstretch_bootstrap ]]; then
+if $wipe && [[ $DISTRO != debianstretch_bootstrap ]]; then
   # bootstrap distro doesn't use separate encrypted root.
   mount -o subvolid=0 $first_root_crypt /mnt
   # systemd creates subvolumes we want to delete.
@@ -488,7 +531,6 @@ if [[ $DISTRO != debianstretch_bootstrap ]]; then
 
   btrfs subvolume create root_$DISTRO
 
-  mkdir -p /mnt/root_$DISTRO/boot
   # could set default subvol like this, but no reason to.
   # btrfs subvolume set-default \
     #       $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
@@ -518,8 +560,12 @@ if [[ $DISTRO == debianstretch_bootstrap ]]; then
 else
   boot_vol=boot_$DISTRO
 fi
-[[ ! -e /mnt/$boot_vol ]] || btrfs subvolume delete /mnt/$boot_vol
-btrfs subvolume create $boot_vol
+if $wipe && [[ -e /mnt/$boot_vol ]]; then
+  btrfs subvolume delete /mnt/$boot_vol
+fi
+if [[ ! -e /mnt/$boot_vol ]]; then
+  btrfs subvolume create $boot_vol
+fi
 cd /
 umount /mnt
 ## end create subvols ##
@@ -541,19 +587,21 @@ EOF
 else
   # note, fai creates the mountpoints listed here
   cat > /tmp/fai/fstab <<EOF
-$first_root_crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
-$first_root_crypt  /mnt/root  btrfs  noatime,subvolid=0  0 0
-$first_boot_dev  /boot  btrfs  noatime,subvol=$boot_vol  0 0
+$first_root_crypt  /  btrfs          noatime,subvol=root_$DISTRO$mopts  0 0
+$first_root_crypt  /mnt/root  btrfs  nofail,noatime,subvolid=0$mopts  0 0
+$first_boot_dev  /boot  btrfs        nofail,noatime,subvol=$boot_vol  0 0
+$first_boot_dev  /mnt/boot  btrfs    nofail,noatime,subvolid=0  0 0
 EOF
   swaps=()
+  rm -f /tmp/fai/crypttab
   for dev in ${devs[@]}; do
     swaps+=($(swap-cryptname))
     cat >>/tmp/fai/crypttab <<EOF
-$(root-cryptname)  $(rootdev)  none  keyscript=decrypt_keyctl,discard,luks,initramfs
+$(root-cryptname) $(rootdev)  none  keyscript=/root/keyscript,discard,luks,initramfs
 $(swap-cryptname) $(swapdev)  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
 EOF
     cat >> /tmp/fai/fstab <<EOF
-$(swap-cryptdev)  none  swap  sw  0 0
+$(swap-cryptdev)  none  swap  nofail,sw  0 0
 EOF
   done