fixes and remove some jessie stuff
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index ccaca6efe02ad34a5eb94a79ce68e1602969aedc..988ce06f925d4abe1f84ac14031fb4337d3b590e 100755 (executable)
 # along with this program; if not, write to the Free Software
 # Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA  02110-1301, USA.
 
+PS4='+ $LINENO '
 set -eE -o pipefail
 trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
-# for calling outside of FAI, first
-# - source /a/bin/fai-wrapper
+if [[ $EUID != 0 ]]; then
+  echo "$0: error: need to run as root" >&2
+  exit 1
+fi
+
+# for calling outside of FAI:
+# fai-redep
+# s
+# source /b/fai/fai-wrapper
 # - set any appropriate classes with: fai-setclass OPT1... which sets CLASS_OPT1=true...
 #   or run eval-fai-classfile FILE
+# export luks_dir=/q/root/luks
 #
 # OPTIONS:
 #
@@ -41,6 +50,8 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 # REPARTITION: forces repartitioning even if we detect the proper amount
 # of partitions already exist.
 #
+# NOWIPE: use existing subvolumes if they exist
+#
 # ROTATIONAL: forces to install onto hdds instead of sdds. normally sdds
 # are chosen if they exist.
 #
@@ -63,7 +74,7 @@ skiptask partition || ! type skiptask
 
 if ! type -p devbyid; then
   for d in $FAI/distro-install-common \
-             /a/bin/fai/fai/config/distro-install-common $FAI $PWD; do
+               /a/bin/fai/fai/config/distro-install-common $FAI $PWD; do
     [[ -d $d ]] || continue
     if [[ -e $d/devbyid ]]; then
       devbyid=$d/devbyid
@@ -84,14 +95,15 @@ fi
 rootn=1
 swapn=2
 bootn=3
+efin=4
 # ext partition so grub can write persistent variables,
 # so it can do a one time boot. grub can't write to
 # btrfs or any cow fs because it's more
 # more complicated to do and they don't want to.
-grub_extn=4
+grub_extn=5
 # bios boot partition,
 # https://wiki.archlinux.org/index.php/GRUB
-bios_grubn=5
+bios_grubn=6
 lastn=$bios_grubn
 
 
@@ -108,17 +120,13 @@ add-part() { # add partition suffix to $dev
     d=$1
     part=$2
   fi
-  if [[ $d == /dev/disk/by-id/* ]]; then
-    ret=$d-part$part
-  else
-    ret=$d$part
-  fi
-  echo $ret
+  echo $d-part$part
 }
 
 bootdev() { add-part $@ $bootn; }
 rootdev() { add-part $@ $rootn; }
 swapdev() { add-part $@ $swapn; }
+efidev() { add-part $@ $efin; }
 grub_extdev() { add-part $@ $grub_extn; }
 bios_grubdev() { add-part $@ $bios_grubn; }
 
@@ -129,35 +137,50 @@ swap-cryptdev() { crypt-dev $(swapdev $@); }
 root-cryptname() { crypt-name $(rootdev $@); }
 swap-cryptname() { crypt-name $(swapdev $@); }
 
+dev-mib() {
+  echo $(( $(parted -m $dev unit MiB print | \
+               sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
+}
+
 ##### end function defs
 
-if ifclass REPARTITION;then
+if ifclass REPARTITION; then
   partition=true # force a full wipe
 else
   partition=false # change to true to force a full wipe
 fi
+if ifclass NOWIPE; then
+  wipe=false
+else
+  wipe=true
+fi
 
-## ignore disks that are mounted, eg when running from fai-cd
-declare -A disk_excludes
-while read -r l; do
-  eval "$l"
-  if [[ ! $PKNAME ]]; then
-    PKNAME="$KNAME"
-  fi
-  if [[ $MOUNTPOINT ]]; then
-    disk_excludes[$PKNAME]=true
-  fi
-done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
+if ((`nproc` > 2)); then
+  mopts=,compress=zstd
+fi
 
+declare -A disk_excludes
+if ! ifclass USE_MOUNTED; then
+  ## ignore disks that are mounted, eg when running from fai-cd
+  while read -r l; do
+    eval "$l"
+    if [[ ! $PKNAME ]]; then
+      PKNAME="$KNAME"
+    fi
+    if [[ $MOUNTPOINT ]]; then
+      disk_excludes[$PKNAME]=true
+    fi
+  done < <(lsblk -nP -o KNAME,MOUNTPOINT,PKNAME)
+fi
 
 hdds=()
 ssds=()
-cd /sys/block
-for disk in [sv]d[a-z]; do
+# this excludes usb. note: i may encounter some other type in the future.
+for disk in $(lsblk -do name,tran -n | awk '$2 ~ "^(sata|nvme)$" { print $1 }'); do
   if [[ ${disk_excludes[$disk]} ]]; then
     continue
   fi
-  case $(cat $disk/queue/rotational) in
+  case $(cat /sys/block/$disk/queue/rotational) in
     0) ssds+=(/dev/$disk) ;;
     1) hdds+=(/dev/$disk) ;;
     *) echo "$0: error: unknown /sys/block/$disk/queue/rotational: \
@@ -180,11 +203,10 @@ fi
 for dev in ${short_devs[@]}; do
   if $partition; then break; fi
   y=$(readlink -f $dev)
-  arr=($y[0-9])
-  [[ ${#arr[@]}  == "$lastn" ]] || partition=true
-  for (( i=1; i <= lastn; i++ )); do
-    [[ -e ${dev}$i ]] || partition=true
-  done
+  arr=($y?*)
+  if (( ${#arr[@]}  != lastn )); then
+    partition=true
+  fi
   # On one system, blkid is missing some partitions.
   # maybe we need a flag, like FUZZY_BLKID or something, so we
   # can check that at least some exist.
@@ -210,7 +232,7 @@ if [[ ! ${devs[0]} ]]; then
 fi
 
 boot_space=0
-first=false
+first=true
 boot_devs=()
 for dev in ${devs[@]}; do
   if ifclass frodo; then
@@ -243,15 +265,21 @@ for dev in ${devs[@]}; do
                                     sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
     boot_devs+=($(bootdev))
   fi
-  if [[ $boot_devs && $first ]]; then
+  if $first && [[ $boot_devs ]]; then
+    first_efi=$(efidev)
     first_grub_extdev=$(grub_extdev)
     first=false
   fi
 done
+first_boot_dev=${boot_devs[0]}
 
+even_raid=false
 if ifclass RAID0 || (( ${#boot_devs[@]} == 1 )); then
   raid_level=0
 elif ifclass RAID1 || (( ${#boot_devs[@]} <= 3 )); then
+  if (( ${#boot_devs[@]} == 2 )); then
+    even_raid=true
+  fi
   raid_level=1
 else
   raid_level=10
@@ -284,28 +312,33 @@ esac
 
 
 if [[ ! $DISTRO ]]; then
-  if ifclass VOL_STRETCH_BOOTSTRAP; then
-    DISTRO=debianstretch_bootstrap
+  if ifclass VOL_BUSTER_BOOTSTRAP; then
+    DISTRO=debianbuster_bootstrap
   elif ifclass VOL_STRETCH; then
     DISTRO=debianstretch
   elif ifclass VOL_BUSTER; then
     DISTRO=debianbuster
+  elif ifclass VOL_BULLSEYE; then
+    DISTRO=debianbullseye
   elif ifclass VOL_TESTING; then
     DISTRO=debiantesting
   elif ifclass VOL_XENIAL; then
     DISTRO=ubuntuxenial
-  elif ifclass VOL_BELENOS; then
-    DISTRO=trisquelbelenos
+  elif ifclass VOL_BIONIC; then
+    DISTRO=ubuntubionic
+  elif ifclass VOL_FOCAL; then
+    DISTRO=ubuntufocal
   elif ifclass VOL_FLIDAS; then
     DISTRO=trisquelflidas
   elif ifclass VOL_ETIONA; then
     DISTRO=trisqueletiona
+  elif ifclass VOL_NABIA; then
+    DISTRO=trisquelnabia
   else
     echo "PARTITIONER ERROR: no distro class/var set" >&2
     exit 1
   fi
 fi
-first_boot_dev=${boot_devs[0]}
 
 
 bpart() { # btrfs a partition
@@ -317,9 +350,10 @@ bpart() { # btrfs a partition
 }
 
 
-# see README for docs about how to create these
-luks_dir=${LUKS_DIR:-/var/lib/fai/config/distro-install-common/luks}
-
+if [[ ! $luks_dir ]]; then
+  # see README for docs about how to create these
+  luks_dir=$FAI/distro-install-common/luks
+fi
 
 luks_file=$luks_dir/host-$HOSTNAME
 if [[ ! -e $luks_file ]]; then
@@ -335,11 +369,7 @@ if [[ ! -e $luks_file ]]; then
 fi
 
 # # note, corresponding changes in /b/ds/keyscript-{on,off}
-if ifclass tpnew; then
-  lukspw=$(cat $luks_dir/traci)
-elif ifclass ziva; then
-  lukspw=$(cat $luks_dir/ziva)
-elif ifclass demohost; then
+if ifclass demohost; then
   lukspw=x
 elif [[ -e $luks_dir/$HOSTNAME ]]; then
   lukspw=$(cat $luks_dir/$HOSTNAME)
@@ -368,7 +398,7 @@ if $partition; then
       # if we repartition to the same as an old partition,
       # we don't want any old fses hanging around.
       for (( i=1; i <= lastn; i++ )); do
-        x=$(add-part $dev $i)
+        x=$(add-part $i)
         [[ -e $x ]] || continue
         count_down=10
         # wipefs has failed, manual run works, google suggests timing issue
@@ -382,6 +412,16 @@ if $partition; then
   fi
   ### end wipefs
 
+
+  if $even_raid; then
+    for dev in ${devs[@]}; do
+      cur_mib=$(dev-mib)
+      if [[ ! $disk_mib ]] || (( cur_mib < disk_mib )); then
+        disk_mib=$cur_mib
+      fi
+    done
+  fi
+
   for dev in ${devs[@]}; do
     if [[ $SPECIAL_DISK ]]; then
       dev=$(devbyid $SPECIAL_DISK)
@@ -393,15 +433,16 @@ if $partition; then
     #
     # Note: parted print error output is expected. example:
     # Error: /dev/vda: unrecognised disk label
-    disk_mib=$(( $(parted -m $dev unit MiB print | \
-                     sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
+    if ! $even_raid; then
+      disk_mib=$(dev-mib)
+    fi
     root_end=$(( disk_mib - swap_mib - boot_mib /  ${#boot_devs[@]} ))
     swap_end=$(( root_end + swap_mib))
 
     parted -s $dev mklabel gpt
     # MiB because parted complains about alignment otherwise.
     pcmd="parted -a optimal -s -- $dev"
-    $pcmd mkpart primary ext3 12MiB ${root_end}MiB
+    $pcmd mkpart primary ext3 524MiB ${root_end}MiB
     # without naming, systemd gives us misc errors like:
     # dev-disk-by\x2dpartlabel-primary.device: Dev dev-disk-by\x2dpartlabel-primary.device appeared twice
     $pcmd name $rootn root
@@ -411,6 +452,14 @@ if $partition; then
     $pcmd name $swapn swap
     $pcmd mkpart primary "" ${swap_end}MiB ${disk_mib}MiB
     $pcmd name $bootn boot
+    # eufi = bloated, half a gig gimme a break.
+    $pcmd mkpart primary "fat32" 12MiB 524MiB
+    $pcmd name $efin efi
+    $pcmd set $efin esp on
+    # note, this is shown here: https://support.system76.com/articles/bootloader/
+    # but not mentioned https://wiki.archlinux.org/index.php/EFI_system_partition
+    # probably not needed
+    $pcmd set $bootn boot on
     # i only need a few k, but googling min size,
     # I found someone saying that gparted required
     # required at least 8 because of their hard drive cylinder size.
@@ -440,6 +489,9 @@ if $partition; then
       sleep 1
       secs=$((secs +1))
     done
+
+    mkfs.fat -F32 $(efidev)
+
     # Holds just a single file, rarely written, so
     # use ext2, like was often used for the /boot partition.
     # This exists because grub can only persist data to a non-cow fs.
@@ -449,7 +501,7 @@ if $partition; then
     # This is just a bit more robust, and it could work for booting
     # into ipxe which can't persist data, if we ever got that working.
     mkfs.ext2 $(grub_extdev)
-    # when we move to newer than trisquel 8, we can remove
+    # when we move to newer than trisquel 9, we can remove
     # --type luks1. We can also check on cryptsetup --help | less /compil
     # to see about the other settings. Default in debian 9 is luks2.
     # You can convert from luks2 to luks 1 by adding a temporary key:
@@ -484,7 +536,9 @@ if $partition; then
   bpart ${boot_devs[@]}
 else
   for dev in ${devs[@]}; do
-    mkfs.ext2 $(grub_extdev)
+    if [[ -e /dev/mapper/$(root-cryptname) ]]; then
+      continue
+    fi
     cryptsetup luksOpen $(rootdev) $(root-cryptname) \
                --key-file $luks_file
   done
@@ -492,7 +546,7 @@ else
 fi
 
 
-if [[ $DISTRO != debianstretch_bootstrap ]]; then
+if $wipe && [[ $DISTRO != debianbuster_bootstrap ]]; then
   # bootstrap distro doesn't use separate encrypted root.
   mount -o subvolid=0 $first_root_crypt /mnt
   # systemd creates subvolumes we want to delete.
@@ -507,7 +561,6 @@ if [[ $DISTRO != debianstretch_bootstrap ]]; then
 
   btrfs subvolume create root_$DISTRO
 
-  mkdir -p /mnt/root_$DISTRO/boot
   # could set default subvol like this, but no reason to.
   # btrfs subvolume set-default \
     #       $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
@@ -530,15 +583,19 @@ btrfs subvolume set-default 0 /mnt # already default, just ensuring it.
 mkdir -p /mnt/grub2
 cp $FAI/distro-install-common/libreboot_grub.cfg /mnt/grub2
 
-if [[ $DISTRO == debianstretch_bootstrap ]]; then
+if [[ $DISTRO == debianbuster_bootstrap ]]; then
   # this is just convenience for the libreboot_grub config
   # so we can glob the other ones easier.
   boot_vol=$DISTRO
 else
   boot_vol=boot_$DISTRO
 fi
-[[ ! -e /mnt/$boot_vol ]] || btrfs subvolume delete /mnt/$boot_vol
-btrfs subvolume create $boot_vol
+if $wipe && [[ -e /mnt/$boot_vol ]]; then
+  btrfs subvolume delete /mnt/$boot_vol
+fi
+if [[ ! -e /mnt/$boot_vol ]]; then
+  btrfs subvolume create $boot_vol
+fi
 cd /
 umount /mnt
 ## end create subvols ##
@@ -549,9 +606,10 @@ grub-editenv /mnt/grubenv set did_fai_check=true
 grub-editenv /mnt/grubenv set last_boot=/$boot_vol
 umount /mnt
 
-if [[ $DISTRO == debianstretch_bootstrap ]]; then
+if [[ $DISTRO == debianbuster_bootstrap ]]; then
   cat > /tmp/fai/fstab <<EOF
 $first_boot_dev  /  btrfs  noatime,subvol=$boot_vol  0 0
+$first_efi  /boot/efi  vfat          nofail  0 0
 EOF
   cat >/tmp/fai/disk_var.sh <<EOF
 BOOT_DEVICE="${short_devs[@]}"
@@ -560,15 +618,18 @@ EOF
 else
   # note, fai creates the mountpoints listed here
   cat > /tmp/fai/fstab <<EOF
-$first_root_crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
-$first_root_crypt  /mnt/root  btrfs  nofail,noatime,subvolid=0  0 0
-$first_boot_dev  /boot  btrfs  nofail,noatime,subvol=$boot_vol  0 0
+$first_root_crypt  /  btrfs          noatime,subvol=root_$DISTRO$mopts  0 0
+$first_root_crypt  /mnt/root  btrfs  nofail,noatime,subvolid=0$mopts  0 0
+$first_boot_dev  /boot  btrfs        nofail,noatime,subvol=$boot_vol  0 0
+$first_efi  /boot/efi  vfat          nofail  0 0
+$first_boot_dev  /mnt/boot  btrfs    nofail,noatime,subvolid=0  0 0
 EOF
   swaps=()
+  rm -f /tmp/fai/crypttab
   for dev in ${devs[@]}; do
     swaps+=($(swap-cryptname))
     cat >>/tmp/fai/crypttab <<EOF
-$(root-cryptname)  $(rootdev)  none  keyscript=decrypt_keyctl,discard,luks,initramfs
+$(root-cryptname) $(rootdev)  none  keyscript=/root/keyscript,discard,luks,initramfs
 $(swap-cryptname) $(swapdev)  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
 EOF
     cat >> /tmp/fai/fstab <<EOF