various fixes and improvements
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index 61da95a3f4162d003d6476fbc61a88ff35b32932..09020d27b30fbf55e864b4e30abfbc5f99f686f7 100755 (executable)
@@ -94,6 +94,15 @@ fi
 
 #### begin configuration
 
+# this is the ordering of the /dev/sdaX, but
+# the ordering of the partition layout goes like this:
+# bios_grub
+# grub_ext
+# efi
+# root
+# swap
+# boot
+
 rootn=1
 swapn=2
 bootn=3
@@ -106,6 +115,7 @@ grub_extn=5
 # bios boot partition,
 # https://wiki.archlinux.org/index.php/GRUB
 bios_grubn=6
+even_bign=7
 lastn=$bios_grubn
 
 
@@ -114,7 +124,7 @@ lastn=$bios_grubn
 
 
 add-part() { # add partition suffix to $dev
-  local d ret
+  local d part
   if [[ $# == 1 ]]; then
     d=$dev
     part=$1
@@ -131,6 +141,7 @@ swapdev() { add-part $@ $swapn; }
 efidev() { add-part $@ $efin; }
 grub_extdev() { add-part $@ $grub_extn; }
 bios_grubdev() { add-part $@ $bios_grubn; }
+even_bigdev() { add-part $@ $even_bign; }
 
 crypt-dev() { echo /dev/mapper/crypt_dev_${1##*/}; }
 crypt-name() { echo crypt_dev_${1##*/}; }
@@ -140,10 +151,37 @@ root-cryptname() { crypt-name $(rootdev $@); }
 swap-cryptname() { crypt-name $(swapdev $@); }
 
 dev-mib() {
-  echo $(( $(parted -m $dev unit MiB print | \
+  local d=${1:-$dev}
+  echo $(( $(parted -m $d unit MiB print | \
                sed -nr "s#^/dev/[^:]+:([0-9]+).*#\1#p") - 1))
 }
 
+luks-setup() {
+  local luksdev="$1"
+  # when we move to newer than trisquel 9, we can remove
+  # --type luks1. We can also check on cryptsetup --help | less /compil
+  # to see about the other settings. Default in debian 9 is luks2.
+  # You can convert from luks2 to luks 1 by adding a temporary key:
+  # cryptsetup luksAddKey --pbkdf pbkdf2
+  # then remove the new format keys with cryptsetup luksRemoveKey
+  # then cryptsetup convert DEV --type luks1, then readd old keys and remove temp.
+  yes YES | cryptsetup luksFormat $luksdev $luks_file \
+                       --type luks1 -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
+  yes "$lukspw" | \
+    cryptsetup luksAddKey --key-file $luks_file \
+               $luksdev || [[ $? == 141 ]]
+  # background: Keyfile and password are treated just
+  # like 2 ways to input a passphrase, so we don't actually need to have
+  # different contents of keyfile and passphrase, but it makes some
+  # security sense to a really big randomly generated passphrase
+  # as much as possible, so we have both.
+  #
+  # This would remove the keyfile.
+  #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
+    #                            /key/file || [[ $? == 141 ]]
+  cryptsetup luksOpen $luksdev $(crypt-name $luksdev) --key-file $luks_file
+}
+
 ##### end function defs
 
 if ifclass REPARTITION; then
@@ -157,7 +195,7 @@ else
   wipe=true
 fi
 
-if ((`nproc` > 2)); then
+if (($(nproc) > 2)); then
   mopts=,compress=zstd
 fi
 
@@ -206,7 +244,7 @@ for dev in ${short_devs[@]}; do
   if $partition; then break; fi
   y=$(readlink -f $dev)
   arr=($y?*)
-  if (( ${#arr[@]}  != lastn )); then
+  if (( ${#arr[@]} < lastn )); then
     partition=true
   fi
   # On one system, blkid is missing some partitions.
@@ -415,13 +453,23 @@ if $partition; then
   ### end wipefs
 
 
+  # When we have 2 disks of at least 100g difference in size,
+  # make an extra partition on the end of the bigger one.
+  even_big_part=false
+  even_diff_min=100000
   if $even_raid; then
-    for dev in ${devs[@]}; do
-      cur_mib=$(dev-mib)
-      if [[ ! $disk_mib ]] || (( cur_mib < disk_mib )); then
-        disk_mib=$cur_mib
-      fi
-    done
+    smalli=0
+    bigi=1
+    if (( $(dev-mib ${devs[0]}) >= $(dev-mib ${devs[1]}) )); then
+      smalli=1
+      bigi=0
+    fi
+    disk_mib=$(dev-mib ${devs[smalli]})
+    even_big_dev=${devs[bigi]}
+    even_big_mib=$(dev-mib $even_big_dev)
+    if (( even_big_mib - disk_mib > even_diff_min )); then
+      even_big_part=true
+    fi
   fi
 
   for dev in ${devs[@]}; do
@@ -438,23 +486,27 @@ if $partition; then
     if ! $even_raid; then
       disk_mib=$(dev-mib)
     fi
-    root_end=$(( disk_mib - swap_mib - boot_mib /  ${#boot_devs[@]} ))
+    efi_mib=512
+    root_end=$(( disk_mib - swap_mib - boot_mib /  ${#boot_devs[@]} - efi_mib ))
     swap_end=$(( root_end + swap_mib))
 
     parted -s $dev mklabel gpt
     # MiB because parted complains about alignment otherwise.
     pcmd="parted -a optimal -s -- $dev"
+    # root partition, the main big one
     $pcmd mkpart primary ext3 524MiB ${root_end}MiB
     # without naming, systemd gives us misc errors like:
     # dev-disk-by\x2dpartlabel-primary.device: Dev dev-disk-by\x2dpartlabel-primary.device appeared twice
     $pcmd name $rootn root
     # normally a swap is type "linux-swap", but this is encrypted swap. using that
     # label will confuse systemd.
+    # swap partition
     $pcmd mkpart primary "" ${root_end}MiB ${swap_end}MiB
     $pcmd name $swapn swap
+    # boot partition
     $pcmd mkpart primary "" ${swap_end}MiB ${disk_mib}MiB
     $pcmd name $bootn boot
-    # eufi = bloated, half a gig gimme a break.
+    # uefi partition. efi sucks, half a gig, rediculous.
     $pcmd mkpart primary "fat32" 12MiB 524MiB
     $pcmd name $efin efi
     $pcmd set $efin esp on
@@ -466,16 +518,23 @@ if $partition; then
     # I found someone saying that gparted required
     # required at least 8 because of their hard drive cylinder size.
     # And 8 is still very tiny.
+    # grub_ext partition
     $pcmd mkpart primary "ext2" 4MiB 12MiB
     $pcmd name $grub_extn grubext
     # gpt ubuntu cloud image uses ~4 mb for this partition. fai uses 1 MiB.
     # so, I use 3, whatever.
     # note: parted manual saying cheap flash media
     # should to start at 4.
+    # biols grub partition
     $pcmd mkpart primary "" 1MiB 4MiB
     $pcmd name $bios_grubn biosgrub
     $pcmd set $bios_grubn bios_grub on
     $pcmd set $bootn boot on # generally not needed on modern systems
+    if $even_big_part  && [[ $dev == $even_big_dev ]]; then
+      $pcmd mkpart primary ext3 ${disk_mib}MiB ${even_big_mib}MiB
+      $pcmd name $even_bign even_big
+    fi
+
     # the mkfs failed before on a vm, which prompted me to add
     # sleep .1
     # then it failed again on a physical machine
@@ -485,15 +544,20 @@ if $partition; then
     # Then I added the mkfs.ext2, which claimed to succeed,
     # but then couldn't be found upon reboot. In that case we didn't
     # wait at all. So I've added a 3 second minimum wait.
-    sleep 3
     secs=0
-    while [[ ! -e $(rootdev) ]] && (( secs < 10 )); do
+    while [[ ! -e $(bios_grubdev) ]] && (( secs < 10 )); do
       sleep 1
       secs=$((secs +1))
     done
+    sleep 3
 
     mkfs.fat -F32 $(efidev)
 
+    if $even_big_part  && [[ $dev == $even_big_dev ]]; then
+      luks-setup $(even_bigdev)
+      mkfs.btrfs -f $(crypt-dev $(even_bigdev))
+    fi
+
     # Holds just a single file, rarely written, so
     # use ext2, like was often used for the /boot partition.
     # This exists because grub can only persist data to a non-cow fs.
@@ -503,30 +567,7 @@ if $partition; then
     # This is just a bit more robust, and it could work for booting
     # into ipxe which can't persist data, if we ever got that working.
     mkfs.ext2 $(grub_extdev)
-    # when we move to newer than trisquel 9, we can remove
-    # --type luks1. We can also check on cryptsetup --help | less /compil
-    # to see about the other settings. Default in debian 9 is luks2.
-    # You can convert from luks2 to luks 1 by adding a temporary key:
-    # cryptsetup luksAddKey --pbkdf pbkdf2
-    # then remove the new format keys with cryptsetup luksRemoveKey
-    # then cryptsetup convert DEV --type luks1, then readd old keys and remove temp.
-    yes YES | cryptsetup luksFormat $(rootdev) $luks_file \
-                         --type luks1 -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
-    yes "$lukspw" | \
-      cryptsetup luksAddKey --key-file $luks_file \
-                 $(rootdev) || [[ $? == 141 ]]
-    # background: Keyfile and password are treated just
-    # like 2 ways to input a passphrase, so we don't actually need to have
-    # different contents of keyfile and passphrase, but it makes some
-    # security sense to a really big randomly generated passphrase
-    # as much as possible, so we have both.
-    #
-    # This would remove the keyfile.
-    #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
-      #                            /key/file || [[ $? == 141 ]]
-
-    cryptsetup luksOpen $(rootdev) $(root-cryptname) \
-               --key-file $luks_file
+    luks-setup $(rootdev)
 
     if [[ $SPECIAL_DISK ]]; then
       exit 0
@@ -651,6 +692,25 @@ ROOT_PARTITIONS="${root_devs[@]}"
 ROOT_PARTITION=\${ROOT_PARTITION:-$first_root_crypt}
 SWAPLIST=\${SWAPLIST:-"${swaps[@]}"}
 EOF
+
+
+  if [[ $HOSTNAME == kd ]]; then
+    # note, having these with keyscript and initramfs causes a luks error in fai.log,
+    # but it is safely ignorable and gets us the ability to just type our password
+    # in once at boot. A downside is that they are probably needed to be plugged in to boot.
+    cat >>/tmp/fai/crypttab <<EOF
+crypt_dev_ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part7 /dev/disk/by-id/ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part7  none  keyscript=decrypt_keyctl,discard,luks,initramfs
+crypt_dev_ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1 /dev/disk/by-id/ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1  none  keyscript=decrypt_keyctl,discard,luks,initramfs
+crypt_dev_ata-ST6000DM001-1XY17Z_Z4D29EBL-part1 /dev/disk/by-id/ata-ST6000DM001-1XY17Z_Z4D29EBL-part1  none  keyscript=decrypt_keyctl,discard,luks,initramfs
+EOF
+    cat >> /tmp/fai/fstab <<EOF
+# r7 = root partition7
+/dev/mapper/crypt_dev_ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part7  /mnt/r7  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvolid=0  0 0
+/dev/mapper/crypt_dev_ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1  /mnt/rust1  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvolid=0  0 0
+/dev/mapper/crypt_dev_ata-ST6000DM001-1XY17Z_Z4D29EBL-part1  /mnt/rust2  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvolid=0  0 0
+EOF
+  fi
+
 fi
 
 # initial setup of extra data fs, mounted,
@@ -658,15 +718,3 @@ fi
 # chattr +C nocow
 # chown iank.iank nocow
 
-if [[ $HOSTNAME == kd ]]; then
-  cat >>/tmp/fai/crypttab <<EOF
-crypt_dev_ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part6 /dev/disk/by-id/ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part6  none  keyscript=decrypt_keyctl,discard,luks,initramfs
-crypt_dev_ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1 /dev/disk/by-id/ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1  keyscript=decrypt_keyctl,discard,luks,initramfs
-EOF
-  cat >> /tmp/fai/fstab <<EOF
-/dev/mapper/crypt_dev_ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part6  /d  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvol=nocow  0 0
-# r6 = root partition6
-/dev/mapper/crypt_dev_ata-Samsung_SSD_870_QVO_8TB_S5VUNG0N900656V-part6  /mnt/r6  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvolid=0  0 0
-/dev/mapper/crypt_dev_ata-TOSHIBA_MD04ACA500_84R2K773FS9A-part1  /mnt/rust  btrfs  nofail,x-systemd.device-timeout=30s,x-systemd.mount-timeout=30s,noatime,compress=zstd,subvolid=0  0 0
-EOF
-fi