change stable to stretch, makes more sense
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index f6132268ba1ed63738e8342aa6846d1ec89703e0..fdcfe6d1238e2f5f0c98d3f123fe4746b1a1ba1b 100755 (executable)
@@ -20,6 +20,8 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?" >&2' ERR
 
 # # fai's setup-storage won't do btrfs on luks,
 # # so we do it ourself :)
+# inspiration taken from files in fai-setup-storage package
+
 
 skiptask partition || ! type skiptask # for running not in fai
 
@@ -28,8 +30,19 @@ skiptask partition || ! type skiptask # for running not in fai
 rootn=1
 swapn=2
 bootn=3
-bios_grubn=4
-boot_mib=4000
+# ext partition so grub can write persistent variables,
+# so it can do a one time boot. grub can't write to
+# btrfs or any cow fs because it's more
+# more complicated to do and they don't want to.
+grub_extn=4
+# bios boot partition,
+# https://wiki.archlinux.org/index.php/GRUB
+bios_grubn=5
+lastn=$bios_grubn
+# this is larger than needed for several /boot subvols,
+# becuase I keep a minimal debian install on it, for
+# recovery needs, and for doing pxe-kexec.
+boot_mib=10000
 
 
 ##### end configuration
@@ -55,6 +68,7 @@ add-part() { # add partition suffix to $dev
 bootdev() { add-part $@ $bootn; }
 rootdev() { add-part $@ $rootn; }
 swapdev() { add-part $@ $swapn; }
+grub_extdev() { add-part $@ $grub_extn; }
 bios_grubdev() { add-part $@ $bios_grubn; }
 
 crypt-dev() { echo /dev/mapper/crypt_dev_${1##*/}; }
@@ -63,7 +77,14 @@ root-cryptdev() { crypt-dev $(rootdev $@); }
 swap-cryptdev() { crypt-dev $(swapdev $@); }
 root-cryptname() { crypt-name $(rootdev $@); }
 swap-cryptname() { crypt-name $(swapdev $@); }
+devbyid() {
+    local f
+    for f in $FAI/distro-install-common/devbyid \
+                 /a/bin/fai/fai/config/distro-install-common/devbyid; do
+        if [[ -e $f ]]; then $f "$@"; fi
+    done
 
+}
 
 ##### end function defs
 
@@ -73,7 +94,6 @@ else
     partition=false # change to true to force a full wipe
 fi
 
-lastn=$bios_grubn
 
 
 hdds=()
@@ -89,7 +109,7 @@ $(cat $disk/queue/rotational)"; exit 1 ;;
 done
 
 # install all ssds, or if there are none, all hdds
-if (( ${#ssds[@]} > 0 )); then
+if ! ifclass ROTATIONAL && (( ${#ssds[@]} > 0 )); then
     short_devs=( ${ssds[@]} )
 else
     short_devs=( ${hdds[@]} )
@@ -98,10 +118,10 @@ fi
 # check if the partitions exist have the right filesystems
 #blkid="$(blkid -s TYPE)"
 for dev in ${short_devs[@]}; do
-    ! $partition || break
+    if $partition; then break; fi
     y=$(readlink -f $dev)
-    x=($y[0-9])
-    [[ ${#x[@]}  == "${lastn}" ]] || partition=true
+    arr=($y[0-9])
+    [[ ${#arr[@]}  == "${lastn}" ]] || partition=true
     for (( i=1; i <= lastn; i++ )); do
         [[ -e ${dev}$i ]] || partition=true
     done
@@ -115,8 +135,8 @@ done
 
 if $partition && ifclass PARTITION_PROMPT; then
     echo "Press any key except ctrl-c to continue and partition these drives:"
-    echo "  ${short_devs[@]}"
-    read
+    echo "  ${short_devs[*]}"
+    read -r
 fi
 
 devs=()
@@ -126,7 +146,7 @@ for short_dev in ${short_devs[@]}; do
 done
 
 
-
+first=false
 boot_devs=()
 for dev in ${devs[@]}; do
     if ifclass frodo; then
@@ -157,41 +177,49 @@ for dev in ${devs[@]}; do
     else
         boot_devs+=(`bootdev`)
     fi
+    if [[ $boot_devs && $first ]]; then
+        first_grub_extdev=`grub_extdev`
+        first=false
+    fi
 done
 
+if ifclass RAID0 || (( ${#boot_devs[@]} < 4 )); then
+    raid_level=0
+else
+    raid_level=10
+    # need double the space if we are raid 10, and then
+    # might as well give some extra.
+    boot_mib=$((boot_mib * 3))
+fi
+
+
+
 if [[ ! $DISTRO ]]; then
-    if ifclass STABLE_BOOTSTRAP; then
-        DISTRO=debianstable_bootstrap
-    elif ifclass STRETCH64; then
-        DISTRO=debiantesting
-    elif ifclass STABLE; then
-        DISTRO=debianstable
-    elif ifclass XENIAL64; then
+    if ifclass VOL_STRETCH_BOOTSTRAP; then
+        DISTRO=stretch_bootstrap
+    elif ifclass VOL_STRETCH; then
+        DISTRO=debianstretch
+    elif ifclass VOL_XENIAL; then
         DISTRO=ubuntuxenial
-    elif ifclass BELENOS64; then
+    elif ifclass VOL_BELENOS; then
         DISTRO=trisquelbelenos
+    elif ifclass VOL_FLIDAS; then
+        DISTRO=trisquelflidas
     else
         echo "PARTITIONER ERROR: no distro class/var set" >&2
         exit 1
     fi
 fi
-
-
-case ${#boot_devs[@]} in
-    # need double the space if we are raid 10, and then
-    # might as well give some extra overhead.
-    [4-9]*|[1-3]?*) boot_mib=$((boot_mib * 3)) ;;
-esac
+first_boot_dev=${boot_devs[0]}
 
 
 bpart() { # btrfs a partition
-    case ${#@} in
-        [1-3]) mkfs.btrfs -f $@ ;;
-        [4-9]*|[1-3]?*) mkfs.btrfs -f -m raid10 -d raid10 $@ ;;
+    case $raid_level in
+        0) mkfs.btrfs -f $@ ;;
+        10) mkfs.btrfs -f -m raid10 -d raid10 $@ ;;
     esac
 }
 
-first_boot_dev=${boot_devs[0]}
 
 # keyfiles generated like:
 # head -c 2048 /dev/urandom | od | s dd of=/q/root/luks/host-demohost
@@ -205,7 +233,7 @@ fi
 if ifclass tp; then
     lukspw=$(cat $luks_dir/traci)
 else
-    lukspw=$(cat $luks_dir/ian)
+    lukspw=$(cat $luks_dir/iank)
 fi
 if ifclass demohost; then
     lukspw=x
@@ -214,7 +242,6 @@ fi
 
 first_root_crypt=$(root-cryptdev ${devs[0]})
 
-bios_grubn=4
 # 1.5 x based on https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Installation_Guide/sect-disk-partitioning-setup-x86.html#sect-custom-partitioning-x86
 swap_mib=$(( $(grep ^MemTotal: /proc/meminfo | \
                    awk '{print $2}') * 3/(${#devs[@]} * 2 ) / 1024 ))
@@ -227,7 +254,11 @@ done
 shopt -s nullglob
 if $partition; then
     for dev in ${devs[@]}; do
-        for x in $dev[0-9]; do
+        # if we repartition to the same as an old partition,
+        # we don't want any old fses hanging around.
+        for (( i=1; i <= lastn; i++ )); do
+            x=$(add-part $dev $i)
+            [[ -e $x ]] || continue
             count_down=10
             # wipefs has failed, manual run works, google suggests timing issue
             while ! wipefs -a $x; do
@@ -252,26 +283,54 @@ if $partition; then
         parted -s $dev mklabel gpt
         # MiB because parted complains about alignment otherwise.
         pcmd="parted -a optimal -s -- $dev"
-        $pcmd mkpart primary "ext3" 4MiB ${root_end}MiB
-        $pcmd mkpart primary "linux-swap" ${root_end}MiB ${swap_end}MiB
+        $pcmd mkpart primary ext3 12MiB ${root_end}MiB
+        # without naming, systemd gives us misc errors like:
+        # dev-disk-by\x2dpartlabel-primary.device: Dev dev-disk-by\x2dpartlabel-primary.device appeared twice
+        $pcmd name $rootn root
+        # normally a swap is type "linux-swap", but this is encrypted swap. using that
+        # label will confuse systemd.
+        $pcmd mkpart primary "" ${root_end}MiB ${swap_end}MiB
+        $pcmd name $swapn swap
         $pcmd mkpart primary "" ${swap_end}MiB ${disk_mib}MiB
-        # gpt ubuntu cloud image uses ~4. fai uses 1 MiB.
-        # I read something in the parted manual saying cheap flash media
-        # likes to start at 4.
+        $pcmd name $bootn boot
+        # i only need a few k, but googling min size,
+        # I found someone saying that gparted required
+        # required at least 8 because of their hard drive cylinder size.
+        # And 8 is still very tiny.
+        $pcmd mkpart primary "ext2" 4MiB 12MiB
+        $pcmd name $grub_extn grubext
+        # gpt ubuntu cloud image uses ~4 mb for this partition. fai uses 1 MiB.
+        # so, I use 3, whatever.
+        # note: parted manual saying cheap flash media
+        # should to start at 4.
         $pcmd mkpart primary "" 1MiB 4MiB
+        $pcmd name $bios_grubn biosgrub
         $pcmd set $bios_grubn bios_grub on
         $pcmd set $bootn boot on # generally not needed on modern systems
         # the mkfs failed before on a vm, which prompted me to add
         # sleep .1
-        # then failed on a physical machine
+        # then it failed again on a physical machine
         # with:
         # Device /dev/disk/by-id/foo doesn't exist or access denied,
-        # so here we wait.
+        # so I added a wait until it existed.
+        # Then I added the mkfs.ext2, which claimed to succeed,
+        # but then couldn't be found upon reboot. In that case we didn't
+        # wait at all. So I've added a 3 second minimum wait.
+        sleep 3
         secs=0
         while [[ ! -e `rootdev` ]] && (( secs < 10 )); do
             sleep 1
             secs=$((secs +1))
         done
+        # Holds just a single file, rarely written, so
+        # use ext2, like was often used for the /boot partition.
+        # This exists because grub can only persist data to a non-cow fs.
+        # And we use persisting a var in grub to do a one time boot.
+        # We could pass the data on the kernel command line and persist it
+        # to grubenv after booting, but that relies on the boot always succeeding.
+        # This is just a bit more robust, and it could work for booting
+        # into ipxe which can't persist data, if we ever got that working.
+        mkfs.ext2 `grub_extdev`
         yes YES | cryptsetup luksFormat `rootdev` $luks_dir/host-$HOSTNAME \
                              -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
         yes "$lukspw" | \
@@ -296,6 +355,7 @@ if $partition; then
     bpart ${boot_devs[@]}
 else
     for dev in ${devs[@]}; do
+        mkfs.ext2 `grub_extdev`
         cryptsetup luksOpen `rootdev` `root-cryptname` \
                    --key-file $luks_dir/host-$HOSTNAME
     done
@@ -303,7 +363,7 @@ else
 fi
 
 
-if [[ $DISTRO != debianstable_bootstrap ]]; then
+if [[ $DISTRO != stretch_bootstrap ]]; then
     # bootstrap distro doesn't use separate encrypted root.
     mount -o subvolid=0 $first_root_crypt /mnt
     # systemd creates subvolumes we want to delete.
@@ -317,21 +377,14 @@ if [[ $DISTRO != debianstable_bootstrap ]]; then
     cd /mnt
 
     btrfs subvolume create root_$DISTRO
-    [[ -e q ]] || btrfs subvolume create q
-    chown root:1000 q
 
     mkdir -p /mnt/root_$DISTRO/boot
-    for x in q/a q/i; do
-        mkdir -p $x
-        chown 1000:1000 $x
-        chmod 755 $x
-    done
-    # could set default like this, but no reason to.
+    # could set default subvol like this, but no reason to.
     # btrfs subvolume set-default \
         #       $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
 
     # no cow on the root filesystem. it's setup is fully scripted,
-    # (immutable in buzzwords). if it messes up, we will just recreated it,
+    # if it's messed up, we will just recreated it,
     # and we can get better perf with this.
     # I can't remember exactly why, but this is preferable to mounting with
     # -o nodatacow, I think because subvolumes inherit that.
@@ -342,40 +395,13 @@ fi
 
 mount -o subvolid=0 $first_boot_dev /mnt
 cd /mnt
-btrfs subvolume set-default 0 /mnt
+btrfs subvolume set-default 0 /mnt # already default, just ensuring it.
 
-# for libreboot systems
+# for libreboot systems. grub2 only reads from subvolid=0
 mkdir -p /mnt/grub2
-cat >/mnt/grub2/libreboot_grub.cfg <<'EOF'
-#!/bin/sh
-# shebang is for editor file mode detection only
-
-if [ -s $prefix/grubenv ]; then
-    load_env
-fi
-
-set default="0"
-set timeout=1
+cp $FAI/distro-install-common/libreboot_grub.cfg /mnt/grub2
 
-menuentry debianstable_bootstrap {
-    configfile /$1/boot/grub/grub.cfg
-}
-
-for dir in /boot_*; do
-    if [ x$dir = x$default_subvol ]; then
-        default=default_id
-        menuentry $dir --id=default_id {
-            configfile $1/grub/grub.cfg
-        }
-    else
-        menuentry $dir {
-            configfile $1/grub/grub.cfg
-        }
-    fi
-done
-EOF
-
-if [[ $DISTRO == debianstable_bootstrap ]]; then
+if [[ $DISTRO == stretch_bootstrap ]]; then
     # this is just convenience for the libreboot_grub config
     # so we can glob the other ones easier.
     boot_vol=$DISTRO
@@ -388,8 +414,13 @@ cd /
 umount /mnt
 ## end create subvols ##
 
+dev=${boot_devs[0]}
+mount $first_grub_extdev /mnt
+grub-editenv /mnt/grubenv set did_fai_check=true
+grub-editenv /mnt/grubenv set last_boot=/$boot_vol
+umount /mnt
 
-if [[ $DISTRO == debianstable_bootstrap ]]; then
+if [[ $DISTRO == stretch_bootstrap ]]; then
     cat > /tmp/fai/fstab <<EOF
 $first_boot_dev  /  btrfs  noatime,subvol=$boot_vol  0 0
 EOF
@@ -398,22 +429,12 @@ BOOT_DEVICE="${short_devs[@]}"
 ROOT_PARTITION=$first_boot_dev
 EOF
 else
-    # note, the mount point /a seems to get automatically created somewhere
+    # note, fai creates the mountpoints listed here
     cat > /tmp/fai/fstab <<EOF
 $first_root_crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
-$first_root_crypt  /q  btrfs  noatime,subvol=q  0 0
-/q/a  /a  none  bind  0 0
+$first_root_crypt  /mnt/root  btrfs  noatime,subvolid=0  0 0
 $first_boot_dev  /boot  btrfs  noatime,subvol=$boot_vol  0 0
 EOF
-
-    # I will avoid using uuid in the future. the other way of specifying is simpler
-    if ifclass treetowl; then
-        cat >> /tmp/fai/fstab <<'EOF'
-$first_root_crypt  /i  btrfs  noatime,subvol=i  0 0
-UUID=3f7b31cd-f299-40b4-a86b-7604282e2715 /i btrfs  noatime  0 2
-EOF
-    fi
-
     swaps=()
     for dev in ${devs[@]}; do
         swaps+=(`swap-cryptname`)