arch fixes plus name subvols by distro in prep for multi-distro
[automated-distro-installer] / fai / config / hooks / partition.DEFAULT
index 64e09a246a071dc77bca86d4fd2960345b57d0a5..0dbc3769d3388219e49143253f79c19a9bc97c7b 100755 (executable)
@@ -6,47 +6,73 @@ trap 'echo "$0:$LINENO:error: \"$BASH_COMMAND\" returned $?"' ERR
 # # fai's setup-storage won't do btrfs on luks,
 # # so we do it ourself :)
 
+skiptask partition || ! type skiptask # for running not in fai
 
 #### begin configuration
 
-if ifclass TWO_DISK || ifclass demohost; then
+bootn=3
+rootn=1
+swapn=2
+bios_grubn=4
+boot_mib=750
+lastn=$bios_grubn
+
+if ifclass VM; then
+    d=vd
+else
+    d=sd
+fi
+
+letters=()
+if ifclass TWO_DISK; then
     letters=(a b)
 elif ifclass ONE_DISK; then
     letters=(a)
+elif ifclass MANY_DISK; then
+    for dev in /dev/${d}?; do letters+=(${dev#/dev/${d}}); done
 else
     exit 1
 fi
-##### end configuration
 
-if ifclass VM; then
-    d=vd
-else
-    d=sd
+if [[ ! $DISTRO ]]; then
+    if ifclass STABLE; then
+        DISTRO=debianjessie
+    else
+        DISTRO=debiantesting
+    fi
 fi
 
+##### end configuration
+
 
+bpart() { # btrfs a partition
+    dev_n=$1
+    case ${#@} in
+        [1-3]) mkfs.btrfs -f $@ ;;
+        [4-9]*|[1-3]?*) mkfs.btrfs -f -m raid10 -d raid10 $@ ;;
+    esac
+}
 
-skiptask partition ||: # for running out of fai
 devs=(${letters[@]/#//dev/${d}})
 crypt_devs=(${letters[@]/#//dev/mapper/crypt_dev_${d}})
+first_boot_dev=${devs[0]}$bootn
 
-# we can set this manually to force partitioning
-#partition=false
+partition=true # hardcoded for now
 
 # somewhat crude detection of whether to partition
 for dev in ${devs[@]}; do
     x=($dev[0-9])
-    [[ ${#x[@]}  == 4 ]] || partition=true
-    for part in ${dev}{1,2,3,4}; do
-        [[ -e $part ]] || partition=true
+    [[ ${#x[@]}  == ${lastn} ]] || partition=true
+    for (( i=1; i <= $lastn; i++ )); do
+        [[ -e ${dev}$i ]] || partition=true
     done
-    # type tells us it's not totally blank
-    for part in ${dev}{1,3}; do
-        blkid | grep "^$part:.*TYPE=" &>/dev/null || partition=true
+    for part in $dev$rootn $dev$bootn; do
+        # type tells us it's not totally blank
+        blkid | grep "^${part}:.*TYPE=" &>/dev/null || partition=true
     done
 done
 
-partition=true # override temporarily
+#partition=true # for temporarily override
 
 # keyfiles generated like:
 # head -c 2048 /dev/urandom | od | s dd of=/q/root/luks/host-demohost
@@ -60,110 +86,131 @@ if ifclass demohost; then
     lukspw=x
 fi
 
-boot_end=504
-
-crypt=/dev/mapper/crypt_dev_${d##/dev/}a3
-
 
+crypt=/dev/mapper/crypt_dev_${d##/dev/}a$rootn
 
+bios_grub_end=4
 # 1.5 x based on https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Installation_Guide/sect-disk-partitioning-setup-x86.html#sect-custom-partitioning-x86
-swap_end=$(( $(grep ^MemTotal: /proc/meminfo| awk '{print $2}') * 3/(${#devs[@]} * 2 ) / 1000 + boot_end ))
-
-create_subvols() {
-    cd /mnt
-    for x in q home root; do
-        btrfs subvolume list . | grep "$x$" >/dev/null || btrfs subvolume create $x
-    done
-    btrfs subvolume set-default \
-          $(btrfs subvolume list . | grep 'root$' | awk '{print $2}') .
-    chattr -Rf +C root
-    cd /
-    umount /mnt
-}
+swap_mib=$(( $(grep ^MemTotal: /proc/meminfo | \
+                      awk '{print $2}') * 3/(${#devs[@]} * 2 ) / 1024 ))
+# parted will round up the disk size. Do -1 so we can have
+# fully 1MiB unit partitions for easy resizing of the last partition.
+# Otherwise we would pass in -0 for the end argument for the last partition.
+disk_mib=$(( $(parted -m ${devs[0]} unit MiB print | \
+                      sed -nr "s#^${devs[0]}:([0-9]+).*#\1#p") - 1))
+root_end=$(( disk_mib - swap_mib - boot_mib ))
+swap_end=$(( root_end + swap_mib))
 
 mkdir -p /tmp/fai
 shopt -s nullglob
 if $partition; then
     for dev in ${devs[@]}; do
-        for x in $dev[0-9]; do wipefs -a $x; done
+        for x in $dev[0-9]; do
+            count_down=10
+            # wipefs has failed, manual run works, google suggests timing issue
+            while ! wipefs -a $x; do
+                sleep 2
+                count_down=$((count_down - 1))
+                (( count_down > 0 )) || exit 1
+            done
+        done
+    done
+    for dev in ${devs[@]}; do
         parted -s $dev mklabel gpt
-        # gpt ubuntu cloud image uses ~4. fai uses 1 MiB. ehh, i'll do 4.
-        # also, using MB instead of MiB causes complains about alignment.
-        parted -s $dev mkpart primary "ext3" 4MB ${boot_end}MiB
-        parted -s $dev set 1 boot on
-        parted -s $dev mkpart primary "linux-swap" ${boot_end}MiB ${swap_end}MiB
-        parted -s -- $dev mkpart primary "" ${swap_end}MiB -0
-        parted -s $dev mkpart primary "" 1MiB 4MiB
-        parted -s $dev set 4 bios_grub on
+        # gpt ubuntu cloud image uses ~4. fai uses 1 MiB.
+        # I read something in the parted manual saying cheap flash media
+        # likes to start at 4.
+        # MiB because parted complains about alignment otherwise.
+        pcmd="parted -a optimal -s -- $dev"
+        $pcmd mkpart primary "ext3" 4MiB ${root_end}MiB
+        $pcmd mkpart primary "linux-swap" ${root_end}MiB ${swap_end}MiB
+        $pcmd mkpart primary "" ${swap_end}MiB ${disk_mib}MiB
+        $pcmd mkpart primary "" 1MiB 4MiB
+        $pcmd set $bios_grubn bios_grub on
+        $pcmd set $bootn boot on # generally not needed on modern systems
         # the mkfs failed randomly on a vm, so I threw a sleep in here.
         sleep .1
-        mkfs.ext4 -F ${dev}1
-        # 3 is device which simply holds a key for the 4's,
-        # so we can unlock multi-device btrfs fs with 1 manually entered passphrase.
-        #
-        # Background: It's of course possible modify the initramfs to
-        # put the input from a passphrase prompt into a variable and use
-        # it to unlock multiple devices, but that would require figuring
-        # more things out.
+
+        luks_dev=$dev$rootn
+        yes YES | cryptsetup luksFormat $luks_dev $luks_dir/host-$HOSTNAME \
+                             -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
+        yes "$lukspw" | \
+            cryptsetup luksAddKey --key-file $luks_dir/host-$HOSTNAME \
+                       $luks_dev || [[ $? == 141 ]]
+        # background: Keyfile and password are treated just
+        # like 2 ways to input a passphrase, so we don't actually need to have
+        # different contents of keyfile and passphrase, but it makes some
+        # security sense to a really big randomly generated passphrase
+        # as much as possible, so we have both.
         #
-        for luks_dev in ${dev}3; do
-            yes YES | cryptsetup luksFormat $luks_dev $luks_dir/host-$HOSTNAME \
-                                 -c aes-cbc-essiv:sha256 -s 256 || [[ $? == 141 ]]
-            yes "$lukspw" | \
-                cryptsetup luksAddKey --key-file $luks_dir/host-$HOSTNAME \
-                           $luks_dev || [[ $? == 141 ]]
-            # background: Keyfile and password are treated just
-            # like 2 ways to input a passphrase, so we don't actually need to have
-            # different contents of keyfile and passphrase, but it makes some
-            # security sense to a really big randomly generated passphrase
-            # as much as possible, so we have both.
-            #
-            # This would remove the keyfile.
-            #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
-                #                            /key/file || [[ $? == 141 ]]
-
-            cryptsetup luksOpen $luks_dev crypt_dev_${luks_dev##/dev/} \
-                       --key-file $luks_dir/host-$HOSTNAME
-        done
+        # This would remove the keyfile.
+        #    yes 'test' | cryptsetup luksRemoveKey /dev/... \
+            #                            /key/file || [[ $? == 141 ]]
+
+        cryptsetup luksOpen $luks_dev crypt_dev_${luks_dev##/dev/} \
+                   --key-file $luks_dir/host-$HOSTNAME
     done
-    mkfs.btrfs -f ${crypt_devs[@]/%/3}
-    parted ${devs[0]} set 1 boot on
-    mount $crypt /mnt
-    create_subvols
+    bpart ${crypt_devs[@]/%/$rootn}
+    bpart ${devs[@]/%/$bootn}
 else
     for dev in ${devs[@]}; do
-        mkfs.ext4 -F ${dev}1
-        cryptsetup luksOpen ${dev}3 crypt_dev_${dev##/dev/}3 \
+        cryptsetup luksOpen $dev$rootn crypt_dev_${dev##/dev/}$rootn \
                    --key-file $luks_dir/host-$HOSTNAME || [[ $? == 141 ]]
     done
     sleep 1
-    mount -o subvolid=0 $crypt /mnt
-    # systemd creates subvolumes we want to delete.
-    s=($(btrfs subvolume list --sort=-path /mnt |
-                sed -rn 's#^.*path\s*(root/\S+)\s*$#\1#p'))
-    for subvol in ${s[@]}; do btrfs subvolume delete /mnt/$subvol; done
-    btrfs subvolume set-default 0 /mnt
-    btrfs subvolume delete /mnt/root
-    create_subvols
 fi
 
+mount -o subvolid=0 $crypt /mnt
+# systemd creates subvolumes we want to delete.
+s=($(btrfs subvolume list --sort=-path /mnt |
+            sed -rn "s#^.*path\s*(root_$DISTRO/\S+)\s*\$#\1#p"))
+for subvol in ${s[@]}; do btrfs subvolume delete /mnt/$subvol; done
+btrfs subvolume set-default 0 /mnt
+[[ ! -e /mnt/root_$DISTRO ]] || btrfs subvolume delete /mnt/root_$DISTRO
+
+
+## create subvols ##
+cd /mnt
+for x in q home_$DISTRO root_$DISTRO; do
+    btrfs subvolume list . | grep "$x$" >/dev/null || btrfs subvolume create $x
+done
+for x in root/a q/a; do
+    mkdir -p $x
+    chown 1000:1000 $x
+    chmod 755 $x
+done
+btrfs subvolume set-default \
+      $(btrfs subvolume list . | grep "root_$DISTRO$" | awk '{print $2}') .
+chattr -Rf +C root
+cd /
+umount /mnt
+mount $first_boot_dev /mnt
+cd /mnt
+[[ ! -e /mnt/boot_$DISTRO ]] || btrfs subvolume delete /mnt/boot_$DISTRO
+btrfs subvolume create boot_$DISTRO
+btrfs subvolume set-default \
+      $(btrfs subvolume list . | grep "boot_$DISTRO$" | awk '{print $2}') .
+cd /
+umount /mnt
+## end create subvols ##
+
 
 
 cat > /tmp/fai/fstab <<EOF
-$crypt  /  btrfs  noatime,subvol=/root  0 0
-$crypt  /q  btrfs  noatime,subvol=/q  0 0
-$crypt  /home  btrfs  noatime,subvol=/home  0 0
-${devs[0]}1  /boot  ext4  noatime  0 2
+$crypt  /  btrfs  noatime,subvol=root_$DISTRO  0 0
+$crypt  /q  btrfs  noatime,subvol=q  0 0
+/q/a  /a  none  bind  0 0
+$crypt  /home  btrfs  noatime,subvol=home_$DISTRO  0 0
+$first_boot_dev  /boot  btrfs  noatime,subvol=boot_$DISTRO  0 0
 EOF
 
-
 swaps=()
 for dev in ${devs[@]}; do
-    s=crypt_swap_${dev##/dev/}2
+    s=crypt_swap_${dev##/dev/}$swapn
     swaps+=(/dev/mapper/$s)
     cat >>/tmp/fai/crypttab <<EOF
-crypt_dev_${dev##/dev/}3  ${dev}3  none  keyscript=/root/keyscript,discard,luks
-$s ${dev}2  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
+crypt_dev_${dev##/dev/}$rootn  $dev$rootn  none  keyscript=/root/keyscript,discard,luks
+$s $dev$swapn  /dev/urandom  swap,cipher=aes-xts-plain64,size=256,hash=ripemd160
 EOF
     cat >> /tmp/fai/fstab <<EOF
 /dev/mapper/$s  none  swap  sw  0 0
@@ -174,7 +221,7 @@ done
 # swaplist seems to do nothing.
 cat >/tmp/fai/disk_var.sh <<EOF
 ROOT_PARTITION=\${ROOT_PARTITION:-$crypt}
-BOOT_PARTITION=\${BOOT_PARTITION:-${devs[0]}1}
+BOOT_PARTITION=\${BOOT_PARTITION:-$first_boot_dev}
 BOOT_DEVICE=\${BOOT_DEVICE:-"${devs[0]}"}
 SWAPLIST=\${SWAPLIST:-"${swaps[@]}"}
 EOF