Merge branch 'upstream'
authorIan Kelling <iank@fsf.org>
Tue, 24 Nov 2020 22:12:32 +0000 (17:12 -0500)
committerIan Kelling <iank@fsf.org>
Tue, 24 Nov 2020 22:12:32 +0000 (17:12 -0500)
Switched UBUNTU to use DEBIAN + UBUNTU to be more in line with
upstream. I expect this may break things.

1  2 
fai/config/basefiles/mk-basefile
fai/config/class/50-host-classes
fai/config/class/DEBIAN.var
fai/config/class/UBUNTU.var
fai/config/hooks/updatebase.UBUNTU
fai/config/scripts/DEBIAN/40-misc
fai/config/scripts/GRUB_PC/10-setup
fai/config/scripts/LAST/50-misc
fai/config/scripts/UBUNTU/90-apt

index b9b67f5ca18bd18a1487f17f5a084e07d953cdf4,be00fe2d6aa997f2dd9766c9f11dec0cc0cdf269..8878aadf2c84283f7bee3fe85b8eaf421d2156ef
@@@ -1,7 -1,8 +1,7 @@@
  #! /bin/bash
 -
  # mk-basefile, create basefiles for some distributions
  #
- # Thomas Lange, Uni Koeln, 2011-2018
+ # Thomas Lange, Uni Koeln, 2011-2020
  # based on the Makefile implementation of Michael Goetze
  #
  # Usage example: mk-basefile -J STRETCH64
@@@ -28,15 -28,14 +28,17 @@@ EXCLUDE_SQUEEZE=isc-dhcp-client,isc-dhc
  EXCLUDE_WHEEZY=info
  EXCLUDE_JESSIE=info
  EXCLUDE_STRETCH=info
- EXCLUDE_BUSTER=info
+ EXCLUDE_BUSTER=
+ EXCLUDE_BULLSEYE=
  EXCLUDE_SID=
  
 +EXCLUDE_BELENOS=dhcp3-client,dhcp3-common,info
  EXCLUDE_TRUSTY=dhcp3-client,dhcp3-common,info
  EXCLUDE_XENIAL=udhcpc,dibbler-client,info
 +EXCLUDE_FLIDAS=udhcpc,dibbler-client,info
  EXCLUDE_BIONIC=udhcpc,dibbler-client,info
 +EXCLUDE_ETIONA=udhcpc,dibbler-client,info
+ EXCLUDE_FOCAL=udhcpc,dibbler-client,info
  
  # here you can add packages, that are needed very early
  INCLUDE_DEBIAN=
@@@ -219,9 -212,8 +222,10 @@@ prtdists() 
                   SLC7_64
      TRUSTY32     TRUSTY64
      XENIAL32     XENIAL64
 +                 FLIDAS64
                   BIONIC64
 +                 ETIONA64
+                  FOCAL64
      SQUEEZE32    SQUEEZE64
      WHEEZY32     WHEEZY64
      JESSIE32     JESSIE64
@@@ -303,11 -294,9 +309,11 @@@ case "$target" i
      SLC6_32) slc i386 6 ;;
      SLC6_64) slc amd64 6 ;;
      SLC7_64) slc amd64 7 ;;
-     TRUSTY*|XENIAL*|BIONIC*)
 +    BELENOS*|FLIDAS*|ETIONA*)
 +        debgeneric $target $MIRROR_TRISQUEL ;;
+     TRUSTY*|XENIAL*|BIONIC*|FOCAL*)
          debgeneric $target $MIRROR_UBUNTU ;;
-     SQUEEZE*|WHEEZY*|JESSIE*|STRETCH*|BUSTER*|SID*)
+     SQUEEZE*|WHEEZY*|JESSIE*|STRETCH*|BUSTER*|BULLSEYE*|SID*)
          debgeneric $target $MIRROR_DEBIAN $ARCH;;
      *) echo "Unknown distribution. Aborting."
         prtdists
index 6ab31dacadd5d8edb8d0754616d85d94ca48791f,df38b888827b358166058648db04ad3574fe7de2..61a55934d0054397c6c89c073942d5aca3f3e7ee
  # do not use this if a menu will be presented
  [ "$flag_menu" ] && exit 0
  
 -# use a list of classes for our demo machine
 -case $HOSTNAME in
 -    faiserver)
 -        echo "FAIBASE DEBIAN DEMO FAISERVER" ;;
 -    demohost|client*)
 -        echo "FAIBASE DEBIAN DEMO" ;;
 -    xfcehost)
 -        echo "FAIBASE DEBIAN DEMO XORG XFCE LVM";;
 -    gnomehost)
 -        echo "FAIBASE DEBIAN DEMO XORG GNOME";;
 -    ubuntuhost)
 -        echo "FAIBASE DEBIAN DEMO UBUNTU FOCAL FOCAL64 XORG";;
 -    centos)
 -        echo "FAIBASE CENTOS"   # you may want to add class XORG here
 -        ifclass AMD64 && echo CENTOS8_64
 -      ;;
 -    slchost)
 -        # Scientific Linux Cern, is very similar to CentOS. SLC should alsways use the class CENTOS
 -        echo "FAIBASE CENTOS SLC"  # you may want to add class XORG here
 -        ifclass I386 && echo SLC7_32
 -        ifclass AMD64 && echo SLC7_64
 -      ;;
 -    *)
 -        echo "FAIBASE DEBIAN DEMO" ;;
 -esac
++# set these early so they are lowest priority.
++echo FAIBASE STANDARD DEBIAN
++
 +
 +# For multi-boot system.
 +# We check that we aren't in a pxe boot environment.
 +# There is probably a better way to do this.
 +# We check the reverse condition in 51-multi-boot,
 +# and set what os we are installing, but don't check it
 +# into git since it changes regularly.
 +
 +#
 +#
 +# Each host defines following:
 +# The base distro:
- # UBUNTU, DEBIAN
++# UBUNTU or nothing. DEBIAN is always defined as a base.
 +#
 +# The base disto version, only use so far is the basefile name if it exists.
 +# Debian stable basefile gets built by faisetup and gets used otherwise.
 +# With X suffix, means it has gone through the dirinstall process and has eXtra
 +# things installed, to speed up installation.
 +# STRETCH64, BUSTER64, XENIAL64, FLIDAS64, FLIDAS64BIG, ETIONA64, BIONIC64, FOCAL64
 +#
 +# The distro subvol name, we can add as many of these as we want:
 +# VOL_TESTING, VOL_STRETCH, VOL_BUSTER, VOL_XENIAL, VOL_FLIDAS,
 +# VOL_ETIONA VOL_STRETCH_BOOTSTRAP.  Using VOL_STRETCH_BOOTSTRAP sets up
 +# the install to act like a pxe rom if grub sets a specific var.
 +#
 +# The apt sources files we want, STRETCH_FREE, STRETCH_NONFREE,
 +# BUSTER_FREE, BUSTER_NONFREE, TESTING_FREE, TESTING_NONFREE,
 +# XENIAL_FREE, BIONIC, FOCAL, FLIDAS, ETIONA, STRETCH_LINODE.
 +#
 +# It's all a little redundant in some cases, but it keeps things
 +# simpler.
 +#
 +#
 +# Other notable classes:
 +#
 +# INSTALL: for autodiscover iso, this is needed. We could also add it to
 +# the autodiscover grub, but then we have to burn a new iso if we want a
 +# non-install one. It sets the class for the corresponding INSTALL.var,
 +# which sets FAI_ACTION=INSTALL. I'm not sure if this variable overrides
 +# FAI_ACTION outside of autodiscover, todo: test it out, if it doesn't,
 +# make install be default in 51-multi-boot, and disable it if needed.
 +#
 +# DESKTOP: install a bunch of extra packages. For creating X suffix
 +# basefiles. See README.
 +#
 +# REPARTITION: we try to reuse partitions/filesystems to install a new
 +# os into a multi-os system, if we see some basic hueristics, like the
 +# right amount of them. This overrides that.
 +#
 +# PARTITION_PROMPT: If we don't see partitions to reuuse, prompt
 +# to make sure we really want to repartition and use a completely
 +# fresh install. I use this in case our repartition check has
 +# a bug in it, or I accidentally set REPARTITION.
 +#
 +# ROTATIONAL: in a system with ssd and hdd, install to the hdd
 +# instead of the default ssd.
 +#
 +# RAID0: Use raid 0 even if there are >= 4 disks with boot partititions.
 +#
 +# LINODE: For running a vm on linode, especially one created with fai-cd.
 +
 +###### begin Template for 51-multi-boot ######
 +#
 +# It has reasonable combinations of above classes.
 +# It's a noop until we replace _ with host names.
 +
 +#!/bin/bash
 +if [[ ! -e /a/bin/fai/fai-wrapper || $FAI_ACTION == dirinstall ]]; then
 +  case $HOSTNAME in
 +    # stretch based minimal recovery / bootstraping os:
-     _) echo DEBIAN STRETCH64 VOL_STRETCH_BOOTSTRAP STRETCH_FREE ;;
++    _) echo STRETCH64 VOL_STRETCH_BOOTSTRAP STRETCH_FREE ;;
 +    # flidas
 +    _) echo UBUNTU FLIDAS64 VOL_FLIDAS FLIDAS ;;
 +    # etiona
 +    _) echo UBUNTU ETIONA64 VOL_ETIONA ETIONA ;;
 +    # stretch
-     _) echo DEBIAN STRETCH64 VOL_STRETCH STRETCH_FREE ;;
++    _) echo STRETCH64 VOL_STRETCH STRETCH_FREE ;;
 +    # buster
-     _) echo DEBIAN BUSTER64 VOL_BUSTER BUSTER_FREE ;;
++    _) echo BUSTER64 VOL_BUSTER BUSTER_FREE ;;
 +    # testing
-     _) echo DEBIAN STRETCH64 VOL_TESTING TESTING_FREE ;;
++    _) echo STRETCH64 VOL_TESTING TESTING_FREE ;;
 +    # xenial
 +    _) echo UBUNTU XENIAL64 VOL_XENIAL XENIAL_FREE ;;
 +    # bionic
 +    _) echo UBUNTU BIONIC64 VOL_BIONIC BIONIC ;;
 +    # focal
 +    _) echo UBUNTU FOCAL64 VOL_FOCAL FOCAL ;;
 +  esac
 +fi
 +###### end Template for 51-multi-boot ######
 +
 +if [[ -e /a/bin/fai/fai-wrapper ]]; then
 +  source /a/bin/distro-functions/src/identify-distros
 +  if isdeb; then
 +    codename=$(debian-codename)
 +    echo ${codename^^}
 +    distro=$(distro-name)
 +    case $distro in
 +      debian)
 +        echo ${distro^^}
 +        # nonfree repo is not going away any time soon due to
 +        # gcc-doc being in nonfree
 +        echo ${codename^^}_NONFREE
 +        ;;
 +      trisquel)
 +        # easier to stay with fai example config if we just call it ubuntu
 +        echo UBUNTU
 +        ;;
 +    esac
 +  fi
 +  case $HOSTNAME in
 +    li|lj) echo "LINODE" ;;
 +    bk|je) echo "NOCRYPT" ;;
 +  esac
 +fi
 +
- echo FAIBASE STANDARD
 +
 +#echo "PARTITION_PROMPT"
 +#echo REPARTITION
 +
 +
 +if grep ^52:54:00: /sys/class/net/eth0/address &>/dev/null; then
 +  # if our eth0 mac is in the kvm range, we are a vm.
 +  echo "VM"
 +fi
index 07632b2ee71e11debebb0ff5f06ba534793b1a3d,e9a275695156be45497decce5d88854dca64b1e2..367c2e3743706e68c2621d4d26c74cdb7474f2ae
@@@ -1,6 -1,6 +1,7 @@@
--release=buster
--apt_cdn=http://deb.debian.org
--security_cdn=http://security.debian.org
++# sources are set with fcopy
++#release=buster
++#apt_cdn=http://deb.debian.org
++#security_cdn=http://security.debian.org
  
  CONSOLEFONT=
  KEYMAP=us-latin1
index 702cb15b7a5ea314d11b448d96aeaf83fefdb039,a258b6ab74da4d65874a1ef4d98640fa9a4a996b..6a424950755ff54561c16564363f1a673eb0ba9e
mode 120000,100644..100644
@@@ -1,1 -1,2 +1,4 @@@
- DEBIAN.var
 -ubuntumirror=http://archive.ubuntu.com
 -ubuntudist=focal
++#iank, i define these by classes. commenting
++# to make sure these arent used
++#ubuntumirror=http://archive.ubuntu.com
++#ubuntudist=focal
index 77bc497dd5ff4a51ccaf7f3e228bd6abf4584b17,2d1161c5ea833e12eb6284023962fb7f73fbd4a8..e5050cd12464bbfc6cbfa4d3fdb24715d39cd327
mode 120000,100755..100755
@@@ -1,1 -1,30 +1,20 @@@
- updatebase.DEBIAN
+ #! /bin/bash
 -# use external mirror, remove this script when using a mirror from CD
 -
 -cat <<EOM > $target/etc/apt/sources.list
 -# external mirror
 -deb $ubuntumirror/ubuntu $ubuntudist main restricted universe multiverse
 -deb $ubuntumirror/ubuntu $ubuntudist-updates main restricted universe multiverse
 -deb $ubuntumirror/ubuntu $ubuntudist-security main restricted universe multiverse
 -EOM
 -
 -
+ # https://lists.uni-koeln.de/pipermail/linux-fai/2016-July/011398.html
+ # In Ubuntu 16.04 (but not 14.04), the locales configuration mechanism has
+ # changed.  There is a /var/lib/dpkg/info/locales.config file, which
+ # overrides /var/lib/dpkg/info/locales.postinst and consults
+ # /var/lib/locales/supported.d/local instead of the debconf system.  (See
+ # the code in /usr/share/debconf/frontend that prefers locales.config.) This
+ # hook applies the debconf setting.  It must run after FAI's debconf task
+ # but before dpkg gets a chance to clobber debconf with an empty setting.
+ if [ ! -f "$target/var/lib/locales/supported.d/local" ]; then
+     $ROOTCMD debconf --owner=locales sh -c '
+         . /usr/share/debconf/confmodule
+         db_version 2.0
+         db_get locales/locales_to_be_generated &&
+         mkdir -p /var/lib/locales/supported.d &&
+         echo "$RET" > /var/lib/locales/supported.d/local' &&
+     $ROOTCMD dpkg-reconfigure locales
+ fi
Simple merge
index a78df0cb408dfa5b8b6b18773bfa7fbc80c7bb4e,cbff2d84b606f876be230e092bcdeaac8d91aa2a..85e90d2d08b4f2822d41f42149c34ad16593e154
@@@ -36,10 -35,9 +36,10 @@@ f
  
  # Check if RAID is used for the boot device
  if [[ $BOOT_DEVICE =~ '/dev/md' ]]; then
 +    GROOT=$($ROOTCMD grub-probe -tdrive -d $BOOT_DEVICE)
      raiddev=${BOOT_DEVICE#/dev/}
      # install grub on all members of RAID
-     for device in `LC_ALL=C perl -ne 'if(/^'$raiddev'\s.+raid\d+\s(.+)/){ $_=$1; s/\d+\[\d+\]//g; print }' /proc/mdstat`; do
+     for device in $(LC_ALL=C perl -ne 'if(/^'$raiddev'\s.+raid\d+\s(.+)/){ $_=$1; s/\d+\[\d+\]//g; s/(nvme.+?)p/$1/g; print }' /proc/mdstat); do
        echo Install grub on /dev/$device
        $ROOTCMD grub-install --no-floppy "/dev/$device"
      done
index c2d6b5c85327a891a9527ab02ec760553c05a500,5b34f7b08b4bc3916d61a183a506b57ebf6d1763..2b41683cdc664e6033efaed5241fbd685580ae26
@@@ -47,9 -45,8 +47,8 @@@ if [ $do_init_tasks -eq 1 ] ; the
  fi
  
  # Make sure everything is configured properly
 -if ifclass DEBIAN ; then
 +if ifclass DEBIAN || ifclass UBUNTU; then
-         echo "Running \"apt-get -f install\" for the last time."
-         $ROOTCMD apt-get -f install
+         $ROOTCMD apt-get -f install -y
  fi
  
  if [ $FAI_ACTION = "install" ]; then
index 682d572b351e4331ca4d8ffe62659a88b4942c0c,4da7029538c9bf03566e470d84f73ef83c10645e..440ffb264d6433173382e069e1fe667807802d48
@@@ -1,7 -1,11 +1,16 @@@
  #! /bin/bash
  
- # ian: just taking part of the corresponding fai example script
++# iank: we already set mirrors, i dont want to have to add "external mirror"
++# to every sources.list. Leaving the rest of this file so future merges will flag up
++# changes easier
++exit 0
 +
- ainsl -v /etc/locale.gen '^en_US.UTF-8 UTF-8'
- $ROOTCMD locale-gen
- $ROOTCMD update-locale LANG=en_US.UTF-8
+ # check if we already use an external mirror
+ grep -q "external mirror" $target/etc/apt/sources.list && exit 0
+ cat <<EOM > $target/etc/apt/sources.list
+ # external mirror
 -deb $ubuntumirror/ubuntu $ubuntudist main restricted universe multiverse
 -deb $ubuntumirror/ubuntu $ubuntudist-updates main restricted universe multiverse
 -deb $ubuntumirror/ubuntu $ubuntudist-security main restricted universe multiverse
++deb $ubuntumirror/ubuntu $ubuntudist main universe
++deb $ubuntumirror/ubuntu $ubuntudist-updates main universe
++deb $ubuntumirror/ubuntu $ubuntudist-security main universe
+ EOM