various changes around data volumes
[distro-setup] / distro-end
index 1f2c32453b7a199ef9a1e371b7ab11afbddef842..dc97b0dd92834ef749801341d771c7c679ba206f 100755 (executable)
@@ -1,6 +1,18 @@
 #!/bin/bash -l
 # Copyright (C) 2016 Ian Kelling
-# This program is under GPL v. 3 or later, see <http://www.gnu.org/licenses/>
+
+# Licensed under the Apache License, Version 2.0 (the "License");
+# you may not use this file except in compliance with the License.
+# You may obtain a copy of the License at
+
+#     http://www.apache.org/licenses/LICENSE-2.0
+
+# Unless required by applicable law or agreed to in writing, software
+# distributed under the License is distributed on an "AS IS" BASIS,
+# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+# See the License for the specific language governing permissions and
+# limitations under the License.
+
 errcatch
 
 set -x
@@ -34,6 +46,7 @@ simple_packages=(
     htop
     mailutils
     nmon
+    rdiff-backup
     ruby
     ruby-rest-client
     tree
@@ -45,6 +58,7 @@ case $HOSTNAME in
     *)
         # universal packages
         # swh-plugins is for karaoke pulsaudio filter.
+        # mutagen for pithos
         simple_packages+=(
             apache2
             bwm-ng
@@ -54,10 +68,13 @@ case $HOSTNAME in
             fdupes
             filelight
             gdb
+            goaccess
             gnome-screenshot
             jq
             locate
+            manpages
             meld
+            nmap
             offlineimap
             p7zip
             paprefs
@@ -65,7 +82,7 @@ case $HOSTNAME in
             pdfgrep
             pianobar
             pidgin
-            rdiff-backup
+            python3-mutagen
             slock
             squashfs-tools
             swh-plugins
@@ -78,9 +95,16 @@ esac
 
 
 
-########### begin section including lj ################
+########### begin section including li ################
 
 
+case $distro in
+    debian)
+        if [[ `debian-archive` == testing ]]; then
+            pi acme-tiny
+        fi
+esac
+
 case $distro in
     fedora) spa unrar ;;
     *) spa unrar-free ;;
@@ -177,7 +201,10 @@ case $(distro-name) in
         # this says disabling the service, it will still get restarted
         # but this script doesn't do anything on restart, so it should be fine
         s dd of=/var/run/motd.dynamic if=/dev/null
-        s update-rc.d motd disable
+        # stretch doesn't have initscripts pkg installed by default
+        if [[ $(debian-codename) == jessie ]]; then
+            s update-rc.d motd disable
+        fi
         ;;
     ubuntu)
         # this isn't a complete solution. It still shows me when updates are available,
@@ -193,27 +220,25 @@ esac
 # /usr/share/doc/unattended-upgrades# cat README.md
 # /etc/apt/apt.conf.d/50unattended-upgrades
 if isdebian; then
-    debian-setup-auto-update
+    setup-debian-auto-update
 fi
 
-# cron
-/a/bin/crons/all
-
+# we've got a few dependencies later on, so install them now.
+pi "${simple_packages[@]}"
+simple_packages=()
 
 case $HOSTNAME in
     lj|li)
 
-        pi "${simple_packages[@]}"
         case $HOSTNAME in
             lj) domain=iank.bid ;;
             li) domain=iankelling.org ;;
         esac
-        homepage-setup $domain
-        s rld /a/h/_site/ /var/www/$domain/html
-
-        curl https://$domain/git/?p=mediawiki-setup/.git;a=blob_plain;f=mw-setup-script;hb=HEAD | bash
-        $src/phab-setup
+        /a/h/setup.sh $domain
+        /a/h/build.rb
 
+        sudo -E /a/bin/mediawiki-setup/mw-setup-script
+        #$src/phab-setup
 
         echo "$0: $(date): ending now)"
         exit 0
@@ -223,16 +248,35 @@ esac
 ########### end section including li/lj ###############
 
 
+if [[ $HOSTNAME == frodo ]]; then
+    case $distro in
+        ubunut|debian)
+            pi libsqlite3-dev
+            cd /a/opt/duperemove
+            make clean
+            make
+            s make install
+            ;;
+        #others unknown
+    esac
+fi
+
 case $distro in
     arch) pi syncthing ;;
     ubuntu|debian)
-        # google led me here:
-        # https://apt.syncthing.net/
-        curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
-        s="deb http://apt.syncthing.net/ syncthing release"
-        if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
-            echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
-            p update
+        # testing has relatively up to date packages
+        if ! isdebian-testing; then
+            # based on error when doing apt-get update:
+            # E: The method driver /usr/lib/apt/methods/https could not be found.
+            pi apt-transport-https
+            # google led me here:
+            # https://apt.syncthing.net/
+            curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
+            s="deb http://apt.syncthing.net/ syncthing release"
+            if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
+                echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
+                p update
+            fi
         fi
         pi syncthing
         ;;
@@ -249,7 +293,8 @@ esac
 # trash can versioning for sake of space on phone, with
 # clean out after 7 days.
 #
-# did ser syncthing@ian start
+# did:
+# ser start syncthing@ian
 # then on phone, add device, hit bar code icon,
 # install bar code scanner.
 
@@ -266,7 +311,7 @@ esac
 ####### misc packages ###########
 
 
-if [[ $HOSTNAME == frodo ]]; then
+if [[ $HOSTNAME == treetowl ]]; then
     case $distro in
         debian|ubuntu)
             # note i had to do this, which is persistent:
@@ -356,7 +401,7 @@ for f in /home/*; do
   "profiles" : [
     {
       "profile-name" : "Default",
-      "hostname" : "frodo",
+      "hostname" : "treetowl",
       "rpc-url-path" : "/transmission/rpc",
       "username" : "",
       "password" : "",
@@ -402,26 +447,29 @@ case $HOSTNAME in
                 cd /a/opt
                 wget -nv -N https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
                 errallow
+                set -o pipefail
                 s dpkg -i google-chrome-stable_current_amd64.deb |& tee $log
                 code=$?
                 errcatch
                 case $code in
                     0) : ;;
                     *)
-                        if grep '^dpkg: dependency problems prevent configuration of' \
+                        # previously I had a more specific search, but dpkg
+                        # changed it's output as of 7/2016
+                        if grep 'dependency problems' \
                                 $log &>/dev/null; then
                             s apt-get -fy install
                         else
                             exit 1
                         fi
                         ;;
-                esac
-                ;;
-            arch)
-                pi google-chrome
-                ;;
-        esac
-        ;;
+esac
+;;
+arch)
+    pi google-chrome
+    ;;
+esac
+;;
 esac
 
 # printer
@@ -557,7 +605,7 @@ case $distro in
            bridge-utils dnsmasq qemu bind-tools
         # otherwise we get error about accessing kvm module.
         # seems like there might be a better way, but google was a bit vague.
-        s sed -ri '/^ *user *=/d' /etc/libvirt/qemu.conf
+        s sed -ri --follow-symlinks '/^ *user *=/d' /etc/libvirt/qemu.conf
         echo 'user = "root"' | s tee -a /etc/libvirt/qemu.conf
         # https://bbs.archlinux.org/viewtopic.php?id=206206
         # # this should prolly go in the wiki
@@ -662,67 +710,83 @@ esac
 # because no systemd user instance was running.
 # Doing systemd --user resulted in
 # Trying to run as user instance, but $XDG_RUNTIME_DIR is not set
-case $distro in
-    # ubuntu unknown. probably the same as debian, just check if the
-    # init scripts come with the package.
-    debian)
-        # copied from arch, but moved to etc
-        s dd of=/etc/systemd/user/synergys.service <<'EOF'
-[Unit]
-Description=Synergy Server Daemon
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
-Restart=on-failure
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        s dd of=/etc/systemd/user/synergys.socket <<'EOF'
-[Unit]
-Conflicts=synergys@.service
 
-[Socket]
-ListenStream=24800
-Accept=false
+if isdebian-testing; then
+    # as of 7/2016, has no unstable deps, and is not in testing anymore.
+    pi synergy/unstable
+else
+    pi synergy
+fi
 
-[Install]
-WantedBy=sockets.target
-EOF
-        ;;&
-    *)
-        pi synergy
-        # taken from arch wiki.
-        s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
-[Unit]
-Description=Synergy Client
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergyc --no-daemon treetowl
-Restart=on-failure
-# per man systemd.unit, StartLimitInterval, by default we
-# restart more than 5 times in 10 seconds.
-# And this param defaults too 200 miliseconds.
-RestartSec=3s
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        case $HOSTNAME in
-            frodo)
-                ser enable synergyc@ian
-                ser start synergyc@ian ||: # X might not be running yet
-                systemctl --user start synergys ||:
-                systemctl --user enable synergys
-                ;;
-            treetowl) systemctl --user enable synergys ;;
-        esac
-        ;;
-esac
+# case $distro in
+#     # ubuntu unknown. probably the same as debian, just check if the
+#     # init scripts come with the package.
+#     debian)
+#         # copied from arch, but moved to etc
+#         s dd of=/etc/systemd/user/synergys.service <<'EOF'
+# [Unit]
+# Description=Synergy Server Daemon
+# After=network.target
+
+# [Service]
+# User=%i
+# ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
+# Restart=on-failure
+
+# [Install]
+# WantedBy=multi-user.target
+# EOF
+#         s dd of=/etc/systemd/user/synergys.socket <<'EOF'
+# [Unit]
+# Conflicts=synergys@.service
+
+# [Socket]
+# ListenStream=24800
+# Accept=false
+
+# [Install]
+# WantedBy=sockets.target
+# EOF
+#         # had this fail with 'Failed to connect to bus: No such file or directory'
+#         # then when I tried it manually, it worked fine...
+#         if ! systemctl --user daemon-reload; then
+#             sleep 2
+#             echo retrying systemd user daemon reload
+#             systemctl --user daemon-reload
+#         fi
+#         ;;&
+#     *)
+#         # taken from arch wiki.
+#         s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
+# [Unit]
+# Description=Synergy Client
+# After=network.target
+
+# [Service]
+# User=%i
+# ExecStart=/usr/bin/synergyc --no-daemon frodo
+# Restart=on-failure
+# # per man systemd.unit, StartLimitInterval, by default we
+# # restart more than 5 times in 10 seconds.
+# # And this param defaults too 200 miliseconds.
+# RestartSec=3s
+
+# [Install]
+# WantedBy=multi-user.target
+# EOF
+#         s systemctl daemon-reload
+#         case $HOSTNAME in
+#             x2|treetowl)
+#                 ser enable synergyc@ian
+#                 ser start synergyc@ian ||: # X might not be running yet
+#                 ;;
+#             frodo)
+#                 systemctl --user start synergys ||:
+#                 systemctl --user enable synergys
+#                 ;;
+#         esac
+#         ;;
+# esac
 
 
 ######### end misc packages #########
@@ -748,8 +812,8 @@ pi smartmontools
 # -o on, turn on 4 hour period non-performance degrading testing.
 # short test daily 2-3am, extended tests Saturdays between 3-4am:
 sched="-s (S/../.././02|L/../../6/03)"
-s sed -i "s#^[[:space:]]*DEVICESCAN.*#\
-DEVICESCAN -a -o on -S on -n standby,q $sched\
+s sed -i --follow-symlinks "s#^[[:space:]]*DEVICESCAN.*#\
+DEVICESCAN -a -o on -S on -n standby,q $sched \
 -m ian@iankelling.org -M exec /usr/local/bin/smart-notify#" /etc/smartd.conf
 
 # in the default configuration of at least ubuntu 14.04, resolvconf is
@@ -758,7 +822,7 @@ DEVICESCAN -a -o on -S on -n standby,q $sched\
 # consulted first. This is often slower and undesirable, ie. local dns
 # queries go from 0ms to 10+ or 100+ ms. To reverse the ordering, you
 # can do:
-#sudo sed -i '/tun\*\|tap\*/d' /etc/resolvconf/interface-order
+#sudo sed -i --follow-symlinks '/tun\*\|tap\*/d' /etc/resolvconf/interface-order
 # however, this breaks dns lookup for hosts on the openvpn lan.
 # I can\'t figure out why hosts on the normal lan would not be
 # broken under the default ordering, except the host I was
@@ -769,6 +833,27 @@ DEVICESCAN -a -o on -S on -n standby,q $sched\
 ########### misc stuff
 
 
+s cedit /etc/goaccess.conf <<'EOF' || [[ $? == 1 ]]
+# all things found from looking around the default config
+# copied existing NCSA Combined Log Format with Virtual Host, plus %L
+log-format %^:%^ %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %D
+time-format %H:%M:%S
+date-format %d/%b/%Y
+log-file /var/log/apache2/access.log
+color-scheme 2
+
+# tip: copy access.log files to a stretch host directory, then run
+# jessie's goaccess is too old for some options, and it's
+# not easily installed from a testing.
+# goaccess --ignore-crawlers -f <(cat *) -a -o html > x.html
+EOF
+
+
+if [[ $HOSTNAME == treetowl ]] && ! sudo test -e /etc/openvpn/client.key; then
+    /a/bin/vpn-setup/vpn-mk-client-cert dopub
+fi
+
+
 case $distro in
     debian|ubuntu)
         case `debian-archive` in
@@ -802,11 +887,13 @@ EOF
         ;;
 esac
 
-# not using it atm, and for jessie, it depends on a higher version of btrfs-tools
+# note, for jessie, it depends on a higher version of btrfs-tools
 # case $distro in
 #     arch|debian|ubuntu) pi btrbk ;;
 #     # others unknown
 # esac
+cd /a/opt/btrbk
+s make install
 
 if [[ $HOSTNAME == treetowl ]] && [[ `debian-archive` != testing ]]; then
     # fail2 ban is broken, with a workaround, per
@@ -910,26 +997,19 @@ EOF
         ;;
 esac
 
-if [[ $HOSTNAME == frodo ]]; then
-    tu /etc/exports <<'EOF'
-/k 192.168.1.0/24(rw,nohide,no_subtree_check,insecure)
-EOF
-    s exportfs -rav
-fi
-
-if [[ -e /k/video ]]; then
+if [[ $HOSTNAME == treetowl ]]; then
     # nohide = export filesystems mounted deeper than the export point
     # fsid=0 makes this export the "root" export
     # not documented in the man page, but this means
     # 1. it can be mounted with a shorthand of server:/
     # 2. exports that are subdirectories of this one will automatically be mounted
-    tu /etc/exports '/i/video 192.168.1.0/24(rw,fsid=0,nohide,no_root_squash,async,no_subtree_check,insecure)'
+    tu /etc/exports <<'EOF'
+/k 192.168.1.0/24(rw,fsid=0,nohide,no_root_squash,async,no_subtree_check,insecure)
+EOF
     s exportfs -rav
-    showmount -e localhost
 fi
 
 
-
 e "$end_msg_var"
 
 
@@ -994,62 +1074,53 @@ if ! s virsh list --all --name | grep -xF win10 &>/dev/null; then
 fi
 
 
-pi samba
-# note samba re-reads it's config every 1 minute
-case $distro in
-    arch) s cp /etc/samba/smb.conf.default /etc/samba/smb.conf ;;
-esac
+if [[ $HOSTNAME == treetowl ]]; then
+    pi samba
+    # note samba re-reads it\'s config every 1 minute
+    case $distro in
+        arch) s cp /etc/samba/smb.conf.default /etc/samba/smb.conf ;;
+    esac
 
-# add 2 lines after workgroup option
-s sed -ri '/^\s*encrypt passwords\s*=/d' /etc/samba/smb.conf
-s sed -ri '/^\s*map to guest\s*=/d' /etc/samba/smb.conf
-s sed -i 's/\(\s*workgroup\s*=\).*/\1 WORKGROUP\n\tencrypt passwords = yes\n\tmap to guest = bad password/'  /etc/samba/smb.conf
-# remove default homes section. not sharing that.
-s sed -ri '/^\s*\[homes\]/,/\s*\[/d' /etc/samba/smb.conf
+    # add 2 lines after workgroup option
+    s sed -ri --follow-symlinks '/^\s*encrypt passwords\s*=/d' /etc/samba/smb.conf
+    s sed -ri --follow-symlinks '/^\s*map to guest\s*=/d' /etc/samba/smb.conf
+    s sed -i --follow-symlinks 's/\(\s*workgroup\s*=\).*/\1 WORKGROUP\n\tencrypt passwords = yes\n\tmap to guest = bad password/'  /etc/samba/smb.conf
+    # remove default homes section. not sharing that.
+    s sed -ri --follow-symlinks '/^\s*\[homes\]/,/\s*\[/d' /etc/samba/smb.conf
 
-if ! grep -xF '[public]' /etc/samba/smb.conf &>/dev/null; then
-    s tee -a /etc/samba/smb.conf <<'EOF'
+    if ! grep -xF '[public]' /etc/samba/smb.conf &>/dev/null; then
+        s tee -a /etc/samba/smb.conf <<'EOF'
 [public]
       guest ok = yes
       read only = no
-      path = /kfrodo
+      path = /kr
 EOF
-fi
+    fi
 
-case $distro in
-    debian|ubuntu)
-# systemd claims it generates units from /etc/init.d, but it clearly doesn't
-# in debian. I have no idea how they are related. fuck debian right now. It's
-# not documented.  samba has a systemd init file linked to /dev/null.
-# There's this https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=769714 which
-# claims samba's sub-services will be started automatically by systemd... it
-# didn't on install, wonder if it will on boot. It clued me in how to start
-# it manually though. Nothing in /usr/share/doc/samba, debian admin guide
-# says nothing about any of this. (this is in debian testing as of 4/2016).
-
-s /etc/init.d/samba start
-;;
-                        arch)
-                            sgo samba
-                            ;;
-esac
+    case $distro in
+        debian|ubuntu)
+            # systemd claims it generates units from /etc/init.d, but it
+            # clearly doesn\'t in debian. I have no idea how they are
+            # related. fuck debian right now. It\'s not documented.  samba
+            # has a systemd init file linked to /dev/null.  There\'s this
+            # https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=769714 which
+            # claims samba\'s sub-services will be started automatically by
+            # systemd... it didn\'t on install, wonder if it will on
+            # boot. It clued me in how to start it manually though. Nothing
+            # in /usr/share/doc/samba, debian admin guide says nothing about
+            # any of this. (this is in debian testing as of 4/2016).
+
+            s /etc/init.d/samba start
+            ;;
+        arch)
+            sgo samba
+            ;;
+    esac
+fi
 
 tu /etc/hosts <<< "127.0.1.1 $(hostname).lan $(hostname)"
 
 
-
-rootdev=$(mount | sed -rn 's#^(\S+) on / .*#\1#p')
-s mkdir /mnt/root
-tu /etc/fstab <<< "$rootdev  /mnt/root  btrfs  noatime,subvolid=0  0 0"
-mountpoint /mnt/root || s mount /mnt/root
-idev=$(mount | sed -rn 's#^(\S+) on /i .*#\1#p')
-if [[ $idev != $rootdev ]]; then
-    s mkdir /mnt/iroot
-    tu /etc/fstab <<< "$idev  /mnt/iroot  btrfs  noatime,subvolid=0  0 0"
-    mountpoint /mnt/iroot || s mount /mnt/iroot
-fi
-
-
 ######### begin stuff belonging at the end    ##########