various changes around data volumes
[distro-setup] / distro-end
index 2c638206b74f85476ce892899b7c0b49e377019c..dc97b0dd92834ef749801341d771c7c679ba206f 100755 (executable)
@@ -46,6 +46,7 @@ simple_packages=(
     htop
     mailutils
     nmon
+    rdiff-backup
     ruby
     ruby-rest-client
     tree
@@ -57,6 +58,7 @@ case $HOSTNAME in
     *)
         # universal packages
         # swh-plugins is for karaoke pulsaudio filter.
+        # mutagen for pithos
         simple_packages+=(
             apache2
             bwm-ng
@@ -66,9 +68,11 @@ case $HOSTNAME in
             fdupes
             filelight
             gdb
+            goaccess
             gnome-screenshot
             jq
             locate
+            manpages
             meld
             nmap
             offlineimap
@@ -78,7 +82,7 @@ case $HOSTNAME in
             pdfgrep
             pianobar
             pidgin
-            rdiff-backup
+            python3-mutagen
             slock
             squashfs-tools
             swh-plugins
@@ -197,7 +201,10 @@ case $(distro-name) in
         # this says disabling the service, it will still get restarted
         # but this script doesn't do anything on restart, so it should be fine
         s dd of=/var/run/motd.dynamic if=/dev/null
-        s update-rc.d motd disable
+        # stretch doesn't have initscripts pkg installed by default
+        if [[ $(debian-codename) == jessie ]]; then
+            s update-rc.d motd disable
+        fi
         ;;
     ubuntu)
         # this isn't a complete solution. It still shows me when updates are available,
@@ -213,7 +220,7 @@ esac
 # /usr/share/doc/unattended-upgrades# cat README.md
 # /etc/apt/apt.conf.d/50unattended-upgrades
 if isdebian; then
-    debian-setup-auto-update
+    setup-debian-auto-update
 fi
 
 # we've got a few dependencies later on, so install them now.
@@ -228,11 +235,10 @@ case $HOSTNAME in
             li) domain=iankelling.org ;;
         esac
         /a/h/setup.sh $domain
-        s rld /a/h/_site/ /var/www/$domain/html
-
-        curl https://$domain/git/?p=mediawiki-setup/.git;a=blob_plain;f=mw-setup-script;hb=HEAD | bash
-        $src/phab-setup
+        /a/h/build.rb
 
+        sudo -E /a/bin/mediawiki-setup/mw-setup-script
+        #$src/phab-setup
 
         echo "$0: $(date): ending now)"
         exit 0
@@ -242,16 +248,35 @@ esac
 ########### end section including li/lj ###############
 
 
+if [[ $HOSTNAME == frodo ]]; then
+    case $distro in
+        ubunut|debian)
+            pi libsqlite3-dev
+            cd /a/opt/duperemove
+            make clean
+            make
+            s make install
+            ;;
+        #others unknown
+    esac
+fi
+
 case $distro in
     arch) pi syncthing ;;
     ubuntu|debian)
-        # google led me here:
-        # https://apt.syncthing.net/
-        curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
-        s="deb http://apt.syncthing.net/ syncthing release"
-        if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
-            echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
-            p update
+        # testing has relatively up to date packages
+        if ! isdebian-testing; then
+            # based on error when doing apt-get update:
+            # E: The method driver /usr/lib/apt/methods/https could not be found.
+            pi apt-transport-https
+            # google led me here:
+            # https://apt.syncthing.net/
+            curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
+            s="deb http://apt.syncthing.net/ syncthing release"
+            if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
+                echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
+                p update
+            fi
         fi
         pi syncthing
         ;;
@@ -268,7 +293,8 @@ esac
 # trash can versioning for sake of space on phone, with
 # clean out after 7 days.
 #
-# did ser syncthing@ian start
+# did:
+# ser start syncthing@ian
 # then on phone, add device, hit bar code icon,
 # install bar code scanner.
 
@@ -285,7 +311,7 @@ esac
 ####### misc packages ###########
 
 
-if [[ $HOSTNAME == frodo ]]; then
+if [[ $HOSTNAME == treetowl ]]; then
     case $distro in
         debian|ubuntu)
             # note i had to do this, which is persistent:
@@ -375,7 +401,7 @@ for f in /home/*; do
   "profiles" : [
     {
       "profile-name" : "Default",
-      "hostname" : "frodo",
+      "hostname" : "treetowl",
       "rpc-url-path" : "/transmission/rpc",
       "username" : "",
       "password" : "",
@@ -692,69 +718,75 @@ else
     pi synergy
 fi
 
-case $distro in
-    # ubuntu unknown. probably the same as debian, just check if the
-    # init scripts come with the package.
-    debian)
-        # copied from arch, but moved to etc
-        s dd of=/etc/systemd/user/synergys.service <<'EOF'
-[Unit]
-Description=Synergy Server Daemon
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
-Restart=on-failure
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        s dd of=/etc/systemd/user/synergys.socket <<'EOF'
-[Unit]
-Conflicts=synergys@.service
+case $distro in
+    # ubuntu unknown. probably the same as debian, just check if the
+    # init scripts come with the package.
+    debian)
+        # copied from arch, but moved to etc
+        s dd of=/etc/systemd/user/synergys.service <<'EOF'
+[Unit]
+Description=Synergy Server Daemon
+After=network.target
+
+[Service]
+User=%i
+ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
+Restart=on-failure
+
+[Install]
+WantedBy=multi-user.target
+EOF
+        s dd of=/etc/systemd/user/synergys.socket <<'EOF'
+[Unit]
+Conflicts=synergys@.service
 
-[Socket]
-ListenStream=24800
-Accept=false
+[Socket]
+ListenStream=24800
+Accept=false
 
-[Install]
-WantedBy=sockets.target
-EOF
-        systemctl --user daemon-reload
-        ;;&
-    *)
-        # taken from arch wiki.
-        s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
-[Unit]
-Description=Synergy Client
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergyc --no-daemon frodo
-Restart=on-failure
-# per man systemd.unit, StartLimitInterval, by default we
-# restart more than 5 times in 10 seconds.
-# And this param defaults too 200 miliseconds.
-RestartSec=3s
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        s systemctl daemon-reload
-        case $HOSTNAME in
-            x2|treetowl)
-                ser enable synergyc@ian
-                ser start synergyc@ian ||: # X might not be running yet
-                ;;
-            frodo)
-                systemctl --user start synergys ||:
-                systemctl --user enable synergys
-                ;;
-        esac
-        ;;
-esac
+# [Install]
+# WantedBy=sockets.target
+# EOF
+#         # had this fail with 'Failed to connect to bus: No such file or directory'
+#         # then when I tried it manually, it worked fine...
+#         if ! systemctl --user daemon-reload; then
+#             sleep 2
+#             echo retrying systemd user daemon reload
+#             systemctl --user daemon-reload
+#         fi
+#         ;;&
+#     *)
+#         # taken from arch wiki.
+#         s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
+# [Unit]
+# Description=Synergy Client
+# After=network.target
+
+# [Service]
+# User=%i
+# ExecStart=/usr/bin/synergyc --no-daemon frodo
+# Restart=on-failure
+# # per man systemd.unit, StartLimitInterval, by default we
+# # restart more than 5 times in 10 seconds.
+# # And this param defaults too 200 miliseconds.
+# RestartSec=3s
+
+# [Install]
+# WantedBy=multi-user.target
+# EOF
+#         s systemctl daemon-reload
+#         case $HOSTNAME in
+#             x2|treetowl)
+#                 ser enable synergyc@ian
+#                 ser start synergyc@ian ||: # X might not be running yet
+#                 ;;
+#             frodo)
+#                 systemctl --user start synergys ||:
+#                 systemctl --user enable synergys
+#                 ;;
+#         esac
+#         ;;
+# esac
 
 
 ######### end misc packages #########
@@ -781,7 +813,7 @@ pi smartmontools
 # short test daily 2-3am, extended tests Saturdays between 3-4am:
 sched="-s (S/../.././02|L/../../6/03)"
 s sed -i --follow-symlinks "s#^[[:space:]]*DEVICESCAN.*#\
-DEVICESCAN -a -o on -S on -n standby,q $sched\
+DEVICESCAN -a -o on -S on -n standby,q $sched \
 -m ian@iankelling.org -M exec /usr/local/bin/smart-notify#" /etc/smartd.conf
 
 # in the default configuration of at least ubuntu 14.04, resolvconf is
@@ -801,8 +833,24 @@ DEVICESCAN -a -o on -S on -n standby,q $sched\
 ########### misc stuff
 
 
-if ! sudo test -e /etc/openvpn/client.key; then
-    /a/bin/vpn-setup/vpn-mk-client-cert
+s cedit /etc/goaccess.conf <<'EOF' || [[ $? == 1 ]]
+# all things found from looking around the default config
+# copied existing NCSA Combined Log Format with Virtual Host, plus %L
+log-format %^:%^ %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %D
+time-format %H:%M:%S
+date-format %d/%b/%Y
+log-file /var/log/apache2/access.log
+color-scheme 2
+
+# tip: copy access.log files to a stretch host directory, then run
+# jessie's goaccess is too old for some options, and it's
+# not easily installed from a testing.
+# goaccess --ignore-crawlers -f <(cat *) -a -o html > x.html
+EOF
+
+
+if [[ $HOSTNAME == treetowl ]] && ! sudo test -e /etc/openvpn/client.key; then
+    /a/bin/vpn-setup/vpn-mk-client-cert dopub
 fi
 
 
@@ -839,11 +887,13 @@ EOF
         ;;
 esac
 
-# not using it atm, and for jessie, it depends on a higher version of btrfs-tools
+# note, for jessie, it depends on a higher version of btrfs-tools
 # case $distro in
 #     arch|debian|ubuntu) pi btrbk ;;
 #     # others unknown
 # esac
+cd /a/opt/btrbk
+s make install
 
 if [[ $HOSTNAME == treetowl ]] && [[ `debian-archive` != testing ]]; then
     # fail2 ban is broken, with a workaround, per
@@ -947,26 +997,19 @@ EOF
         ;;
 esac
 
-if [[ $HOSTNAME == frodo ]]; then
-    tu /etc/exports <<'EOF'
-/k 192.168.1.0/24(rw,nohide,no_subtree_check,insecure)
-EOF
-    s exportfs -rav
-fi
-
-if [[ -e /k/video ]]; then
+if [[ $HOSTNAME == treetowl ]]; then
     # nohide = export filesystems mounted deeper than the export point
     # fsid=0 makes this export the "root" export
     # not documented in the man page, but this means
     # 1. it can be mounted with a shorthand of server:/
     # 2. exports that are subdirectories of this one will automatically be mounted
-    tu /etc/exports '/i/video 192.168.1.0/24(rw,fsid=0,nohide,no_root_squash,async,no_subtree_check,insecure)'
+    tu /etc/exports <<'EOF'
+/k 192.168.1.0/24(rw,fsid=0,nohide,no_root_squash,async,no_subtree_check,insecure)
+EOF
     s exportfs -rav
-    showmount -e localhost
 fi
 
 
-
 e "$end_msg_var"
 
 
@@ -1031,62 +1074,53 @@ if ! s virsh list --all --name | grep -xF win10 &>/dev/null; then
 fi
 
 
-pi samba
-# note samba re-reads it's config every 1 minute
-case $distro in
-    arch) s cp /etc/samba/smb.conf.default /etc/samba/smb.conf ;;
-esac
+if [[ $HOSTNAME == treetowl ]]; then
+    pi samba
+    # note samba re-reads it\'s config every 1 minute
+    case $distro in
+        arch) s cp /etc/samba/smb.conf.default /etc/samba/smb.conf ;;
+    esac
 
-# add 2 lines after workgroup option
-s sed -ri --follow-symlinks '/^\s*encrypt passwords\s*=/d' /etc/samba/smb.conf
-s sed -ri --follow-symlinks '/^\s*map to guest\s*=/d' /etc/samba/smb.conf
-s sed -i --follow-symlinks 's/\(\s*workgroup\s*=\).*/\1 WORKGROUP\n\tencrypt passwords = yes\n\tmap to guest = bad password/'  /etc/samba/smb.conf
-# remove default homes section. not sharing that.
-s sed -ri --follow-symlinks '/^\s*\[homes\]/,/\s*\[/d' /etc/samba/smb.conf
+    # add 2 lines after workgroup option
+    s sed -ri --follow-symlinks '/^\s*encrypt passwords\s*=/d' /etc/samba/smb.conf
+    s sed -ri --follow-symlinks '/^\s*map to guest\s*=/d' /etc/samba/smb.conf
+    s sed -i --follow-symlinks 's/\(\s*workgroup\s*=\).*/\1 WORKGROUP\n\tencrypt passwords = yes\n\tmap to guest = bad password/'  /etc/samba/smb.conf
+    # remove default homes section. not sharing that.
+    s sed -ri --follow-symlinks '/^\s*\[homes\]/,/\s*\[/d' /etc/samba/smb.conf
 
-if ! grep -xF '[public]' /etc/samba/smb.conf &>/dev/null; then
-    s tee -a /etc/samba/smb.conf <<'EOF'
+    if ! grep -xF '[public]' /etc/samba/smb.conf &>/dev/null; then
+        s tee -a /etc/samba/smb.conf <<'EOF'
 [public]
       guest ok = yes
       read only = no
-      path = /kfrodo
+      path = /kr
 EOF
-fi
+    fi
 
-case $distro in
-    debian|ubuntu)
-# systemd claims it generates units from /etc/init.d, but it clearly doesn't
-# in debian. I have no idea how they are related. fuck debian right now. It's
-# not documented.  samba has a systemd init file linked to /dev/null.
-# There's this https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=769714 which
-# claims samba's sub-services will be started automatically by systemd... it
-# didn't on install, wonder if it will on boot. It clued me in how to start
-# it manually though. Nothing in /usr/share/doc/samba, debian admin guide
-# says nothing about any of this. (this is in debian testing as of 4/2016).
-
-s /etc/init.d/samba start
-;;
-                        arch)
-                            sgo samba
-                            ;;
-esac
+    case $distro in
+        debian|ubuntu)
+            # systemd claims it generates units from /etc/init.d, but it
+            # clearly doesn\'t in debian. I have no idea how they are
+            # related. fuck debian right now. It\'s not documented.  samba
+            # has a systemd init file linked to /dev/null.  There\'s this
+            # https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=769714 which
+            # claims samba\'s sub-services will be started automatically by
+            # systemd... it didn\'t on install, wonder if it will on
+            # boot. It clued me in how to start it manually though. Nothing
+            # in /usr/share/doc/samba, debian admin guide says nothing about
+            # any of this. (this is in debian testing as of 4/2016).
+
+            s /etc/init.d/samba start
+            ;;
+        arch)
+            sgo samba
+            ;;
+    esac
+fi
 
 tu /etc/hosts <<< "127.0.1.1 $(hostname).lan $(hostname)"
 
 
-
-rootdev=$(mount | sed -rn 's#^(\S+) on / .*#\1#p')
-s mkdir /mnt/root
-tu /etc/fstab <<< "$rootdev  /mnt/root  btrfs  noatime,subvolid=0  0 0"
-mountpoint /mnt/root || s mount /mnt/root
-idev=$(mount | sed -rn 's#^(\S+) on /i .*#\1#p')
-if [[ $idev != $rootdev ]]; then
-    s mkdir /mnt/iroot
-    tu /etc/fstab <<< "$idev  /mnt/iroot  btrfs  noatime,subvolid=0  0 0"
-    mountpoint /mnt/iroot || s mount /mnt/iroot
-fi
-
-
 ######### begin stuff belonging at the end    ##########