minor fixes, indenting
[distro-setup] / distro-end
index 645f1d579788e74a53bfbd1a77e413d3fc1c56a7..a1d9389e801fa6e1618efaa57c104785b48091d4 100755 (executable)
@@ -35,6 +35,7 @@ spa() { # simple package add
 distro=$(distro-name)
 
 pending_reboot=false
+sed="sed --follow-symlinks"
 
 # template
 case $distro in
@@ -62,8 +63,14 @@ case $HOSTNAME in
         # mutagen for pithos
         simple_packages+=(
             apache2
+            apache2-doc
+            apt-doc
+            aptitude-doc-en
+            bash-doc
+            binutils-doc
             bwm-ng
             chromium
+            cpio-doc
             cron
             debconf-doc
             duplicity
@@ -72,15 +79,22 @@ case $HOSTNAME in
             fdupes
             feh
             filelight
+            gawk-doc
             gcc-doc
             gdb
+            gdb-doc
+            git-doc
+            git-email
             gitk
+            glibc-doc
             goaccess
             gnome-screenshot
             i3lock
+            iproute2-doc
             jq
             linux-doc
             locate
+            make-doc
             manpages
             manpages-dev
             meld
@@ -89,23 +103,29 @@ case $HOSTNAME in
             offlineimap
             p7zip
             paprefs
+            parted-doc
             pavucontrol
             pdfgrep
+            perl-doc
             pianobar
             pidgin
+            python3-doc
             python3-mutagen
             reportbug
+            sqlite3-doc
             squashfs-tools
             swh-plugins
+            tar-doc
             tcpdump
             transmission-remote-gtk
             vlc
+            whois
         )
+        spa $(apt-cache search ruby[.0-9]+-doc| awk '{print $1}')
         ;;
 esac
 
 
-
 ########### begin section including li ################
 
 
@@ -257,7 +277,7 @@ case $HOSTNAME in
         #$src/phab-setup
 
         pi-nostart mumble-server
-        s sed -ri "s/^ *(serverpassword=).*/\1$(< /a/bin/bash_unpublished/mumble_pass)/" /etc/mumble-server.ini
+        s $sed -ri "s/^ *(serverpassword=).*/\1$(< /a/bin/bash_unpublished/mumble_pass)/" /etc/mumble-server.ini
         sgo mumble-server
 
         vpn-server-setup -d
@@ -269,8 +289,8 @@ Description=Turns on iptables mail nat
 [Service]
 Type=oneshot
 RemainAfterExit=yes
-ExecStart=/sbin/iptables -t nat -A PREROUTING -i eth0 -p tcp -m tcp --dport 25 -j DNAT --to-destination 10.8.0.4:25
-ExecStop=/sbin/iptables -t nat -D PREROUTING -i eth0 -p tcp -m tcp --dport 25 -j DNAT --to-destination 10.8.0.4:25
+ExecStart=/a/bin/distro-setup/vpn-mail-forward start
+ExecStop=/a/bin/distro-setup/vpn-mail-forward stop
 
 [Install]
 WantedBy=openvpn.service
@@ -278,9 +298,128 @@ EOF
         ser daemon-reload
         ser enable vpnmail.service
         acme-tiny-wrapper mail.iankelling.org
+        # needed for li's local mail delivery. there might
+        # be a better way to do it that doesn't require disabling
+        # it during le verification, but whatever for now.
+        f=/etc/cron.daily/lets-encrypt-mail_iankelling_org
+        l="10.8.0.4 mail.iankelling.org"
+        tu /etc/hosts <<<"$l"
+        s sed -i '/^\s*sysv acme-tiny-wrapper/i sed -i /^10\.8\.0\.4/d /etc/hosts' $f
+        echo "echo $l >>/etc/hosts" | s tee -a $f
         sgo openvpn
-        tu /etc/hosts <<<"mail.iankelling.org 10.8.0.4"
+        domain=cal.iankelling.org
+        acme-tiny-wrapper $domain
+        apache-site -f 10.8.0.4:5232 - $domain <<'EOF'
+#https://httpd.apache.org/docs/2.4/mod/mod_authn_core.html#authtype
+        <Directory "/var/www/cal.iankelling.org/html">
+                Options +FollowSymLinks +Multiviews +Indexes
+                AllowOverride None
+                AuthType basic
+                AuthName "Authentication Required"
+                # setup one time, with root:www-data, 640
+                AuthUserFile "/etc/caldav-htpasswd"
+                Require valid-user
+        </Directory>
+EOF
+        # nginx version of above would be:
+        # auth_basic "Not currently available";
+        # auth_basic_user_file /etc/nginx/caldav/htpasswd;
+
 
+        ########## begin pump.io setup ##########
+
+        # once pump adds a logrotation script, turn off nologger,
+        # and add
+        #        "logfile": "/var/log/pumpio/pumpio.log",
+        #
+        s dd of=/etc/pump.io.json <<'EOF'
+{
+    "secret":  "SECRET_REPLACE_ME",
+    "driver":  "mongodb",
+    "params":  { "dbname": "pumpio" },
+    "noweb":  false,
+    "site":  "pump.iankelling.org",
+    "owner":  "Ian Kelling",
+    "ownerURL":  "https://iankelling.org/",
+    "port":  8001,
+    "urlPort": 443,
+    "hostname":  "pump.iankelling.org",
+    "nologger": true,
+    "datadir": "/home/pumpio/pumpdata",
+    "enableUploads": true,
+    "debugClient": false,
+    "disableRegistration": true,
+    "noCDN": true,
+    "key": "/home/pumpio/pump.iankelling.org-domain.key",
+    "cert": "/home/pumpio/pump.iankelling.org-chained.pem",
+    "address":  "localhost",
+    "sockjs": false
+}
+EOF
+        s sed -i "s#SECRET_REPLACE_ME#$(cat /p/c/machine_specific/li/pump-secret)#" /etc/pump.io.json
+
+        # jessie\'s node is too old
+        # https://nodejs.org/en/download/package-manager/
+        curl -sL https://deb.nodesource.com/setup_6.x | sudo -E bash -
+        pi nodejs
+        cd /home/ian
+        rm -rf pump.io.git
+        git clone https://github.com/pump-io/pump.io.git
+        cd pump.io
+        # note: doing this or the npm install pump.io as root had problems.
+        npm install
+        npm run build
+        # normally, next command would be
+        # s npm install -g databank-mongodb
+        # but it\'s this until a bug in pump gets fixed
+        s npm install -g databank-mongodb@0.19.2
+        s useradd -m -s /bin/false pumpio
+        sudo -u pumpio mkdir -p /home/pumpio/pumpdata
+        # for testing browser when only listening to localhost,
+        # in the pump.io.json, set hostname localhost, urlPort 5233
+        #ssh -L 5233:localhost:5233 li
+        acme-tiny-wrapper -c /home/pumpio pump.iankelling.org
+
+        s mkdir -p /var/log/pumpio/
+        s chown pumpio:pumpio /var/log/pumpio/
+
+        apache-site -c /home/pumpio - pump.iankelling.org <<'EOF'
+# currently a bug in pump that we cant terminate ssl
+         SSLProxyEngine On
+         ProxyPreserveHost On
+         ProxyPass /  https://127.0.0.1:8001/
+         ProxyPassReverse /  https://127.0.0.1:8001/
+         # i have sockjs disabled per people suggesting that
+         # it won\'t work with apache right now.
+         # not sure if it would work with this,
+         # but afaik, this is pointless atm.
+         <Location /main/realtime/sockjs/>
+             ProxyPass wss://127.0.0.1:8001/main/realtime/sockjs/
+             ProxyPassReverse wss://127.0.0.1:8001/main/realtime/sockjs/
+         </Location>
+EOF
+
+        s dd of=/etc/systemd/system/pump.service <<'EOF'
+[Unit]
+Description=pump.io
+After=syslog.target network.target
+
+[Service]
+Type=simple
+User=pumpio
+Group=pumpio
+ExecStart=/home/ian/pump.io/bin/pump
+Environment=NODE_ENV=production
+# failed to find databank-mongodb without this.
+# I just looked at my environment variables took a guess.
+Environment=NODE_PATH=/usr/lib/nodejs:/usr/lib/node_modules:/usr/share/javascript
+
+[Install]
+WantedBy=multi-user.target
+EOF
+        ser daemon-reload
+        sgo pump
+        ########## end pump.io setup ############
 
         echo "$0: $(date): ending now)"
         exit 0
@@ -290,10 +429,37 @@ esac
 
 ########### end section including li/lj ###############
 
+# pump.io periodic backup
+if [[ $HOSTNAME == treetowl ]]; then
+    s dd of=/etc/systemd/system/pumpbackup.service <<'EOF'
+[Unit]
+Description=pump li backup
+After=multi-user.target
+
+[Service]
+User=ian
+Type=oneshot
+ExecStart=/a/bin/log-quiet/sysd-mail-once pump-backup /a/bin/distro-setup/pump-backup
+EOF
+
+    s dd of=/etc/systemd/system/pumpbackup.timer <<'EOF'
+[Unit]
+Description=pump li backup hourly
+
+[Timer]
+OnCalendar=hourly
+
+[Install]
+WantedBy=timers.target
+EOF
+    s systemctl daemon-reload
+    sgo pumpbackup.timer
+fi
+
 case $distro in
     debian|ubuntu)
         # suggests because we want the resolvconf package.
-        # todo: check other distros to make sure it's installed
+        # todo: check other distros to make sure it\'s installed
         pi-nostart --install-suggests openvpn
         # pi-nostart does not disable
         ser disable openvpn
@@ -311,8 +477,9 @@ if private-host; then
 fi
 ser enable mailroute
 if [[ $HOSTNAME == treetowl ]]; then
-    # note, this will need to be changed when the mail host changes
+    # note, this will need to be changed when the mail/contacts host changes
     sgo openvpn-client@mail
+    /a/bin/distro-setup/radicale-setup
 fi
 
 ## android studio setup
@@ -353,10 +520,12 @@ if [[ $HOSTNAME == treetowl ]]; then
             pi syncthing
             ;;
     esac
+    lnf -T /w/syncthing /home/ian/.config/syncthing
     sgo syncthing@ian # runs as ian
 
     # these things persist in ~/.config/syncthing, which I save in
-    # /p/c/machine_specific
+    # /w/syncthing (not in /p, because syncthing should continue to
+    # run on home server even when using laptop as primary device)
     # open http://localhost:8384/
     # change listen address from default to tcp://:22001,
     # this is because we do port forward so it doesn\'t have to use
@@ -374,8 +543,13 @@ if [[ $HOSTNAME == treetowl ]]; then
     # on dekstop, top right, actions, device id
     # after adding, notification will appear on desktop to confirm
     #
-    # add folder to sync phone, notification will appear on desktop
-    # to set folder location.
+    # syncing folder. from phone to desktop: select desktop in the
+    # folder on phone\'s sync options, notification will appear in
+    # desktop\'s web ui within a minute. For the reverse, the
+    # notification will appear in android\'s notifications, you have to
+    # swipe down and tap it to add the folder. It won\'t appear in the
+    # syncthing ui, which would be intuitive, but don\'t wait for it
+    # there.
     #
     # On phone, set settings to run syncthing all the time, and
     # show no notification.
@@ -420,22 +594,22 @@ net.core.wmem_max = 16777216
 EOF
             s sysctl -p
 
-            # some reason it doesn't seem to start automatically anyways
+            # some reason it doesn\'t seem to start automatically anyways
             pi-nostart transmission-daemon
 
             # the folder was moved here after an install around 02/2017.
             # it contains runtime data,
-            # plus a simple symlink to the config file which it's
+            # plus a simple symlink to the config file which it\'s
             # not worth separating out.
-            s lnf -T /q/transmission-daemon /var/lib/transmission-daemon/.config/transmission-daemon
+            s lnf -T /i/transmission-daemon /var/lib/transmission-daemon/.config/transmission-daemon
             #
-            # config file documented here, and it's the same config
-            # for daemon vs client, so it's documented in the gui.
+            # config file documented here, and it\'s the same config
+            # for daemon vs client, so it\'s documented in the gui.
             # https://trac.transmissionbt.com/wiki/EditConfigFiles#Options
             #
             # I originaly setup rpc-whitelist, but after using
-            # routing to a network namespace, it doesn't see the
-            # real source address, so it's disabled.
+            # routing to a network namespace, it doesn\'t see the
+            # real source address, so it\'s disabled.
             #
             # Changed the cache-size to 256 mb, reduces disk use.
             # It is a read & write cache.
@@ -462,8 +636,8 @@ EOF
             ser disable transmission-daemon
             sgo transmission-daemon-nn
             ;;
-    # todo: others unknown
-esac
+        # todo: others unknown
+    esac
 fi
 
 # adapted from /var/lib/dpkg/info/transmission-daemon.postinst
@@ -489,7 +663,7 @@ if ! getent passwd debian-transmission > /dev/null; then
     esac
 fi
 
-# dunno why it's there, but get rid of it
+# dunno why it\'s there, but get rid of it
 case $HOSTNAME in
     li|lj) s rm -rf /home/linode ;;
 esac
@@ -512,7 +686,7 @@ require 'json'
 p = '/etc/transmission-daemon/settings.json'
 puts JSON.parse(File.read(p))["rpc-password"]
 EOF
-)
+        )
 
 for f in /home/*; do
     d=$f/.config/transmission-remote-gtk
@@ -681,7 +855,7 @@ case $distro in
 esac
 # allow user to run vms, from debian handbook
 for x in ian traci; do s usermod -a -G libvirt,kvm $x; done
-# bridge networking as user fails. google lead here, but it doesn't work:
+# bridge networking as user fails. google lead here, but it doesn\'t work:
 # oh well, I give up.
 # http://wiki.qemu.org/Features-Done/HelperNetworking
 # s mkdir /etc/qemu
@@ -706,6 +880,17 @@ case $distro in
 esac
 
 # general known for debian/ubuntu, not for fedora
+
+case $distro in
+    debian|ubuntu)
+        pi golang-go
+        # a bit of googling, and added settings to bashrc
+        go get -u github.com/mvdan/fdroidcl/cmd/fdroidcl
+        ;;
+    # others unknown
+esac
+
+
 case $distro in
     arch)
         # cdrkit for cloud-init isos
@@ -716,7 +901,7 @@ case $distro in
            bridge-utils dnsmasq qemu bind-tools
         # otherwise we get error about accessing kvm module.
         # seems like there might be a better way, but google was a bit vague.
-        s sed -ri --follow-symlinks '/^ *user *=/d' /etc/libvirt/qemu.conf
+        s $sed -ri '/^ *user *=/d' /etc/libvirt/qemu.conf
         echo 'user = "root"' | s tee -a /etc/libvirt/qemu.conf
         # https://bbs.archlinux.org/viewtopic.php?id=206206
         # # this should prolly go in the wiki
@@ -755,48 +940,69 @@ case $distro in
     # other distros unknown
 esac
 
-case $distro in
-    debian)
-        # if [[ `debian-archive`  == testing ]]; then
-        #     # has no unstable dependencies
-        #     pi bitcoind/unstable
-        # fi
-        s cp /a/opt/bitcoin/contrib/init/bitcoind.service /etc/systemd/system
-        ser daemon-reload
-
-        dir=/nocow/.bitcoin
-        s mkdir -p $dir
-        s chown -R bitcoin:bitcoin $dir
-        dir=/etc/bitcoin
-        s mkdir -p $dir
-        s chown -R root:bitcoin $dir
-        s chmod 750 $dir
-        f=$dir/bitcoin.conf
-
-        # pruning decreases the bitcoin dir to 2 gb, keeps
-        # just the recent blocks. can't do a few things like
-        # import a wallet dump.
-        # pruning works, but people had to do
-        # some manual stuff in joinmarket. I dun need the
-        # disk space, so not bothering yet, maybe in a year or so.
-        # https://github.com/JoinMarket-Org/joinmarket/issues/431
-        #https://bitcoin.org/en/release/v0.12.0#wallet-pruning
-        #prune=550
-
-        s dd of=$f <<EOF
-rpcbind=127.0.0.1
+if [[ $HOSTNAME == treetowl ]]; then
+    case $distro in
+        debian)
+            if [[ `debian-archive`  == testing ]]; then
+                # has no unstable dependencies
+                pi bitcoind/unstable
+                src=/a/opt/bitcoin/contrib/init/bitcoind.service
+                s cp $src /etc/systemd/system
+                p=/etc/bitcoin/bitcoin
+                dst=/etc/systemd/system/bitcoinjm.service
+                # jm for joinmarket
+                $sed -r "/^\s*ExecStart/s,${p}.conf,${p}jm.conf," $src \
+                     >/etc/systemd/system/bitcoinjm.service
+
+                d=jm; jm=d # being clever for succinctness
+                for s in d jm; do
+                    s $sed -ri "/^\s*\[Unit\]/a Conflicts=bitcoin${!s}.service" \
+                      /etc/systemd/system/bitcoin${s}.service
+                done
+
+                ser daemon-reload
+
+                dir=/nocow/.bitcoin
+                s mkdir -p $dir
+                s chown -R bitcoin:bitcoin $dir
+                dir=/etc/bitcoin
+                s mkdir -p $dir
+                s chown -R root:bitcoin $dir
+                s chmod 750 $dir
+
+                # pruning decreases the bitcoin dir to 2 gb, keeps
+                # just the recent blocks. can\'t do a few things like
+                # import a wallet dump.
+                # pruning works, but people had to do
+                # some manual stuff in joinmarket. I dun need the
+                # disk space, so not bothering yet, maybe in a year or so.
+                # https://github.com/JoinMarket-Org/joinmarket/issues/431
+                #https://bitcoin.org/en/release/v0.12.0#wallet-pruning
+                #prune=550
+
+                f=$dir/bitcoin.conf
+                s dd of=$f <<EOF
 server=1
 rpcpassword=$(openssl rand -base64 32)
 rpcuser=$(openssl rand -base64 32)
+EOF
 
+
+                f2=$dir/bitcoinjm.conf
+                s cp $f $f2
+                s tee -a $f2 >/dev/null <<EOF
 # Joinmarket
 walletnotify=curl -sI --connect-timeout 1 http://localhost:62602/walletnotify?%s
 alertnotify=curl -sI --connect-timeout 1 http://localhost:62602/alertnotify?%s
+wallet=joinmarket.dat
 EOF
-        ;;
-                        # other distros unknown
-esac
-if [[ $HOSTNAME == treetowl ]]; then
+                # dunno about sharing a wallet between multiple instances
+                # manually did, wallet.dat symlinked in /nocow/.bitcoin
+                sgo bitcoind
+            fi
+            ;;
+        # other distros unknown
+    esac
     pi libsodium-dev python-pip
     cd /a/opt/joinmarket
     # using develop branch, as it seems to be mostly bug fixes,
@@ -804,34 +1010,14 @@ if [[ $HOSTNAME == treetowl ]]; then
     # note: python3 does not work.
     # has seg fault error due to some bug, but it still works
     pip install -r requirements.txt || [[ $? == 139 ]]
-    # we need bitcoin.conf in the data dir according to
-    # https://github.com/JoinMarket-Org/joinmarket/wiki/Running-JoinMarket-with-Bitcoin-Core-full-node
-    # following the example .service script, I don\'t have it there,
-    # and I generate it, so lets just symlink it.
-    sudo -u bitcoin ln -sf /etc/bitcoin/bitcoin.conf /nocow/.bitcoin
-
-    # one time, manually did python wallet-tool.py generate.
-    # The "wallet" is just a key which deterministically generates addresses.
-    # One time: move the wallet, then link to it.
-    # ln -s /p/joinmarket/wallet.json wallets
-    #
-    # see wallet addresses via:
-    # python wallet-tool.py wallet.json
-    # send to the first 3 mixing depth 0 addresses.
-    # depths are like "identities", to separate out association with
-    # each other. the big hash in that output is the depth/branch id,
-    # ignore it afaik.
-    #
-    # after sending btc to wallet from a 3rd party service, check that
-    # at least 20% of utxo of each transaction was sent to you,
-    # btc listtransactions 10 0 true
-    # btc getrawtransaction TXID 1
-    #
-    # to view status, do
-    # python wallet-tool.py wallet.json history
-    #
-    # to help make other people,
-    # python yield-generator-basic.py wallet.json
+    # note, the target must exist ahead of time, or bitcoin
+    # just overwrites the link, and it\'s not happy with an empty file,
+    # so we have to create the wallet, then move and link it.
+    s lnf -T /q/bitcoin/wallet.dat /nocow/.bitcoin/wallet.dat
+    s lnf -T /q/bitcoin/joinmarket.dat /nocow/.bitcoin/joinmarket.dat
+    # not technically needed, but seems cleaner not to have
+    # symlinks be root owned unlike everything else
+    s chown -h bitcoin:bitcoin /nocow/.bitcoin/*
 
     for var in rpcuser rpcpassword; do
         u="$(s sed -rn "s/^$var=(.*)/\1/p" /etc/bitcoin/bitcoin.conf)"
@@ -843,22 +1029,10 @@ if [[ $HOSTNAME == treetowl ]]; then
     done
     sed -ri "s/^\s*(blockchain_source\s*=).*/\1 bitcoin-rpc/" joinmarket.cfg
 
-    # dunno about sharing a wallet between multiple instances
-    # manually did, wallet.dat symlinked in /nocow/.bitcoin
-    #sgo bitcoind
 fi
 
 
 
-
-# proprietary flash. going without for now
-# case $distro in
-#     debian)
-#         pi flashplugin-nonfree
-# esac
-
-
-
 case $distro in
     fedora)
         cd $(mktemp -d)
@@ -988,7 +1162,7 @@ fi
 ######### end misc packages #########
 
 
-# packages I once used before and liked, but don't want installed now for
+# packages I once used before and liked, but don\'t want installed now for
 # various reasons:
 # python-sqlite is used for offlineimap
 # lxappearance python-sqlite dolphin paman dconf-editor
@@ -1054,7 +1228,7 @@ log-file /var/log/apache2/access.log
 color-scheme 2
 
 # tip: copy access.log files to a stretch host directory, then run
-# jessie's goaccess is too old for some options, and it's
+# jessie's goaccess is too old for some options, and it\'s
 # not easily installed from a testing.
 # goaccess --ignore-crawlers -f <(cat *) -a -o html > x.html
 EOF
@@ -1272,7 +1446,7 @@ if ! s virsh list --all --name | grep -xF win10 &>/dev/null; then
     # run "control userpasswords2", turn on automatic login.
     # note: when changing devices, I just undefine, the create the vm again.
 
-    if [[ -e /a/images/win10.qcow2 ]]; then
+    if [[ -e /nocow/user/vms/win10.qcow2 ]]; then
         s virt-install --noautoconsole --graphics spice,listen=0.0.0.0 \
           --disk=/a/images/win10.qcow2,bus=virtio --vcpus 2 -r 4096 -w bridge=br0 \
           -n win10 --import --os-variant $variant --cpu host-model-only
@@ -1280,7 +1454,7 @@ if ! s virsh list --all --name | grep -xF win10 &>/dev/null; then
         s virsh destroy win10
     fi
 
-    if [[ -e /a/images/win7.qcow2 ]]; then
+    if [[ -e /nocow/user/vms/win7.qcow2 ]]; then
         # this one hasn\'t had the virtio fix done yet.
         s virt-install --noautoconsole --graphics spice,listen=0.0.0.0 \
           --disk=/a/images/win7.qcow2 --vcpus 2 -r 4096 -w bridge=br0 \