minor fixes
[distro-setup] / distro-end
index b19c41d0ba8bb856aeaaac58a8f43b005d48fd34..1e5303e9fd08172d4b16ab18a4b84f428634c657 100755 (executable)
@@ -32,6 +32,7 @@ spa() { # simple package add
     simple_packages+=($@)
 }
 
+
 distro=$(distro-name)
 
 pending_reboot=false
@@ -51,6 +52,7 @@ simple_packages=(
     ruby-rest-client
     tree
     vim
+    wcd
 )
 
 case $HOSTNAME in
@@ -58,20 +60,29 @@ case $HOSTNAME in
     *)
         # universal packages
         # swh-plugins is for karaoke pulsaudio filter.
+        # mutagen for pithos
         simple_packages+=(
             apache2
             bwm-ng
             chromium
+            debconf-doc
             duplicity
+            eclipse
             evince
             fdupes
             filelight
+            gcc-doc
             gdb
+            gitk
             goaccess
             gnome-screenshot
+            i3lock
             jq
             locate
+            manpages
+            manpages-dev
             meld
+            mumble
             nmap
             offlineimap
             p7zip
@@ -80,7 +91,8 @@ case $HOSTNAME in
             pdfgrep
             pianobar
             pidgin
-            slock
+            python3-mutagen
+            reportbug
             squashfs-tools
             swh-plugins
             tcpdump
@@ -224,11 +236,12 @@ fi
 pi "${simple_packages[@]}"
 simple_packages=()
 
+# website setup
 case $HOSTNAME in
     lj|li)
 
         case $HOSTNAME in
-            lj) domain=iank.bid ;;
+            lj) domain=iank.bid; exit 0 ;;
             li) domain=iankelling.org ;;
         esac
         /a/h/setup.sh $domain
@@ -237,14 +250,32 @@ case $HOSTNAME in
         sudo -E /a/bin/mediawiki-setup/mw-setup-script
         #$src/phab-setup
 
+        pi-nostart mumble-server
+        s sed -ri "s/^ *(serverpassword=).*/\1$(< /a/bin/bash_unpublished/mumble_pass)/" /etc/mumble-server.ini
+        sgo mumble-server
+
         echo "$0: $(date): ending now)"
         exit 0
         ;;
 esac
 
+
 ########### end section including li/lj ###############
 
 
+
+## android studio setup
+# this contains the setting for android sdk to point to
+# /a/opt/androidsdk, which is asked upon first run
+lnf /a/opt/.AndroidStudio2.2 ~
+# android site says it needs a bunch of packages for ubuntu,
+# but I googled for debian, and someone says you just need lib32stdc++6 plus the
+# jdk
+# https://pid7007blog.blogspot.com/2015/07/installing-android-studio-in-debian-8.html
+# see w.org for more android studio details
+spa lib32stdc++6 default-jdk
+
+
 if [[ $HOSTNAME == frodo ]]; then
     case $distro in
         ubunut|debian)
@@ -261,13 +292,19 @@ fi
 case $distro in
     arch) pi syncthing ;;
     ubuntu|debian)
-        # google led me here:
-        # https://apt.syncthing.net/
-        curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
-        s="deb http://apt.syncthing.net/ syncthing release"
-        if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
-            echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
-            p update
+        # testing has relatively up to date packages
+        if ! isdebian-testing; then
+            # based on error when doing apt-get update:
+            # E: The method driver /usr/lib/apt/methods/https could not be found.
+            pi apt-transport-https
+            # google led me here:
+            # https://apt.syncthing.net/
+            curl -s https://syncthing.net/release-key.txt | sudo apt-key add -
+            s="deb http://apt.syncthing.net/ syncthing release"
+            if [[ $(cat /etc/apt/sources.list.d/syncthing.list) != $s ]]; then
+                echo "$s" | s dd of=/etc/apt/sources.list.d/syncthing.list
+                p update
+            fi
         fi
         pi syncthing
         ;;
@@ -284,7 +321,8 @@ esac
 # trash can versioning for sake of space on phone, with
 # clean out after 7 days.
 #
-# did ser syncthing@ian start
+# did:
+# ser start syncthing@ian
 # then on phone, add device, hit bar code icon,
 # install bar code scanner.
 
@@ -300,7 +338,6 @@ esac
 
 ####### misc packages ###########
 
-
 if [[ $HOSTNAME == treetowl ]]; then
     case $distro in
         debian|ubuntu)
@@ -319,29 +356,43 @@ EOF
 
             # some reason it doesn't seem to start automatically anyways
             pi-nostart transmission-daemon
+            #
             # config file documented here, and it's the same config
             # for daemon vs client, so it's documented in the gui.
             # https://trac.transmissionbt.com/wiki/EditConfigFiles#Options
+            #
+            # I originaly setup rpc-whitelist, but after using
+            # routing to a network namespace, it doesn't see the
+            # real source address, so it's disabled.
+            #
+            # Changed the cache-size to 128 mb, reduces disk use.
+            # It is a read & write cache.
+            #
+            # todo: setup a password.
             s ruby <<'EOF'
 require 'json'
 p = '/etc/transmission-daemon/settings.json'
 File.write(p, JSON.pretty_generate(JSON.parse(File.read(p)).merge({
-'rpc-whitelist' => '127.0.0.1,192.168.1.*',
+'rpc-whitelist-enabled' => false,
 'rpc-authentication-required' => false,
-'incomplete-dir' => '/i/k/partial-torrents',
+'incomplete-dir' => '/k/partial-torrents',
+'incomplete-dir-enabled' => true,
 'download-dir' => '/i/k/torrents',
-"speed-limit-up" => 700,
+"speed-limit-up" => 800,
 "speed-limit-up-enabled" => true,
+"peer-port" => 61486,
+"cache-size-mb" => 128,
 "ratio-limit" => 1.4000,
-"ratio-limit-enabled" => true,
+"ratio-limit-enabled" => false,
+"pidfile": "/var/lib/transmission-daemon/transmission-daemon.pid",
 })) + "\n")
 EOF
-            sgo transmission-daemon
-            ;;
-        arch)
-            # todo, setup it's config file & daemon
-            pi transmission-cli
+
+            # make sure its not enabled, not sure if this is needed
+            ser disable transmission-daemon
+            sgo transmission-daemon-nn
             ;;
+        # todo: others unknown
     esac
 fi
 
@@ -419,13 +470,14 @@ done
 
 case $distro in
     debian|ubuntu)
-        pi-nostart openvpn
+        # suggests because we want the resolvconf package.
+        # todo: check other distros to make sure it's installed
+        pi-nostart --install-suggests openvpn
         # pi-nostart this doesnt seem to be good enough?
         ser disable openvpn@client
         ser disable openvpn
         ;;
-    # suggests because we want the resolvconf package
-    *) pi --install-suggests openvpn;;
+    *) pi openvpn;;
 esac
 
 pi wget
@@ -640,9 +692,93 @@ case $distro in
             # has no unstable dependencies
             spa bitcoin-qt/unstable
         fi
+        s cp /a/opt/bitcoin/contrib/init/bitcoind.service /etc/systemd/system
+        ser daemon-reload
+
+        dir=/nocow/.bitcoin
+        s mkdir -p $dir
+        s chown -R bitcoin:bitcoin $dir
+        dir=/etc/bitcoin
+        s mkdir -p $dir
+        s chown -R root:bitcoin $dir
+        s chmod 750 $dir
+        f=$dir/bitcon.conf
+
+        # pruning decreases the bitcoin dir to 2 gb, keeps
+        # just the recent blocks. can't do a few things like
+        # import a wallet dump.
+        # pruning works, but people had to do
+        # some manual stuff in joinmarket. I dun need the
+        # disk space, so not bothering yet, maybe in a year or so.
+        # https://github.com/JoinMarket-Org/joinmarket/issues/431
+        #https://bitcoin.org/en/release/v0.12.0#wallet-pruning
+        #prune=550
+
+        s dd of=$f <<EOF
+rpcbind=127.0.0.1
+server=1
+rpcpassword=$(openssl rand -base64 32)
+rpcuser=$(openssl rand -base64 32)
+
+# Joinmarket
+walletnotify=curl -sI --connect-timeout 1 http://localhost:62602/walletnotify?%s
+alertnotify=curl -sI --connect-timeout 1 http://localhost:62602/alertnotify?%s
+EOF
         ;;
     # other distros unknown
 esac
+if [[ $HOSTNAME == treetowl ]]; then
+    pi libsodium-dev python3-pip
+    cd /a/opt/joinmarket
+    # using develop branch, as it seems to be mostly bug fixes,
+    # and this is quite new software.
+    # note: python3 does not work.
+    pip install -r requirements.txt
+    # we need bitcoin.conf in the data dir according to
+    # https://github.com/JoinMarket-Org/joinmarket/wiki/Running-JoinMarket-with-Bitcoin-Core-full-node
+    # following the example .service script, I don\'t have it there,
+    # and I generate it, so lets just symlink it.
+    sudo -u bitcoin ln -sf /etc/bitcoin/bitcoin.conf /nocow/.bitcoin
+
+    # one time, manually did python wallet-tool.py generate.
+    # The "wallet" is just a key which deterministically generates addresses.
+    # One time: move the wallet, then link to it.
+    # ln -s /p/joinmarket/wallet.json wallets
+    #
+    # see wallet addresses via:
+    # python wallet-tool.py wallet.json
+    # send to the first 3 mixing depth 0 addresses.
+    # depths are like "identities", to separate out association with
+    # each other. the big hash in that output is the depth/branch id,
+    # ignore it afaik.
+    #
+    # after sending btc to wallet from a 3rd party service, check that
+    # at least 20% of utxo of each transaction was sent to you,
+    # btc listtransactions 10 0 true
+    # btc getrawtransaction TXID 1
+    #
+    # to view status, do
+    # python wallet-tool.py wallet.json history
+    #
+    # to help make other people,
+    # python yield-generator-basic.py wallet.json
+
+    for var in rpcuser rpcpassword; do
+        u="$(s sed -rn "s/^$var=(.*)/\1/p" /etc/bitcoin/bitcoin.conf)"
+        # escape backslashes
+        u="${u//\\/\\\\\\\\}"
+        # escape commas
+        u="${u//,/\\,}"
+        sed -ri "s,^(rpc_${var#rpc}\s*=).*,\1 $u," joinmarket.cfg
+    done
+    sed -ri "s/^\s*(blockchain_source\s*=).*/\1 bitcoin-rpc/" joinmarket.cfg
+
+    # dunno about sharing a wallet between multiple instances
+    # manually did, wallet.dat symlinked in /nocow/.bitcoin
+    sgo bitcoind
+fi
+
+
 
 
 # proprietary flash. going without for now
@@ -708,75 +844,75 @@ else
     pi synergy
 fi
 
-case $distro in
-    # ubuntu unknown. probably the same as debian, just check if the
-    # init scripts come with the package.
-    debian)
-        # copied from arch, but moved to etc
-        s dd of=/etc/systemd/user/synergys.service <<'EOF'
-[Unit]
-Description=Synergy Server Daemon
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
-Restart=on-failure
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        s dd of=/etc/systemd/user/synergys.socket <<'EOF'
-[Unit]
-Conflicts=synergys@.service
+case $distro in
+    # ubuntu unknown. probably the same as debian, just check if the
+    # init scripts come with the package.
+    debian)
+        # copied from arch, but moved to etc
+        s dd of=/etc/systemd/user/synergys.service <<'EOF'
+[Unit]
+Description=Synergy Server Daemon
+After=network.target
+
+[Service]
+User=%i
+ExecStart=/usr/bin/synergys --no-daemon --config /etc/synergy.conf
+Restart=on-failure
+
+[Install]
+WantedBy=multi-user.target
+EOF
+        s dd of=/etc/systemd/user/synergys.socket <<'EOF'
+[Unit]
+Conflicts=synergys@.service
 
-[Socket]
-ListenStream=24800
-Accept=false
+[Socket]
+ListenStream=24800
+Accept=false
 
-[Install]
-WantedBy=sockets.target
-EOF
-        # had this fail with 'Failed to connect to bus: No such file or directory'
-        # then when I tried it manually, it worked fine...
-        if ! systemctl --user daemon-reload; then
-            sleep 2
-            echo retrying systemd user daemon reload
-            systemctl --user daemon-reload
-        fi
-        ;;&
-    *)
-        # taken from arch wiki.
-        s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
-[Unit]
-Description=Synergy Client
-After=network.target
-
-[Service]
-User=%i
-ExecStart=/usr/bin/synergyc --no-daemon frodo
-Restart=on-failure
-# per man systemd.unit, StartLimitInterval, by default we
-# restart more than 5 times in 10 seconds.
-# And this param defaults too 200 miliseconds.
-RestartSec=3s
-
-[Install]
-WantedBy=multi-user.target
-EOF
-        s systemctl daemon-reload
-        case $HOSTNAME in
-            x2|treetowl)
-                ser enable synergyc@ian
-                ser start synergyc@ian ||: # X might not be running yet
-                ;;
-            frodo)
-                systemctl --user start synergys ||:
-                systemctl --user enable synergys
-                ;;
-        esac
-        ;;
-esac
+[Install]
+WantedBy=sockets.target
+EOF
+        # had this fail with 'Failed to connect to bus: No such file or directory'
+        # then when I tried it manually, it worked fine...
+        if ! systemctl --user daemon-reload; then
+            sleep 2
+            echo retrying systemd user daemon reload
+            systemctl --user daemon-reload
+        fi
+        ;;&
+    *)
+        # taken from arch wiki.
+        s dd of=/etc/systemd/system/synergyc@.service <<'EOF'
+[Unit]
+Description=Synergy Client
+After=network.target
+
+[Service]
+User=%i
+ExecStart=/usr/bin/synergyc --no-daemon frodo
+Restart=on-failure
+# per man systemd.unit, StartLimitInterval, by default we
+# restart more than 5 times in 10 seconds.
+# And this param defaults too 200 miliseconds.
+RestartSec=3s
+
+[Install]
+WantedBy=multi-user.target
+EOF
+        s systemctl daemon-reload
+        case $HOSTNAME in
+            x2|treetowl)
+                ser enable synergyc@ian
+                ser start synergyc@ian ||: # X might not be running yet
+                ;;
+            frodo)
+                systemctl --user start synergys ||:
+                systemctl --user enable synergys
+                ;;
+        esac
+        ;;
+esac
 
 
 ######### end misc packages #########
@@ -803,7 +939,7 @@ pi smartmontools
 # short test daily 2-3am, extended tests Saturdays between 3-4am:
 sched="-s (S/../.././02|L/../../6/03)"
 s sed -i --follow-symlinks "s#^[[:space:]]*DEVICESCAN.*#\
-DEVICESCAN -a -o on -S on -n standby,q $sched\
+DEVICESCAN -a -o on -S on -n standby,q $sched \
 -m ian@iankelling.org -M exec /usr/local/bin/smart-notify#" /etc/smartd.conf
 
 # in the default configuration of at least ubuntu 14.04, resolvconf is
@@ -823,19 +959,30 @@ DEVICESCAN -a -o on -S on -n standby,q $sched\
 ########### misc stuff
 
 
-s cedit /etc/goaccess.conf <<'EOF'
+# the wiki backup script from ofswiki.org uses generic paths
+s lnf /p/c/machine_specific/li/mw_vars /root
+s lnf /k/backup/wiki_backup /root
+
+s cedit /etc/goaccess.conf <<'EOF' || [[ $? == 1 ]]
 # all things found from looking around the default config
 # copied existing NCSA Combined Log Format with Virtual Host, plus %L
-log-format %^:%^ %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %L
+log-format %^:%^ %h %^[%d:%t %^] "%r" %s %b "%R" "%u" %D
 time-format %H:%M:%S
 date-format %d/%b/%Y
 log-file /var/log/apache2/access.log
 color-scheme 2
+
+# tip: copy access.log files to a stretch host directory, then run
+# jessie's goaccess is too old for some options, and it's
+# not easily installed from a testing.
+# goaccess --ignore-crawlers -f <(cat *) -a -o html > x.html
 EOF
 
 
 if [[ $HOSTNAME == treetowl ]] && ! sudo test -e /etc/openvpn/client.key; then
     /a/bin/vpn-setup/vpn-mk-client-cert dopub
+    # route lan traffic from inside the network namespace.
+    tu /etc/openvpn/client.conf "route 192.168.1.0 255.255.255.0 net_gateway"
 fi
 
 
@@ -872,11 +1019,22 @@ EOF
         ;;
 esac
 
-# not using it atm, and for jessie, it depends on a higher version of btrfs-tools
+# note, for jessie, it depends on a higher version of btrfs-tools.
+#
+# # disabled due to my patch being in btrbk
 # case $distro in
 #     arch|debian|ubuntu) pi btrbk ;;
 #     # others unknown
 # esac
+cd /a/opt/btrbk
+s make install
+spa pv # for progress bar when running interactively.
+if [[ $HOSTNAME == treetowl ]]; then
+    # backup/sync manually on others hosts for now.
+    sgo btrbk.timer
+    # note: to see when it was last run,
+    # ser list-timers
+fi
 
 if [[ $HOSTNAME == treetowl ]] && [[ `debian-archive` != testing ]]; then
     # fail2 ban is broken, with a workaround, per
@@ -1104,19 +1262,6 @@ fi
 tu /etc/hosts <<< "127.0.1.1 $(hostname).lan $(hostname)"
 
 
-
-rootdev=$(mount | sed -rn 's#^(\S+) on / .*#\1#p')
-s mkdir /mnt/root
-tu /etc/fstab <<< "$rootdev  /mnt/root  btrfs  noatime,subvolid=0  0 0"
-mountpoint /mnt/root || s mount /mnt/root
-idev=$(mount | sed -rn 's#^(\S+) on /i .*#\1#p')
-if [[ $idev != $rootdev ]]; then
-    s mkdir /mnt/iroot
-    tu /etc/fstab <<< "$idev  /mnt/iroot  btrfs  noatime,subvolid=0  0 0"
-    mountpoint /mnt/iroot || s mount /mnt/iroot
-fi
-
-
 ######### begin stuff belonging at the end    ##########