new snapshot, url update
[mediawiki-setup] / mw-setup-script
index 7aca959fb344d62421125abdb9cefd5b0a405647..62701d50e11a355076aaa286f4451b3c38f600f8 100755 (executable)
@@ -2,9 +2,6 @@
 # Copyright (C) 2016 Ian Kelling
 # This program is under GPL v. 3 or later, see <http://www.gnu.org/licenses/>
 # <source lang="bash">
-# for convenience, Mediawiki config file
-mwc="$mw/LocalSettings.php"
-
 # identify if this is a debian based distro
 isdeb() { command -v apt &>/dev/null; }
 # tee unique. append each stdin line if it does not exist in the file
@@ -17,57 +14,57 @@ teeu () {
 }
 
 # get and reset an extension/skin repository, and enable it
-mw-ext () { mw-extra extensions $@; }
-mw-skin() { mw-extra skins $@; }
+mw-clone() {
+    local url=$1
+    local original_pwd="$PWD"
+    local name
+    local re='[^/]*/[^/]*$'
+    [[ $url =~ $re ]] ||:
+    target=$mw/${BASH_REMATCH[0]}
+    if [[ ! -e $target/.git ]]; then
+        git clone $url $target
+    fi
+    if ! cd $target; then
+        echo "mw-ext error: failed cd $target";
+        exit 1
+    fi
+    git fetch
+    git checkout -qf origin/$mw_branch || git checkout -qf origin/master
+    git clean -xffd
+    cd "$original_pwd"
 
-mw-extra() {
-    local type=$1 # extension or skin
-    shift
+}
+mw-ext () {
     local ext
     for ext in "$@"; do
-        local original_pwd="$PWD"
-        # it's ok that this fails if we already have it
-        url=https://git.wikimedia.org/git/mediawiki
-        target=$mw/$type/$ext
-        if [[ ! -e $target/.git ]]; then
-            git clone $url/$type/$ext.git $target
-        fi
-        if ! cd $target; then
-            echo "mw-ext error: failed cd $mw/extensions/$ext";
-            exit 1
-        fi
-        git fetch
-        git checkout -qf origin/$mw_branch || git checkout -qf origin/master
-        git clean -xffd
-        cd "$original_pwd"
-        case $type in
-            extensions)
-                if [[ -e $target/extension.json ]]; then
-                    # new style extension. remove old style declaration
-                    sed -i '#^require_once( "\\\$IP/extensions/\$ext/\$ext\.php" );#d' $mwc
-                    teeu $mwc <<EOF
+        mw-clone https://gerrit.wikimedia.org/r/p/mediawiki/extensions/$ext
+        if [[ -e $mw/ext/$ext/extension.json ]]; then
+            # new style extension. remove old style declaration
+            sed -i --follow-symlinks '#^require_once( "\\\$IP/extensions/\$ext/\$ext\.php" );#d' $mwc
+            teeu $mwc <<EOF
 wfLoadExtension( '$ext' );
 EOF
-                else
-                    teeu $mwc <<EOF
+        else
+            teeu $mwc <<EOF
 require_once( "\$IP/extensions/$ext/$ext.php" );
 EOF
-                fi
-                ;;
-            skins)
-                sed -i '/^wfLoadSkin/d' $mwc
-                sed -i '/^\$wgDefaultSkin/d' $mwc
-                teeu $mwc <<EOF
-\$wgDefaultSkin = "${ext,,*}";
-wfLoadSkin( '$ext' );
-EOF
-                ;;
-        esac
+        fi
     done
     # --quick is quicker than default flags,
     # but still add a sleep to make sure everything works right
     sudo -u $apache_user php $mw/maintenance/update.php -q --quick; sleep 1
 }
+mw-skin() {
+    local skin=$1
+    mw-clone https://gerrit.wikimedia.org/r/p/mediawiki/skins/$skin
+    sed -i --follow-symlinks '/^wfLoadSkin/d' $mwc
+    sed -i --follow-symlinks '/^\$wgDefaultSkin/d' $mwc
+    teeu $mwc <<EOF
+\$wgDefaultSkin = "${skin,,*}";
+wfLoadSkin( '$skin' );
+EOF
+    sudo -u $apache_user php $mw/maintenance/update.php -q --quick; sleep 1
+}
 
 if command -v apt &>/dev/null; then
     apache_user=www-data
@@ -90,21 +87,23 @@ if isdeb; then
     # main reference:
     # https://www.mediawiki.org/wiki/Manual:Running_MediaWiki_on_Ubuntu
     apt-get update
-    apt-get install -y ImageMagick
+    apt-get install -y imagemagick
     if apt-get install -s mediawiki &>/dev/null; then
         # in debian wheezy time-frame distros, mediawiki was packaged.
-        apt-get -y install php-apc mediawiki
+        apt-get -y install php-apc mediawiki php-mbstring
     else
         # https://www.mediawiki.org/wiki/Manual:Installation_requirements
         if apt-get install -s php7.0 &>/dev/null; then
             # note, 7.0 is untested by the editor here, since it's not
             # available in debian 8. it's listed as supported
             # in the mediawiki page.
-            # noninteractive to avoid mysql password prompt
+            # noninteractive to avoid mysql password prompt.
             DEBIAN_FRONTEND=noninteractive apt-get install -y apache2 mysql-server \
                            php7.0 php7.0-mysql libapache2-mod-php7.0 php7.0-xml \
-                           php7.0-apcu
+                           php7.0-apcu php7.0-mbstring
         else
+            # note: mbstring is recommended, but it's not available for php5 in
+            # debian jessie.
             DEBIAN_FRONTEND=noninteractive apt-get install -y apache2 mysql-server \
                            php5 php5-mysql libapache2-mod-php5 php5-apcu
         fi
@@ -172,25 +171,6 @@ $wgGroupPermissions['*']['edit'] = false;
 # don't allow any account creation
 $wgGroupPermissions['*']['createaccount'] = false;
 EOF
-# </source>
-# <source lang="bash">
-tmpdir="$(mktemp -d)"
-cd $tmpdir
-wget http://builds.piwik.org/piwik.zip
-if isdeb; then apt-get -y install unzip; else yum -y install unzip; fi
-unzip -q piwik.zip
-# gui installer suggested command
-if isdeb; then
-    chown -R www-data:www-data piwik
-else
-    chown -R apache:apache piwik
-fi
-# remove any existing directory
-rm -rf $mw/../analytics
-mv piwik $mw/../analytics
-cd $mw
-rm -rf $tmpdir
-
 # </source>
 # <source lang="bash">
 temp=$(mktemp -d)
@@ -200,7 +180,7 @@ git clone $git_site/acme-tiny-wrapper
 l=$mw/../../logs
 mkdir -p $l
 
-acme-tiny-wrapper/acme-tiny-wrapper $mwdomain
+acme-tiny-wrapper/acme-tiny-wrapper -t $mwdomain
 
 git clone $git_site/basic-https-conf
 { cat <<EOF
@@ -211,11 +191,13 @@ RewriteRule ^/?wiki(/.*)?\$ %{DOCUMENT_ROOT}/w/index.php [L]
 # use short urls https://www.mediawiki.org/wiki/Manual:Short_URL
 RewriteRule ^/*\$ %{DOCUMENT_ROOT}/w/index.php [L]
 EOF
-find -L $(readlink -f $mw/..) -name .htaccess \
+find -L $(readlink -f $mw) -name .htaccess \
     | while read line; do
     echo -e "<Directory ${line%/.htaccess}>\n $(< $line)\n</Directory>";
 done
 } | basic-https-conf/apache-site -r ${mw%/*} - $mwdomain
+cd
+rm -rf $temp
 # </source>
 # <source lang="bash">
 dd of=$mw/../robots.txt <<'EOF'
@@ -267,8 +249,8 @@ EOF
 # https://www.mediawiki.org/wiki/Manual:Configuring_file_uploads
 # Increase from default of 2M to 100M.
 # This will at least allow high res pics etc.
-php_ini=$(isdeb && echo /etc/php5/apache2/php.ini || echo /etc/php.ini)
-sed -i 's/^\(upload_max_filesize\|post_max_size\)\b.*/\1 = 100M/' $php_ini
+php_ini=$(php -r 'echo(php_ini_loaded_file());')
+sed -i --follow-symlinks 's/^\(upload_max_filesize\|post_max_size\)\b.*/\1 = 100M/' $php_ini
 if isdeb; then
     service apache2 restart
 else
@@ -290,7 +272,7 @@ EOF
 # Make the toolbox go into the drop down.
 cd $mw/skins/Vector
 if ! git remote show ian-kelling &>/dev/null; then
-    git remote add ian-kelling https://iankelling.org/git/Vector
+    git remote add ian-kelling https://iankelling.org/git/forks/Vector
 fi
 git fetch ian-kelling
 git checkout ian-kelling/REL1_27-toolbox-in-dropdown
@@ -314,7 +296,8 @@ if isdeb; then
     teeu $mwc <<'EOF'
 $wgExternalDiffEngine = 'wikidiff2';
 EOF
-    ln -sf ../../mods-available/wikidiff2.ini /etc/php5/apache2/conf.d
+    dir=$(dirname $(php -r 'echo(php_ini_loaded_file());'))/../apache2/conf.d
+    ln -sf ../../mods-available/wikidiff2.ini $dir
     service apache2 restart
 fi
 # </source>
@@ -332,7 +315,6 @@ else
     # todo, php5-curl equivalent on fedora
     yum -y install texlive-cjk ghostscript ImageMagick texlive ocaml
 fi
-ln -sf ../../mods-available/curl.ini /etc/php5/apache2/conf.d
 service apache2 restart
 
 cd $mw/extensions/Math/math; make # makes texvc
@@ -428,7 +410,7 @@ EOF
 fi
 # </source>
 # <source lang="bash">
-sed -i "/\\\$wgGroupPermissions\\['\\*'\\]\\['createaccount'\\] = false;/d" $mwc
+sed -i --follow-symlinks "/\\\$wgGroupPermissions\\['\\*'\\]\\['createaccount'\\] = false;/d" $mwc
 # </source>
 # <source lang="bash">
 # get repo
@@ -550,7 +532,8 @@ div#mw-content-text {
 """)
 EOF
 
-python pwb.py ${mwfamily}_setup
+# this can spam a warning, so uniq it
+python pwb.py ${mwfamily}_setup |& uniq
 # </source>
 # <source lang="bash">
 s=/etc/cron.daily/mediawiki_update
@@ -558,46 +541,22 @@ dd of=$s<<'EOF'
 #!/bin/bash
 source ~/mw_vars
 cd $mw
-git fetch --all
-git checkout origin/$mw_branch
-git rebase ian/REL1_23-toolbox-in-dropdown
-cd extensions
-for x in *; do
-    if [[ -d $x ]]; then
-        cd $x
-        git fetch --all
-        git checkout origin/$mw_branch || git checkout -qf origin/master
-        cd ..
+for dir in extensions/* skins/* $mw; do
+    [[ -d $dir ]] || continue
+    cd $dir
+    branch=$(git describe --all)
+    branch=${branch#remotes/}
+    git fetch --all -q
+    new_head=$(git rev-parse $branch)
+    log=$(git log HEAD..$new_head)
+    if [[ $log ]]; then
+        pwd
+        echo "$log"
     fi
+    git checkout -q $new_head
+    cd $mw
 done
 php $mw/maintenance/update.php -q
 EOF
-chmod +x $s
-# </source>
-# <source lang="bash">
-# based on recommendation from install page
-if ! dpkg -s php5-gd &>/dev/null; then
-    apt-get install -y php5-gd
-    service apache2 restart
-fi
 
-# docs suggests using separate database user
-mysql -u root -p$dbpass <<EOF
-GRANT ALL ON piwik.* TO 'piwik'@'localhost' IDENTIFIED BY '$piwik_pass';
-FLUSH PRIVILEGES;
-exit
-EOF
-php_ini=$(isdeb && echo /etc/php5/apache2/php.ini || echo /etc/php.ini)
-# based on the install page. however, ths option is changing with php7.0
-opt=always_populate_raw_post_data
-sed -ri "/^ *$opt\b/d;/^ *\[PHP\]/a $opt = -1" $php_ini
-service apache2 restart
-# </source>
-# <source lang="bash">
-git clone https://github.com/DaSchTour/piwik-mediawiki-extension.git $mw/extensions/Piwik
-mw-ext Piwik
-teeu $mwc <<EOF
-\$wgPiwikURL = '$mwdomain/analytics/';
-\$wgPiwikIDSite = '1';
-EOF
 # </source>