standalone-reset: set BUILD_LVEXTEND_MAX to 50 (50G) by default

make-flight: honour BUILD_LVEXTEND_MAX env var to set build_lvextend_max

ts-xen-build-prep: honour build_lvextend_max runvar

ts-xen-build-prep: break out gb2pe

ts-xen-build-prep: make pe_size global

cr-daily-branch: use "linux-arm-xen" for arm tests unless this is a linux branch

crontab etc.: fix Ian Campbell's email address

crontab etc.: email Ian Campbell too

make-flight et al: support linux-arm-xen

make-flight: get tree location for tested/ right

make-flight: in 4.2 and later, use xl for pair tests

cr-publish-flight-logs: do not push harness by default, only when invoked by cr* scripts

Debian: correct ARM u-boot boot runes

We currently need a comptible node of "xen,multiboot-module" as well as the
specific type. Also make sure the /chosen node specifies the number of address
and size-cells we will be using in the modules, otherwise Xen cannot parse
them.

Load Xen a bit higher up and use a variable so we don't need to update two
places.

Log some stuff as we go as well, so we can tell what was going on more easily.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

Merge branch 'pretest' of /export/home/osstest/testing.git/ into wip

mg-hosts: replace copy command with create-like

ts-kernel-build: Honour the homedir property

Untested but following ts-xen-build.

ts-xen-build: enable xend at configure time if necessary

Merge branch 'calxeda-midway-v4' of git://xenbits.xen.org/people/ianc/osstest into wip

PDU: Refactor magic IPMI commands from xenuse module

These are now in a separate ipmiextra module. The correct PowerMethod config
for a marilith machine is:
    ipmiextra on admin admin chassis bootdev pxe;xenuse

make-flight: Be more explicit about xen/dom0 combinations to test

In particular avoid amd64/armhf combo.

mg-execute-flight: need cri-getconfig

ap-common, make-flight: use linux base branch by default

In ap-common, when defaulting TREE_LINUX, set DEFAULT_REVISION_LINUX
to the default base branch.  In make-flight, use this to default
REVISION_LINUX if nothing has set it yet.

sg-report-flight: provide --html-dir arg to sg-report-flight

Debian.pm: Fix thinko

ts-xen-build: Warn strongly against using early printk

ts-xen-install: fix installation of libyajl[12]

qw doesn't interpolate so it was trying to install $yajl, which was eaten by
the shell on the target.

Also flip the condition round and install yajl1 on squeeze and yajl2
otherwise, which is a little more future proof.

PDU::xenuse: Make use of ipmpi 'chassis bootdev pxe' conditional on a flag

README: Document Build_Make_Flags

Massage spaces in host proprties into underscores.

'-' is intended to bind more tightly than ' '.

Debian.pm: Restrict installation on u-boot-tools

Squeeze doesn't have this package, so only install it on platforms which need
a u-boot boot.scr, which necessarily must be using Wheezy.

Debian.pm: Unconfuse emacs perl-mode

ts-xen-install: setup xen on arm platforms

Support for generating a u-boot boot.scr which loads Xen

Support per-host xen console settings.

TestSupport: Do not clobber existing symlinks when unttarring

Otherwise Wheezy's /var/run -> /run symlink gets nuked, breaking sshd:
fatal: Missing privilege separation directory: /var/run/sshd
because the directory is actually in /run/sshd

Rename SerialConsole property to LinuxSerialConsole

The naming is OS specific.

ts-xen-build: allow per-host CONFIG_EARLY_PRINTK

This relies on the build and install machines being the same so in practice is
only likely to be useful for standalone use of osstest.

ts-xen-install: correctly determine want_kernver and actually pass it

ts-kernel-build: Ensure CONFIG_SYSVIPC and CONFIG_BLK_DEV_LOOP are enabled

osstest-confirm-booted: Fix for Wheezy

Under Wheezy /dev/sym is a symlink to /run/shm which is where the tmpfs is
mounted.

ts-logs-capture: retry log capture after doing power cycle

Do not require /sbin/bootlogd to be installed.

ap-*: linux linux 3.4.y stable branch by default

ts-kernel-build: Ensure that LVM is enabled

LVM is not in the ARM defconfig.

Merge branch 'wip.for-ijc' of xenbits.xen.org:/home/iwj/ext/osstest

Adds kernel_ver runvar from build jobs.

Debian: Remove ARM naming quirk.

The machines had DNS entries for each network port as FOO-p0 and -p1, with FOO
being an alias. This meant Debian installer picked up the -p0 name for the
volume group. DNS has been fixed so that the primary host name omits the -p0
suffix and therefore matches e.g. the xenuse and osstest naming.

ts-xen-build: Installed binary is /boot/xen on ARM

Debian: Abstract away bootloader configuration refresh (update-grub)

cs-adjust-flight: fix bug with copying individual jobs

Debian: fix typo in setupboot_grub2

Debian: provide kernel version check for grub2, die for grub1

Debian: plumb $want_kernver through in debian_boot_setup

ts-kernel-build: store kernel_ver runvar

ts-kernel-build: workaround for perl-mode quirk

ts-xen-install: wheezy has libyajl2 not 1

ts-kernel-build: adjust for armhf

Requires per-arch defconfig and kernel image settings.

Add a kernel build phase to make-flight.

standalone-reset: Read standalone.config on start

So it can contains e.g.:
export TREE_XEN=/root/git/xen.git
export TREE_LINUX=/root/git/linux-stable.git
export REVISION_LINUX=6e4664525b1db28f8c4e1130957f70a94c19213e # v3.11
export TREE_LINUXFIRMWARE=/root/git/linux-firmware.git

TestSupport: Massage host props with space in them

So that e.g. "build make flags" can be written in .xen-osstest/config as
HostProp_<HOST>_BuildMakeFlags.

Debian: install ntp and ntpdate

The Calxeda boxes don't have an RTC so they boot up at the epoch, which can
lead to clock skew warnings etc.

PDU: support for xenuse controlled machines

xenuse is a Citrix internal utility for rebooting machines and accessing their
consoles etc. So this is more of a proof of concept for folks outside our
infrastructure.

make-flight: make an armhf flight

Debian: New host flag "no-di-kernel"

This squashes the installers messages about not being able to find kernel
module udebs in the archive for the kernel running the installer. This will
likely be the case if the need-kernel-deb-foo flag is used (perhaps this
functionality could be keyed off this instead?)

Debian: New host flag need-uboot-bootstr

At the moment this only generates the necessary script for a Calxeda Midway
system. It will no doubt need to be made cleverer in the future...

u-boot-tools are installed unconditionally, they are harmless unless you
explicitly invoke one of them

Debian: Honour need-kernel-deb- flag in the installed system too

ts-host-install: Add need-kernel-deb host flag

This can be used to request a specific kernel binary and initrd overlay (for
modules). These are already collected and created by
mg-debian-installer-update for the armhf "armmp" flavour.

ts-host-install: Support for different console devices

Subsumes NoSerial host property as well.

mg-debian-installer-update: support armhf

The path to the installer differs on armhf vs amd64/i386.

Debian Wheezy does not contain kernels for the devices we want to support.
Therefore we download a kernel and modules from wheezy-backports which is new
enough.

standalone-reset: configure for armhf too

Allow hyphen in host names when parsing properties

The Calxeda midway nodes are e.g. marilith-n4 marilith-n5.

ts-xen-install: pass dom0_mem=512M,max:512M (including max: spec.)

README: Point to current test report mail

The existing URL points to an unrelated patch, no doubt due to the accidental
renumbering of the archives at one point.

ap-*: use linux 3.10.y stable branch by default

Also: no longer test "linux" branch (Jeremy's tree)

ap-qemu-revision: fix for switch to git
no idea why this has been working...

cr-for-branches: branched 4.3

mg-clear-git-caches: add an overall DONE message

mg-clear-git-caches: make parallel

mg-clear-git-caches: use mg-allocate -U

invoke-daemon: set config

Merge branch 'incoming' of /export/home/osstest/testing

ts-kernel-build: enable CONFIG_HYPERVISOR_GUEST, needed for newer kernels

cs-bisection-step: invoke adhoc-revtuple-generator with the right revision range

cs-bisection-step: separate out $revrune, nfc

ts-xen-install: support xen-commandline-append host property

Merge branch 'wip.linuxfirmware' into incoming

linuxfirmware: set tree= in ap-common

Merge branch 'pretest' of /export/home/osstest/testing.git/ into wip

ts-logs-capture: provide xenctx with an appropriate -s argument

mg-show-flight-runvars: improvemenets, -a mode

cs-adjust-flight: bugfixes and improvements

ts-kernel-build: set CONFIG_DEVTMPFS

linuxfirmware: support ap-* properly

linuxfirmware: install it along with pvops kernels

TestSupport built_stash: increase timeout to 10 mins since we have had a spurious failure with 5 mins

ms-planner: apply showsharetype to unshares

ms-planner: break out showsharetype

ms-planner: abbreviate very long words at end of sharetype (probably commit ids)

Executive: sort out includes etc. for tcl daemons

Executive: sort out includes for ms-planner

cs-adjust-flight: allow creation

cs-adjust-flight: new change branch

cs-adjust-flight: new change intended-blessing

mg-hosts: new op setflagexpr