cs-adjust-flight, mg-show-flight-runvars: support standalone mode (keying off whether the flight is a pure number)

mg-hosts: manual-task-create option

Executive: properly rewind allocations in all cases of queue-server trouble; also improve unwinding message

Executive: alloc_resources resourcecall must return 0 or 1 as recognised in 34ac49df0a45; in fact everything does; remove all references to $ok=2

mg-blockage: new tool

ts-debian-install: pass 'Mb' as memory / swap size

The original code passed 'M' to memory which triggers Debian bug #691320
in Wheezy.

Passing 'Mb' should work both for Squeeze and Wheezy.

Also pass 'Mb' to swap size for consistency.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

ts-debian-fixup: remove dead code

Per c7910040 ("Osstest.pm, toolstack()->; always use "cfg", not separate
xl configs"), we only pick the config file with .cfg suffix.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

Debian: install libc6-dev-i386 for Wheezy amd64

Wheezy introduces multilib, which makes i386 headers not available on
amd64 by default.

We need to install libc6-dev-i386, otherwise the test code for 32bit
instruction decoder/emulator fails.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

README: describe job dependence

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

README: add curl and netcat to requirement list

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

Serial/http: use mkdtemp instead of File::Temp->newdir

The latter is not available in Squeeze's File::Temp.

Serial: new module to send debug keys via xenuse

No log retreival here, that is handled via a separate conserver.

Serial: collect serial logs from an http server

This relies on wget and httpd colluding to set the mtimes on the downloaded
files, which works with at least the one server I care about (the apache on
the conserver handling the marilith boxes)

Serial: Refactor debug key sending into separate request_debug function

This puts the list of keys to send into common code.

TestSupport: allow multiple host serial methods

Standalone: Collect logs modified in the last hour

On failure, when the console may have been silent for a considerable time, 1s is not long enough ago.

Debian: set FANCYTTY=0 so serial logs aren't full of escape chars on Wheezy

TestSupport: fix warning about cacheing_git when !no-reinstall

ts-leak-check: Allow /var/run/xm-deprecation-long-warning

This replaces /tmp/xm-deprecation-long-warning but we are a bit stuck with the
former for bisection purposes.

ts-xen-install: only update xend config if the toolstack is xend

On ARM xend is not installed.

ipmiextra: Allow explicit specification of the IPMI mgmt hostname

Mention openipmi as an optional dependency in the README.

make-flight: further reduce unwanted combinations

Drop armhf build and test jobs from tests of branches:
  - qemu-upstream-unstable
  - qemu-upstream-4.2-testing
  - qemu-upstream-4.3-testing
  - linux-3.10
  - linux-3.4

In principal these are harmless but in practice they are stretching our
available armhf build resources very thin. In addition spurious armhf failures
now won't affect these branches.

Drop non-armhf arch builds and tests from linux-arm-xen.

TestSupport: enable cacheing git on no-reinstall hosts

Host must be manually configured to have the cacheing-git script installed as
$ho-{Homedir}/bin/git and to mount the hosts git cache directory on
/volatile/git-cache.

make-flight: correct use of $xenbranch

This variable has the form xen-X.Y-testing or xen-unstable, not just unstable
or X.Y.

The affect of this change is to:

  - Drop from 4.2 and earlier:
    - build-armhf
    - build-armhf-pvops

  - Drop from 4.1 and earlier:
    - test-i386-i386-xl-qemuu-winxpsp3
    - test-amd64-amd64-xl-qemuu-win7-amd64
    - test-amd64-amd64-xl-qemuu-winxpsp3
    - test-amd64-i386-qemuu-rhel6hvm-amd
    - test-amd64-i386-qemuu-rhel6hvm-intel
    - test-i386-i386-xl-qemuu-winxpsp3

  - Drop the runvars associated with all the above

  - On 4.1 and sooner:
    - Switch test-*-*-pair toolstack runvar from xl to xend.

production-config: Newer DI bits which includes armhf-wheezy

Add -$suite suffix to TftpDiVersion in code

The suite differs by $arch but the config file arrangements only allow for a
single TftpDiVersion setting.

xenuse: Configurable path to xenuse

ts-xen-build: only enable xend for x86 builds

ts-leak-check: suppress xm deprecation warning stampfile

make-flight: configure host_suite=wheezy runvar for armhf runs

Otherwise: http://www.chiark.greenend.org.uk/~xensrcts/logs/19744/build-armhf/3.ts-xen-build-prep.log:

2013-09-19 11:09:37 Z host: selected army <unknown-ether> 10.80.246.74 - shared build-wheezy-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 prep 1
resource host army shared build-wheezy-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 not build-squeeze-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 at Osstest/Executive.pm line 608.

+ rc=255

Merge branch 'for-ianc' of git://xenbits.xen.org/people/liuw/osstest

make-flight: Set a per-suite host flag on each job

For armhf tests we hardcode wheezy while for everything else we continue to use
the default (currently squeeze). This can be removed once osstest moves to
Wheezy as the default.

Debian: more corrections to arm u-boot runes.

We should not pass an initrd to the bootz command -- this is in a boot module

Log what we are loading, as we load it, to aid debugging.

ts-xen-build-prep: actually honour build_lvextend_max

ts-xen-build-prep: install bc

cr-daily-branch, make-flight: use ${...:-...} not ${...-...}, to treat empty values the same as unset; fixes regression

standalone-reset: set BUILD_LVEXTEND_MAX to 50 (50G) by default

make-flight: honour BUILD_LVEXTEND_MAX env var to set build_lvextend_max

ts-xen-build-prep: honour build_lvextend_max runvar

ts-xen-build-prep: break out gb2pe

ts-xen-build-prep: make pe_size global

cr-daily-branch: use "linux-arm-xen" for arm tests unless this is a linux branch

crontab etc.: fix Ian Campbell's email address

crontab etc.: email Ian Campbell too

make-flight et al: support linux-arm-xen

make-flight: get tree location for tested/ right

make-flight: in 4.2 and later, use xl for pair tests

cr-publish-flight-logs: do not push harness by default, only when invoked by cr* scripts

Debian: correct ARM u-boot boot runes

We currently need a comptible node of "xen,multiboot-module" as well as the
specific type. Also make sure the /chosen node specifies the number of address
and size-cells we will be using in the modules, otherwise Xen cannot parse
them.

Load Xen a bit higher up and use a variable so we don't need to update two
places.

Log some stuff as we go as well, so we can tell what was going on more easily.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

Merge branch 'pretest' of /export/home/osstest/testing.git/ into wip

mg-hosts: replace copy command with create-like

ts-kernel-build: Honour the homedir property

Untested but following ts-xen-build.

ts-xen-build: enable xend at configure time if necessary

Merge branch 'calxeda-midway-v4' of git://xenbits.xen.org/people/ianc/osstest into wip

PDU: Refactor magic IPMI commands from xenuse module

These are now in a separate ipmiextra module. The correct PowerMethod config
for a marilith machine is:
    ipmiextra on admin admin chassis bootdev pxe;xenuse

make-flight: Be more explicit about xen/dom0 combinations to test

In particular avoid amd64/armhf combo.

mg-execute-flight: need cri-getconfig

ap-common, make-flight: use linux base branch by default

In ap-common, when defaulting TREE_LINUX, set DEFAULT_REVISION_LINUX
to the default base branch.  In make-flight, use this to default
REVISION_LINUX if nothing has set it yet.

sg-report-flight: provide --html-dir arg to sg-report-flight

Debian.pm: Fix thinko

ts-xen-build: Warn strongly against using early printk

ts-xen-install: fix installation of libyajl[12]

qw doesn't interpolate so it was trying to install $yajl, which was eaten by
the shell on the target.

Also flip the condition round and install yajl1 on squeeze and yajl2
otherwise, which is a little more future proof.

PDU::xenuse: Make use of ipmpi 'chassis bootdev pxe' conditional on a flag

README: Document Build_Make_Flags

Massage spaces in host proprties into underscores.

'-' is intended to bind more tightly than ' '.

Debian.pm: Restrict installation on u-boot-tools

Squeeze doesn't have this package, so only install it on platforms which need
a u-boot boot.scr, which necessarily must be using Wheezy.

Debian.pm: Unconfuse emacs perl-mode

ts-xen-install: setup xen on arm platforms

Support for generating a u-boot boot.scr which loads Xen

Support per-host xen console settings.

TestSupport: Do not clobber existing symlinks when unttarring

Otherwise Wheezy's /var/run -> /run symlink gets nuked, breaking sshd:
fatal: Missing privilege separation directory: /var/run/sshd
because the directory is actually in /run/sshd

Rename SerialConsole property to LinuxSerialConsole

The naming is OS specific.

ts-xen-build: allow per-host CONFIG_EARLY_PRINTK

This relies on the build and install machines being the same so in practice is
only likely to be useful for standalone use of osstest.

ts-xen-install: correctly determine want_kernver and actually pass it

ts-kernel-build: Ensure CONFIG_SYSVIPC and CONFIG_BLK_DEV_LOOP are enabled

osstest-confirm-booted: Fix for Wheezy

Under Wheezy /dev/sym is a symlink to /run/shm which is where the tmpfs is
mounted.

ts-logs-capture: retry log capture after doing power cycle

Do not require /sbin/bootlogd to be installed.

ap-*: linux linux 3.4.y stable branch by default

ts-kernel-build: Ensure that LVM is enabled

LVM is not in the ARM defconfig.

Merge branch 'wip.for-ijc' of xenbits.xen.org:/home/iwj/ext/osstest

Adds kernel_ver runvar from build jobs.

Debian: Remove ARM naming quirk.

The machines had DNS entries for each network port as FOO-p0 and -p1, with FOO
being an alias. This meant Debian installer picked up the -p0 name for the
volume group. DNS has been fixed so that the primary host name omits the -p0
suffix and therefore matches e.g. the xenuse and osstest naming.

ts-xen-build: Installed binary is /boot/xen on ARM

Debian: Abstract away bootloader configuration refresh (update-grub)

cs-adjust-flight: fix bug with copying individual jobs

Debian: fix typo in setupboot_grub2

Debian: provide kernel version check for grub2, die for grub1

Debian: plumb $want_kernver through in debian_boot_setup

ts-kernel-build: store kernel_ver runvar

ts-kernel-build: workaround for perl-mode quirk

ts-xen-install: wheezy has libyajl2 not 1

ts-kernel-build: adjust for armhf

Requires per-arch defconfig and kernel image settings.

Add a kernel build phase to make-flight.

standalone-reset: Read standalone.config on start

So it can contains e.g.:
export TREE_XEN=/root/git/xen.git
export TREE_LINUX=/root/git/linux-stable.git
export REVISION_LINUX=6e4664525b1db28f8c4e1130957f70a94c19213e # v3.11
export TREE_LINUXFIRMWARE=/root/git/linux-firmware.git

TestSupport: Massage host props with space in them

So that e.g. "build make flags" can be written in .xen-osstest/config as
HostProp_<HOST>_BuildMakeFlags.

Debian: install ntp and ntpdate

The Calxeda boxes don't have an RTC so they boot up at the epoch, which can
lead to clock skew warnings etc.

PDU: support for xenuse controlled machines

xenuse is a Citrix internal utility for rebooting machines and accessing their
consoles etc. So this is more of a proof of concept for folks outside our
infrastructure.

make-flight: make an armhf flight

Debian: New host flag "no-di-kernel"

This squashes the installers messages about not being able to find kernel
module udebs in the archive for the kernel running the installer. This will
likely be the case if the need-kernel-deb-foo flag is used (perhaps this
functionality could be keyed off this instead?)

Debian: New host flag need-uboot-bootstr

At the moment this only generates the necessary script for a Calxeda Midway
system. It will no doubt need to be made cleverer in the future...

u-boot-tools are installed unconditionally, they are harmless unless you
explicitly invoke one of them

Debian: Honour need-kernel-deb- flag in the installed system too

ts-host-install: Add need-kernel-deb host flag

This can be used to request a specific kernel binary and initrd overlay (for
modules). These are already collected and created by
mg-debian-installer-update for the armhf "armmp" flavour.

ts-host-install: Support for different console devices

Subsumes NoSerial host property as well.