ts-freebsd-install: remove unused $xl setting

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

sg-run-job: prototype test-freebsd recipe

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

ts-freebsd-install: sort out image handling by using target_put_guest_image, and use job-specific local filenames

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

TestSupport: break out target_put_guest_image

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

ts-freebsd-install: split big setup command into three chunks

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-freebsd-install: say set -ex at appropriate point

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-*: make all target_cmd[_root] set -e (or +e)

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-freebsd-install: fix mode to be +x

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

make-flight: freebsd jobs

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-freebsd-install: honour <guest>_image runvar

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-freebsd-install: Style fixes

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

ts-freebsd-install: add FreeBSD PVHVM installer

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Cc: Ian Jackson <Ian.Jackson@eu.citrix.com>
Cc: Ian Campbell <ian.campbell@citrix.com>

more_prepareguest_hvm: honour xopt NoCdromImage

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-kernel-build: add UFS rw support to pvops kernel

This is needed in order to mount and modify the FreeBSD VM images.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Cc: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

Merge branch 'master' of ssh://woking/export/home/osstest/testing.git/ into pretest

Make libfdt available at build and runtime.

This library is only available from Wheezy onwards and is only used by ARM.
Since ARM tests require Wheezy just install on Wheezy onwards. The presence of
this library would be harmless if x86 were using Wheezy (but it currently uses
Squeeze so is totally unaffected)

cr-cleanup-tmps: actually do stuff properly

cr-cleanup-tmps: actually do stuff

cr-cleanup-tmps: new script

Revert "allow.all: ignore all arm regressions"

This reverts commit 861e49338c95cea94d2ecee6bfac4075be2a37df.

allow.all: ignore all arm regressions

git caching: abolish cacheing-git, and replace with use of chiark-utils git-cache-proxy

README: Document the RebootTimeExtra host property

Signed-off-by: Dario Faggioli <dario.faggioli@citrix.com>

ts-kernel-build: Enable MegaRAID SAS support

when building linux, by adding the proper setopt
in $config_hardware in.

This is required for having the ultralisk big box
in the Cambridge office to properly boot.

Signed-off-by: Dario Faggioli <dario.faggioli@citrix.com>

production-config: reduce min log expire age from 7d to 4d :-(

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

mg-debian-installer-update: restrict armhf to Wheezy+

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

standalone-reset: fix check for existing d-i and creation of symlink

We need to check for "$diver-$suite" not just "$diver" now

Also when creating the current symlink only do so if
mg-debian-installer-update did something, since it will now silently ignore
unavailable combinations (e.g. armhf on Squeeze)

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-xen-build: make collection on xen-syms optional

Fixes things on i386 for branches which no longer build an i386 hypervisor.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU/xenuse: Support xenuse on machine not locked by current user

xenuse checks that whoever is trying to reboot a machine "owns" that machine
via a locking mechanism. This is usually fine doesn't work well when one wants
to book a machine out of the osstest pool for adhoc testing. In this case
machine ownership is maintained by osstest ahd the machine remains locked to
osstest as far as xenuse is concerned.

Therefore add a global configuration option and perhost override to override
$USER (which xenuse obeys) to osstest.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

Stash debug symbols for build results

Specifically xen-syms (<1M compressed) and the vmlinux (~13M compressed) files.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

TestSupport: Add interface to compress stash files

Use it in ts-logs-capture

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-kernel-build: Enable CONFIG_DEBUG_INFO_REDUCED

This makes the resulting vmlinux file with debug symbols much more manageable
without compromising the usefulness for converting addresses into line numbers
etc.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

Debian: Allow per-host additional u-boot script commands

On marilith boxes an appropriate setting is:

HostProp_marilith-n4_UBootScriptEarlyCommands fdt set /soc/ethernet@fff50000 dma-coherent;fdt set /soc/ethernet@fff51000 dma-coherent

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

arm boot fixes and improvements

Correct prototype for setupboot_uboot.

Add some additional logging to the u-boot script creation process as well as
the resulting script, to aid debugging

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

standalone-reset: Add -$suite to current symlink

Required after ef3a6f2162ce "Add -$suite suffix to TftpDiVersion in code"

Written by: Ian Campbell <Ian.Campbell@eu.citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

cs-adjust-flight, mg-show-flight-runvars: support standalone mode (keying off whether the flight is a pure number)

mg-hosts: manual-task-create option

Executive: properly rewind allocations in all cases of queue-server trouble; also improve unwinding message

Executive: alloc_resources resourcecall must return 0 or 1 as recognised in 34ac49df0a45; in fact everything does; remove all references to $ok=2

mg-blockage: new tool

ts-debian-install: pass 'Mb' as memory / swap size

The original code passed 'M' to memory which triggers Debian bug #691320
in Wheezy.

Passing 'Mb' should work both for Squeeze and Wheezy.

Also pass 'Mb' to swap size for consistency.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

ts-debian-fixup: remove dead code

Per c7910040 ("Osstest.pm, toolstack()->; always use "cfg", not separate
xl configs"), we only pick the config file with .cfg suffix.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

Debian: install libc6-dev-i386 for Wheezy amd64

Wheezy introduces multilib, which makes i386 headers not available on
amd64 by default.

We need to install libc6-dev-i386, otherwise the test code for 32bit
instruction decoder/emulator fails.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

README: describe job dependence

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

README: add curl and netcat to requirement list

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

Serial/http: use mkdtemp instead of File::Temp->newdir

The latter is not available in Squeeze's File::Temp.

Serial: new module to send debug keys via xenuse

No log retreival here, that is handled via a separate conserver.

Serial: collect serial logs from an http server

This relies on wget and httpd colluding to set the mtimes on the downloaded
files, which works with at least the one server I care about (the apache on
the conserver handling the marilith boxes)

Serial: Refactor debug key sending into separate request_debug function

This puts the list of keys to send into common code.

TestSupport: allow multiple host serial methods

Standalone: Collect logs modified in the last hour

On failure, when the console may have been silent for a considerable time, 1s is not long enough ago.

Debian: set FANCYTTY=0 so serial logs aren't full of escape chars on Wheezy

TestSupport: fix warning about cacheing_git when !no-reinstall

ts-leak-check: Allow /var/run/xm-deprecation-long-warning

This replaces /tmp/xm-deprecation-long-warning but we are a bit stuck with the
former for bisection purposes.

ts-xen-install: only update xend config if the toolstack is xend

On ARM xend is not installed.

ipmiextra: Allow explicit specification of the IPMI mgmt hostname

Mention openipmi as an optional dependency in the README.

make-flight: further reduce unwanted combinations

Drop armhf build and test jobs from tests of branches:
  - qemu-upstream-unstable
  - qemu-upstream-4.2-testing
  - qemu-upstream-4.3-testing
  - linux-3.10
  - linux-3.4

In principal these are harmless but in practice they are stretching our
available armhf build resources very thin. In addition spurious armhf failures
now won't affect these branches.

Drop non-armhf arch builds and tests from linux-arm-xen.

TestSupport: enable cacheing git on no-reinstall hosts

Host must be manually configured to have the cacheing-git script installed as
$ho-{Homedir}/bin/git and to mount the hosts git cache directory on
/volatile/git-cache.

make-flight: correct use of $xenbranch

This variable has the form xen-X.Y-testing or xen-unstable, not just unstable
or X.Y.

The affect of this change is to:

  - Drop from 4.2 and earlier:
    - build-armhf
    - build-armhf-pvops

  - Drop from 4.1 and earlier:
    - test-i386-i386-xl-qemuu-winxpsp3
    - test-amd64-amd64-xl-qemuu-win7-amd64
    - test-amd64-amd64-xl-qemuu-winxpsp3
    - test-amd64-i386-qemuu-rhel6hvm-amd
    - test-amd64-i386-qemuu-rhel6hvm-intel
    - test-i386-i386-xl-qemuu-winxpsp3

  - Drop the runvars associated with all the above

  - On 4.1 and sooner:
    - Switch test-*-*-pair toolstack runvar from xl to xend.

production-config: Newer DI bits which includes armhf-wheezy

Add -$suite suffix to TftpDiVersion in code

The suite differs by $arch but the config file arrangements only allow for a
single TftpDiVersion setting.

xenuse: Configurable path to xenuse

ts-xen-build: only enable xend for x86 builds

ts-leak-check: suppress xm deprecation warning stampfile

make-flight: configure host_suite=wheezy runvar for armhf runs

Otherwise: http://www.chiark.greenend.org.uk/~xensrcts/logs/19744/build-armhf/3.ts-xen-build-prep.log:

2013-09-19 11:09:37 Z host: selected army <unknown-ether> 10.80.246.74 - shared build-wheezy-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 prep 1
resource host army shared build-wheezy-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 not build-squeeze-armhf 0073b3e489cf150d3f1c4eb3f3a4f942197f0932 at Osstest/Executive.pm line 608.

+ rc=255

Merge branch 'for-ianc' of git://xenbits.xen.org/people/liuw/osstest

make-flight: Set a per-suite host flag on each job

For armhf tests we hardcode wheezy while for everything else we continue to use
the default (currently squeeze). This can be removed once osstest moves to
Wheezy as the default.

Debian: more corrections to arm u-boot runes.

We should not pass an initrd to the bootz command -- this is in a boot module

Log what we are loading, as we load it, to aid debugging.

ts-xen-build-prep: actually honour build_lvextend_max

ts-xen-build-prep: install bc

cr-daily-branch, make-flight: use ${...:-...} not ${...-...}, to treat empty values the same as unset; fixes regression

standalone-reset: set BUILD_LVEXTEND_MAX to 50 (50G) by default

make-flight: honour BUILD_LVEXTEND_MAX env var to set build_lvextend_max

ts-xen-build-prep: honour build_lvextend_max runvar

ts-xen-build-prep: break out gb2pe

ts-xen-build-prep: make pe_size global

cr-daily-branch: use "linux-arm-xen" for arm tests unless this is a linux branch

crontab etc.: fix Ian Campbell's email address

crontab etc.: email Ian Campbell too

make-flight et al: support linux-arm-xen

make-flight: get tree location for tested/ right

make-flight: in 4.2 and later, use xl for pair tests

cr-publish-flight-logs: do not push harness by default, only when invoked by cr* scripts

Debian: correct ARM u-boot boot runes

We currently need a comptible node of "xen,multiboot-module" as well as the
specific type. Also make sure the /chosen node specifies the number of address
and size-cells we will be using in the modules, otherwise Xen cannot parse
them.

Load Xen a bit higher up and use a variable so we don't need to update two
places.

Log some stuff as we go as well, so we can tell what was going on more easily.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

Merge branch 'pretest' of /export/home/osstest/testing.git/ into wip

mg-hosts: replace copy command with create-like

ts-kernel-build: Honour the homedir property

Untested but following ts-xen-build.

ts-xen-build: enable xend at configure time if necessary

Merge branch 'calxeda-midway-v4' of git://xenbits.xen.org/people/ianc/osstest into wip

PDU: Refactor magic IPMI commands from xenuse module

These are now in a separate ipmiextra module. The correct PowerMethod config
for a marilith machine is:
    ipmiextra on admin admin chassis bootdev pxe;xenuse

make-flight: Be more explicit about xen/dom0 combinations to test

In particular avoid amd64/armhf combo.

mg-execute-flight: need cri-getconfig

ap-common, make-flight: use linux base branch by default

In ap-common, when defaulting TREE_LINUX, set DEFAULT_REVISION_LINUX
to the default base branch.  In make-flight, use this to default
REVISION_LINUX if nothing has set it yet.

sg-report-flight: provide --html-dir arg to sg-report-flight

Debian.pm: Fix thinko

ts-xen-build: Warn strongly against using early printk

ts-xen-install: fix installation of libyajl[12]

qw doesn't interpolate so it was trying to install $yajl, which was eaten by
the shell on the target.

Also flip the condition round and install yajl1 on squeeze and yajl2
otherwise, which is a little more future proof.

PDU::xenuse: Make use of ipmpi 'chassis bootdev pxe' conditional on a flag

README: Document Build_Make_Flags

Massage spaces in host proprties into underscores.

'-' is intended to bind more tightly than ' '.