power: Use `Combined' as Name for PDU+ILOM approach

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-logs-capture: power: try ILOM first

If ILOM is provided, and the host is not responding when we try logs
capture, try the ILOM before hard power cycling the host.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: power_reboot_attempts: Honour an $approach_re

The semantics are slightly different here: not specifying it means to
try everything rather than only the hardest.  But the effect is
similar: not specifying $approach_re means we must succeed.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Rename target_reboot_force from target_reboot_hard

We are going to make this try softer methods first.

No functional change.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-host-powercycle: Use a lighter-weight method if available

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Honour approach_re in power_cycle and mg-hosts power

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Document Power* host properties and power methods

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Try rebooting hosts with ssh first

Before we try anything with IPMI (if provided) or the PDU, try
rebooting with ssh.

I think this will dramatically reduce the rate at which we power cycle
our test hosts.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Provide `ssh' power method

This is not really a power method but it can pretend to be one.  On
power off, it does nothing.  On power on it logs into the host to ask
it to do a hard reboot.

This is rather best effort, but it is eminently suitable for our new
approach/attempts arrangements because those will try another approach
if ssh didn't work.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Do not sleep between power off and power on if not needed

This is controlled by a new query method on power method objects.  If
every power method says it is instananeous then we do not sleep.

This is going to be most useful when we introduce the new SSH
approach, which should not sleep for the power off time.

But we do it for guests (ie, L1 nested hosts) too.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: New ILOM/PDU arrangements - try just IPMI

We honour two new host properties PowerPDU and PowerILOM, in
preference to PowerMethod.  The semantics are going to be properly
documented in a later patch, but, briefly:

If only one of these is supplied, it works like PowerMethod, except
that `nest' is applied by default.

If both are supplied, we make two approaches: one is just ILOM.  The
other is to use ILOM and PDU together, with pause in between, and with
try_off applied to ILOM.

The current configuration in Massachusetts is, for hosts with IPMI, to
provide a PowerMethod specifying ad hoc to use PDU and then IPMI, and
also to provide both PowerPDU and PowerILOM.

The overall result of this patch, with that configuration, is to avoid
using the PDU at all if an IPMI-requested reboot is successful.  This
should significantly reduce the number of hard power cycles for hosts
with IMPI.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Provide `try_off' pdu method; deprecate ipmi_try

We are going to want to use this magically, in our new approach.  Make
a general version, and deprecate ipmi_try (which will be obsoleted by
the new approach and which has probably not been used very much).

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: power_reboot_attempts: Try multiple approaches

Actually iterate over PowerApproaches, rather than calling power_state
with no approach selector regexp.

No overall functional change right now because nothing puts more
than one entry in PowerApproaches.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: PowerApproaches replaces $ho->{PowerMethobjs}

This new variable contains a list of different approaches to try.

* Move the meat of power_state into power_approach_invoke.
* power_state now looks for a single approach to try.
* The default for power_state is to pick the last approach in
  the list, which by definition is supposed to be the most reliable.
* Currently there will only be one approach, `Only'.

No overall functional change other than to log messages.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power handling: Introduce power_reboot_attempts

This is going to be the new preferred interface for rebooting a host.

Introduce the first two call sites in ts-host-install and
ts-freebsd-host-install.  power_cycle_sleep is an internal function
now.

No overall functional change, since currently power_reboot_attempts
only ever tries one method.

Do not adjust ts-freebsd-host-install yet as we have a problem there,
which will be discussed in a moment.

CC: Roger Pau Monné <roger.pau@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power handling: Break out power_cycle_parse_method

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Osstest::PDU::*: reuse default new method where applicable

These two modules both had the same `new' as `unsupported'.  Now that
we have `use parent' they can be removed.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: ipmi_try: Use `use parent' instead of Exporter

This module already has a superclass, `ipmi'.  Import it with `use
parent' instead of Exporter.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Osstest::PDU::*: use parent ::unsupported

This will allow us to introduce default methods, which everyone
inherits unless overridden.  These changes are all textually
identical.

We will do ipmi_try in a moment: that one is special as it actually
has a parent module.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

power: Osstest::PDU::*: drop Exporter blocks

This is all very obsolete.  These that we are removing are all empty,
and nowadays perl has `use parent'.  These changes are all textually
identical.

We will do ipmi_try in a moment: that one is special as it actually
has a parent module.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

line wrapping: In one place pipe through cr-fold-long-lines

This is the remaining place where long lines might get into emails.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

line wrapping: Replace many uses of cat with cr-fold-long-lines

These are the nicely uniform bits of this change.

This arranges that many of the places where stuff gets put into emails
has their lines wrapped.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

line wrapping: Use tmp/$flight.report in two extra places

The output from sg-report-flight might in principle contain long
lines, although this is not expected.  So we are going to want to feed
it through the new cr-fold-long-lines.

Rather than piping, we are going to keep a copy of the .report file,
like is done in mg-execute-flight.  So for now, just make that change.

No overall change other than to leave behind the tmp/$flight.report
file.  It will be tidied up by the usual cleanup processes.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

line wrapping: Provide cr-fold-long-lines script

This is a reversible transformation which usually just introduces a \
where it splits lines.

We are going to use this to wrap the lines in our emails.  SMTP has a
999-byte length limit (including a CR-LF pair).  This can cause our
emails to go astray.  We don't really want our messages to be q-p or
base64-encoded if we can avoid it, and MTAs don't do that anyway (so
we would have to organise it).  So instead, we will simply wrap any
long lines that occur.

This transformation is not suitable for headers, but we don't intend
or want to generate long lines which would need further wrapping.  (A
reversible transformation suitable for headers would be quite ugly and
would only be right for a subset of headers anyway...)

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

cr-try-bisect: When bisection is done, keep the old mro as mro.done

This will help with debugging, or if we want to manually reset/restart
things.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-livepatch-run: Fix erroneous $$ in double-check

The doubled $s here are simply a mistake.  The result is to make this
test ineffective, since `$$file' means `the value of the variable
whose name is in the variable $file', which here will never exist.
This produces a `Use of uninitialized value' warning and substitutes
the empty string, so overall we test the existence of the directory.

The missing check is not of much consequence since this check is not
really expected ever to fail, and if it does, some actual test
execution would fail due to the missing file.

So overall I think the only change is to log output.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>

ts-livepatch-run: Print a message about expected failures

target_cmd_output_root_status prints the command exit status.  If that
was a failure and the failure was as expected, this can be confusing
to readers who do not know that this is a possibility.  So print a
message about it.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>

ts-livepatch-run: Treat (just) falseish from OutputCheck as fail

This is more idiomatic.  All existing OutputChecks return booleans, so
no functional change.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>

production-config: Temporarily drop arm64

Both our arm64 boxes are out of commission again.

I have filed a ticket to have the recently failed box investigated.
And I am working on the stretcb upgrade which will bring our
Thunder-X into service.

But for now this is the best we can do to unblock everything.

CC: Julien Grall <julien.grall@arm.com>
Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

production-config*: Update to fishdescriptor with chroot bugfix

Deployment note: I have copied this binary to the images directory in
Cambridge and Massachusetts.  The corresponding patch to chiark-utils
is on its way to my upstream hat.

CC: George Dunlap <george.dunlap@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-depriv-audit-qemu: chmod +x qemu's chroot

libxl creates this directory with mode 0.  That prevents
fishdescriptor from working.  chmod it.  This is OK for testing.

CC: George Dunlap <george.dunlap@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-depriv-audit-qemu: Create complete /run/user in appropriate root

* Use mkdir -p, rather than trying to only create /run/user/$uid.
  That helps if /run and/or /run/user do not exist, as they do in
  libxl-made chroots with recent libxl (which gets qemu to chroot).

* Do all of this in the root directory of the qemu process, not our
  own root directory.  So it works if qemu is chrooted.

CC: George Dunlap <george.dunlap@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
---
v2: Actually use $qpid rather than hardcoding 8123 !

squash! ts-depriv-audit-qemu: Create complete /run/user in appropriate root

ts-xen-build: Force reliance on ipxe tarball

xen.git/tools/firmware/etherboot/Makefile tries to get a tarball from
xen-extfiles first and if that fails, tries cloning from ipxe.org.

ipxe.org is sometimes down (or half-down) and when that happens
without a tarball the build breaks and is hard to fix.

We would like, therefore, to ensure that the tarball is always made
before the commit which refers to it is in xen.git#master.

osstest has no knowledge of ipxe as a separate thing and just lets
xen.git have whatever version is in Config.mk.  So osstest never needs
to specify particular ipxe version by hash, or the like.

So simply make osstest rely on the tarball existing, by having it
specify a completely invalid URL for the git clone.  This will detect
attempts to update IPXE_GIT_TAG without making a corresponding
tarball.

CC: Paul Durrant <paul.durrant@citrix.com>
Acked-by: Wei Liu <wei.liu2@citrix.com>

mfi-common: Enable livepatch tests in 4.10 and 4.11 as intended (!)

The pattern xen-4.1* matches xen-4.10-testing, xen-4.11-testing, etc.
The right approach is to state the excluded branch names explicitly
as is done elsewhere.

Resulting changes (standalone-generate-dump-flight-runvars):
 * new jobs: test-amd64-{amd64,i386}-livepatch
 * runvar set: enable_livepatch=true in build-ARCH, build-ARCH-xsm
 * all of the above in branches: xen-4.10-testing xen-4.11-testing

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>
CC: Andrew Cooper <andrew.cooper3@citrix.com>

mfi-common: Do not set enable_livepatch on build-*-prev

branch_wants_livepatch checks the current Xen version.  We don't want
to try enabling livepatch on trees that don't have it.  And for the
-prev build we care about forward migration etc., not about
livepatching the previous version.

Resulting changes (standalone-generate-dump-flight-runvars):
  runvar removed: enable_livepatch=true
  in jobs:        build-amd64-prev build-i386-prev
  in branches:    xen-4.8-testing xen-4.9-testing xen-unstable

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>
CC: Andrew Cooper <andrew.cooper3@citrix.com>

cr-for-branches: Add linux-4.19

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

production-config-cambridge: Use squid cache, not local apt proxy

debian.uk.xensource.com is no more (and the service name seems to have
been discarded).  There is repo.citrite.net instead but it is a
proprietary appliance which - although it claims to be able to handle
apt repositories - is not compatible with debian-installer; at least,
jessie's d-i.

Swap to ftp.uk.debian.org (and rely for caching on the squid cache
which we have for non-apt stuff already).  That works well enough for
stable suites, at least.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

mfi-common: Drop freebsd builds on non-freebsd flights

Something is wrong with the freebsd repositories.  This causes freebsd
host installation to fail.  This problem has persisted for a while now
and is blocking other work.

For now, drop these.  The jobs being dropped are
      build-amd64-xen-freebsd
      build-amd64-xen-xsm-freebsd
in the branches
      osstest
      xen-unstable
(verified with standalone-generate-dump-flight-runvars).

CC: Roger Pau Monné <roger.pau@citrix.com>
CC: Wei Liu <wei.liu2@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
Acked-by: Roger Pau Monné <roger.pau@citrix.com>

standalone-generate-dump-flight-runvars: Add example usage

I have to reinvent these runes each time, which is somewhat annoying.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

sa-init-db: Fix argument parsing

It claimed to have a default db name, but it didn't.  Rework the
option parsing to make the usage message true.  (That saves me typing
  sa-init-db standalone
and getting bizarre errors as sqlite tries to treat the shell script
`standalone' as if it were a database file.)

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

cr-for-branches: Add linux 4.4 branch as that is an LTS

libvirt.pm: Drop some unneeded parens (no functional change0

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

ts-xen-build-prep: install libgnutls28-dev for libvirt build

d54ecf31b2 placed the build dependency in a wrong file. This patch
adds the dependency to the right file.  Add a runtime dependency in
libvirt.pm.

Signed-off-by: Wei Liu <wei.liu2@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

make-flight: Test with `sched=credit'

The default in xen-unstable#staging is soon to be sched=credit2.  That
leaves osstest not testing credit1 at all.

Add a job that does this.  It's a copy of the -credit2 job.  (It's
a pretty nugatory test but it will probably do.)

We call the test -credit1, although the Xen parameter is =credit.

I have verified with standalone-generate-dump-flight-runvars that the
effect is to add the appropriately mutated copy of the credit2 job to
every flight.  The mutations are solely the sched= parameter and the
job name.

CC: George Dunlap <george.dunlap@citrix.com>
CC: Dario Faggioli <dfaggioli@suse.com>
CC: Jan Beulich <JBeulich@suse.com>
CC: Andrew Cooper <andrew.cooper3@citrix.com>
CC: Stefano Stabellini <sstabellini@kernel.org>
CC: Konrad Rzeszutek Wilk <konrad.wilk@oracle.com>
CC: Tim Deegan <tim@xen.org>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
Reviewed-by: Wei Liu <wei.liu2@citrix.com>

standalone: Mention sa-init-db on missing standalone.db

I usually do not use standalone mode.  But I use it for
  standalone-generate-dump-flight-runvars

That means I have to have a standalone.db.  ./standalone prints a
message about standalone-reset, which does a lot of undesirable stuff.

Mention sa-init-db too.  That just creates the db with empty tables
and is sufficient for standalone-generate-dump-flight-runvars.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

libvirt: Install GnuTLS for libvirt builds

Since libvirt commit 60d9ad6f GnuTLS is required to build libvirt. The
various libvirt build tests in osstest began failing after the commit
hit libvirt.git master. Adding libgnutls28-dev to the list of packages
needed to build libvirt will fix the currently broken builds.

Signed-off-by: Jim Fehlig <jfehlig@suse.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

README.dev: Document things that are now handled by ansible in Mass

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

sg-run-job: Pair tests: Repeat the migration 10x

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: add missing disk driver name

elbling boxes uses the mfi driver and have the hard disks in
passthrough mode, which means the mfi driver will expose them as
mfisyspd? instead of mfid?. In order for the installer to detect such
disks add mfisyspd0 to the list of disks to probe.

This should fix the host-install issues reported on elbling boxes:

http://logs.test-lab.xenproject.org/osstest/logs/127304/

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

Revert "production-config: Temporarily drop arm64"

This reverts commit 2d3fd8087e746bc5f64d3cf01014aac388a1bb7e.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>
CC: Julien Grall <julien.grall@arm.com>

osstest: configure git proxy for FreeBSD

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: make git proxy setup common

By moving it into TestSupport. No functional change.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: add a FreeBSD Xen build job to osstest flights

The runvar diff is the following:

+osstest build-amd64-xen-freebsd     all_host_os        freebsd
+osstest build-amd64-xen-xsm-freebsd all_host_os        freebsd
+osstest build-amd64-xen-freebsd     all_hostflags      PropEq:Firmware:bios:bios
+osstest build-amd64-xen-xsm-freebsd all_hostflags      PropEq:Firmware:bios:bios
+osstest build-amd64-xen-freebsd     arch               amd64
+osstest build-amd64-xen-xsm-freebsd arch               amd64
+osstest build-amd64-xen-freebsd     build_lvextend_max 50
+osstest build-amd64-xen-xsm-freebsd build_lvextend_max 50
+osstest build-amd64-xen-freebsd     enable_livepatch   true
+osstest build-amd64-xen-xsm-freebsd enable_livepatch   true
+osstest build-amd64-xen-freebsd     enable_ovmf        false
+osstest build-amd64-xen-xsm-freebsd enable_ovmf        false
+osstest build-amd64-xen-freebsd     enable_xend        false
+osstest build-amd64-xen-xsm-freebsd enable_xend        false
+osstest build-amd64-xen-freebsd     enable_xsm         false
+osstest build-amd64-xen-xsm-freebsd enable_xsm         true
+osstest build-amd64-xen-freebsd     host_hostflags     arch-amd64,purpose-build
+osstest build-amd64-xen-xsm-freebsd host_hostflags     arch-amd64,purpose-build
+osstest build-amd64-xen-freebsd     revision_minios
+osstest build-amd64-xen-xsm-freebsd revision_minios
+osstest build-amd64-xen-freebsd     revision_ovmf
+osstest build-amd64-xen-xsm-freebsd revision_ovmf
+osstest build-amd64-xen-freebsd     revision_qemu
+osstest build-amd64-xen-xsm-freebsd revision_qemu
+osstest build-amd64-xen-freebsd     revision_qemuu     ap-fetch-version-baseline:qemu-upstream-unstable
+osstest build-amd64-xen-xsm-freebsd revision_qemuu     ap-fetch-version-baseline:qemu-upstream-unstable
+osstest build-amd64-xen-freebsd     revision_seabios
+osstest build-amd64-xen-xsm-freebsd revision_seabios
+osstest build-amd64-xen-freebsd     revision_xen       ap-fetch-version-baseline:xen-unstable
+osstest build-amd64-xen-xsm-freebsd revision_xen       ap-fetch-version-baseline:xen-unstable
+osstest build-amd64-xen-freebsd     tree_minios
+osstest build-amd64-xen-xsm-freebsd tree_minios
+osstest build-amd64-xen-freebsd     tree_ovmf
+osstest build-amd64-xen-xsm-freebsd tree_ovmf
+osstest build-amd64-xen-freebsd     tree_qemu          git://xenbits.xen.org/qemu-xen-traditional.git
+osstest build-amd64-xen-xsm-freebsd tree_qemu          git://xenbits.xen.org/qemu-xen-traditional.git
+osstest build-amd64-xen-freebsd     tree_qemuu         git://xenbits.xen.org/qemu-xen.git
+osstest build-amd64-xen-xsm-freebsd tree_qemuu         git://xenbits.xen.org/qemu-xen.git
+osstest build-amd64-xen-freebsd     tree_seabios
+osstest build-amd64-xen-xsm-freebsd tree_seabios
+osstest build-amd64-xen-freebsd     tree_xen           git://xenbits.xen.org/xen.git
+osstest build-amd64-xen-xsm-freebsd tree_xen           git://xenbits.xen.org/xen.git

Suggested-by: Ian Jackson <ian.jackson@eu.citrix.com>
Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: add FreeBSD Xen build job

To both the FreeBSD and the xen-unstable flights.

This is the runvar difference of all flights:

+freebsd-master build-amd64-xen-freebsd     all_host_os        freebsd
+freebsd-master build-amd64-xen-freebsd     all_hostflags      PropEq:Firmware:bios:bios
+freebsd-master build-amd64-xen-freebsd     arch               amd64
+freebsd-master build-amd64-xen-freebsd     enable_ovmf
+freebsd-master build-amd64-xen-freebsd     enable_xend
+freebsd-master build-amd64-xen-freebsd     enable_xsm
+freebsd-master build-amd64-xen-freebsd     freebsdbuildjob    build-amd64-freebsd
+freebsd-master build-amd64-xen-freebsd     host_hostflags     arch-amd64,purpose-build
+freebsd-master build-amd64-xen-freebsd     recipe_testinstall true
+freebsd-master build-amd64-xen-freebsd     revision_minios
+freebsd-master build-amd64-xen-freebsd     revision_ovmf
+freebsd-master build-amd64-xen-freebsd     revision_qemu
+freebsd-master build-amd64-xen-freebsd     revision_qemuu     ap-fetch-version-baseline:qemu-upstream-unstable
+freebsd-master build-amd64-xen-freebsd     revision_seabios
+freebsd-master build-amd64-xen-freebsd     revision_xen       ap-fetch-version-baseline:xen-unstable
+freebsd-master build-amd64-xen-freebsd     tree_minios
+freebsd-master build-amd64-xen-freebsd     tree_ovmf
+freebsd-master build-amd64-xen-freebsd     tree_qemu          git://xenbits.xen.org/qemu-xen-traditional.git
+freebsd-master build-amd64-xen-freebsd     tree_qemuu         git://xenbits.xen.org/qemu-xen.git
+freebsd-master build-amd64-xen-freebsd     tree_seabios
+freebsd-master build-amd64-xen-freebsd     tree_xen           git://xenbits.xen.org/xen.git
+xen-unstable   build-amd64-xen-freebsd     all_host_os        freebsd
+xen-unstable   build-amd64-xen-xsm-freebsd all_host_os        freebsd
+xen-unstable   build-amd64-xen-freebsd     all_hostflags      PropEq:Firmware:bios:bios
+xen-unstable   build-amd64-xen-xsm-freebsd all_hostflags      PropEq:Firmware:bios:bios
+xen-unstable   build-amd64-xen-freebsd     arch               amd64
+xen-unstable   build-amd64-xen-xsm-freebsd arch               amd64
+xen-unstable   build-amd64-xen-freebsd     build_lvextend_max 50
+xen-unstable   build-amd64-xen-xsm-freebsd build_lvextend_max 50
+xen-unstable   build-amd64-xen-freebsd     enable_livepatch   true
+xen-unstable   build-amd64-xen-xsm-freebsd enable_livepatch   true
+xen-unstable   build-amd64-xen-freebsd     enable_ovmf        false
+xen-unstable   build-amd64-xen-xsm-freebsd enable_ovmf        false
+xen-unstable   build-amd64-xen-freebsd     enable_xend        false
+xen-unstable   build-amd64-xen-xsm-freebsd enable_xend        false
+xen-unstable   build-amd64-xen-freebsd     enable_xsm         false
+xen-unstable   build-amd64-xen-xsm-freebsd enable_xsm         true
+xen-unstable   build-amd64-xen-freebsd     host_hostflags     arch-amd64,purpose-build
+xen-unstable   build-amd64-xen-xsm-freebsd host_hostflags     arch-amd64,purpose-build
+xen-unstable   build-amd64-xen-freebsd     revision_minios
+xen-unstable   build-amd64-xen-xsm-freebsd revision_minios
+xen-unstable   build-amd64-xen-freebsd     revision_ovmf
+xen-unstable   build-amd64-xen-xsm-freebsd revision_ovmf
+xen-unstable   build-amd64-xen-freebsd     revision_qemu
+xen-unstable   build-amd64-xen-xsm-freebsd revision_qemu
+xen-unstable   build-amd64-xen-freebsd     revision_qemuu     ap-fetch-version-baseline:qemu-upstream-unstable
+xen-unstable   build-amd64-xen-xsm-freebsd revision_qemuu     ap-fetch-version-baseline:qemu-upstream-unstable
+xen-unstable   build-amd64-xen-freebsd     revision_seabios
+xen-unstable   build-amd64-xen-xsm-freebsd revision_seabios
+xen-unstable   build-amd64-xen-freebsd     revision_xen       ap-fetch-version:xen-unstable
+xen-unstable   build-amd64-xen-xsm-freebsd revision_xen       ap-fetch-version:xen-unstable
+xen-unstable   build-amd64-xen-freebsd     tree_minios
+xen-unstable   build-amd64-xen-xsm-freebsd tree_minios
+xen-unstable   build-amd64-xen-freebsd     tree_ovmf
+xen-unstable   build-amd64-xen-xsm-freebsd tree_ovmf
+xen-unstable   build-amd64-xen-freebsd     tree_qemu          git://xenbits.xen.org/qemu-xen-traditional.git
+xen-unstable   build-amd64-xen-xsm-freebsd tree_qemu          git://xenbits.xen.org/qemu-xen-traditional.git
+xen-unstable   build-amd64-xen-freebsd     tree_qemuu         git://xenbits.xen.org/qemu-xen.git
+xen-unstable   build-amd64-xen-xsm-freebsd tree_qemuu         git://xenbits.xen.org/qemu-xen.git
+xen-unstable   build-amd64-xen-freebsd     tree_seabios
+xen-unstable   build-amd64-xen-xsm-freebsd tree_seabios
+xen-unstable   build-amd64-xen-freebsd     tree_xen           git://xenbits.xen.org/xen.git
+xen-unstable   build-amd64-xen-xsm-freebsd tree_xen           git://xenbits.xen.org/xen.git

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>
---
Changes since v2:
 - Only add FreeBSD Xen buildjobs to the xen-* branches.

Changes since v1:
 - Fix enabling of FreeBSD Xen buildjob based on branch.
 - Introduce a helper to add the FreeBSD Xen build jobs.
 - Introduce the ts-xen-build-freebsd wrapper around ts-xen-build for
   FreeBSD.
 - Introduce a create_xen_build_job helper.

osstest: introduce a helper to create Xen build jobs

This is currently a non-functional change, since no new jobs are
added, and the existing ones should stay unchanged. Runvars of all
flights remain unchanged.

The purpose of the helper is to allow adding different Xen build jobs,
with likely different runvars in the future.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: set the make command to use for xen-build

The default make on FreeBSD is the BSD make, and Xen requires the GNU
make in order to build. Set the make command based on the OS for the
Xen build.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>
---
Changes since v1:
 - Use gmake for all BSDs.

osstest: limit FreeBSD jobs to hardware booting in BIOS mode

There's no support yet in osstest to install FreeBSD from UEFI, so for
the time being limit the FreeBSD jobs to boxes booting with legacy
BIOS.

The hostflags are not set for examine jobs, in order to avoid them
from only running on BIOS boxes.

The runvar difference with this patch applied is:

+freebsd-master build-amd64-freebsd       all_hostflags PropEq:Firmware:bios:bios
+freebsd-master build-amd64-freebsd-again all_hostflags PropEq:Firmware:bios:bios

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>
---
Changes since v2:
 - Fix hosts flight to not require BIOS firmware.

Changes since v1:
 - Fix nonbreaking space.
 - Fix long line.

osstest: abstract code to create a FreeBSD build job

Into a helper. A diff of the runvars of flights generated with and
without the patch show no differences.

No functional change.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: remove duplicate set_freebsd_runvars

The set_freebsd_runvars helper in mfi-common is a superset of the
original function present in make-freebsd-flight, and will attempt to
fetch the last anointed FreeBSD build as a last resort option if no
FreeBSD build is signaled from the FreeBSD env vars. There's no reason
to have this duplication, since the set_freebsd_runvars in mfi-common
is perfectly suitable to be used by make-freebsd-flight.

This duplication was wrongly introduced by d36a7d892f by adding a
set_freebsd_runvars to mfi-common without removing the original
function in make-freebsd-flight.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>
---
Changes since v1:
 - Add commit message.

osstest: allow appending to existing runvars

So that the contents of the runvar can be expanded. There are
currently two ways to do this:

 - Using += will append to the end of the runvar.
 - Using ,= will append to the end of the runvar using ',' as the
   separator.

Note that if the runvar is empty {,|+}= just sets the runvar.

Signed-off-by: Ian Jackson <ian.jackson@citrix.com>

dummy flight generation: cs-hosts-list should not print { }

With newer bash, this causes
      local envvar="FREEBSD_${arch^^}_BUILDJOB"
      if [ -n "${!envvar}" ]; then
to (properly) report a syntax error.

As Roger says, it is better to print a dummy host for each
architecture, so do that.

Reported-by: Roger Pau Monné <roger.pau@citrix.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

dummy flight generation: Tolerate lack of repos

In particular
  OSSTEST_CONFIG=standalone-config-example eatmydata bash -x ./standalone-generate-dump-flight-runvars
should not require ~/osstest-repos to exist.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

cr-publish-flight-logs: Work with --push-harness but no remote git

--push-harness might be specified even though there is no git tree to
push to.  In that situation, do not daftly not even push the logs.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

production-config: Temporarily drop arm64

Both our arm64 boxes are out of commission and repairing them is
taking too long.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
Acked-by: Julien Grall <julien.grall@arm.com>

Publish: Cambridge: Get the public URL right

This URL is now accessible, although there are some webserver tweaks
remaining to do.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Publish: Cambridge: Publish to new public host

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Publish: Introduce {Logs,Results}PublishSshOpts

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Publish: Introduce publish_ssh_opts

We need to pass it $cfgbase because this will soon be configurable.

No functional change right now.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

cr-publish-flight-logs: Refactor rsync -e option construction

Previously this was hardcoded.  Now we make a variable @ssh, and use
rsync's quoting scheme to transform it into a value suitable for -e.

No overall functional change, although now the rsync command contains
additional quotes in the -e option.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

cr-publish-flight-logs: Refactor copydir args

Have it take $cfgbase and $subdir instead.  This allows us to lift the
config test into it.  And it will be even more useful in a moment.

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

Publish: Default LogsPublish and ResultsPublish from Publish

And delete the explicit settings from production-config.

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

cr-ensure-disk-space: With -D, print check_space command

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

resource allocation: PropEq, PropMinVer: support defaults

Now you can pass another :-separated argument, the default value to
use if none is specified.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
CC: Roger Pau Monné <royger@FreeBSD.org>

resource allocation: PropEq, PropMinVer: Honour HostProp_...

We need to take these from the config too.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
CC: Roger Pau Monné <royger@FreeBSD.org>

resource allocation: PropCompareBase: Break out _get_val

This is going to make defaulting etc. a bit easier.

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
CC: Roger Pau Monné <royger@FreeBSD.org>

PDU: ipmi: Pass further options to ipmitool

This is useful, for example, for passing `-I lanplus'.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU: ipmi: Only log the first cmd run

This quietens the output again.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU: pause: Honour OSSTEST_PDU_NOPAUSE

For debugging.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU: ipmi: Use arrays rather than strings for cmd

This allows arguments with spaces, etc.

No functional change with the existing configurations I know about.
It would be good to fix this before any configurations are created
where this would make a difference...

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

cs-adjust-flight: Allow runvar-build-set new value to be just "."

This is useful because if you say new: for the flight to be adjusted,
you don't have the flight number.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

ts-depriv-audit-qemu: Leaked substeps are `blocked', and then script is fail

If thus script crash in some non-substep-specific operation, the
substeps may have been created (and thus be in the db as `running').
Leaving them like this is not allowed: it is treated by sg-run-job,
and by the archaeologists as an internal error.

If this happens, what we want is for the script as a whole to be
`fail', and for the failing tests to be `blocked'.  The former will
spot if this crash is a regression.  The latter will avoid treating
the substeps themselves as regressions.

Reported-by: Anthony PERARD <anthony.perard@citrix.com>
Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

armhf, xsm: Drop XSM tests on 32-bit ARM

We are at the limit of ARM capacity, which has not kept pace with X86
expansion.  New hardware is on the way but it is not here yet.

Dropping the XSM tests drops one test, but also one build, which saves
considerable effort.  Builds are currently the bottleneck, because we
avoid building on the unreliable Arndale boards.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
Acked-by: Julien Grall <julien.grall@arm.com>

xsm_variants: Allow XSM enablement to depend on the architecture

Builds and tests have different ideas about arch variables, because
tests have dom0 arch, xen arch, etc.  So pass it in as a parameter.

No functional change.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

libvirt build: Set make_njobs=1 except when testing libvirt

libvirt has a -j bug.  This is allegedly going to be fixed in upstream
RSN ?  Anyway, for now, serialise all the builds on other branches so
they are not affected.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

BuildSupport: Honour new runvar make_njobs

Having a hardcoded -j4, and having this come via DefMakeFlags, is not
brilliant.  But at least this make_njobs variable has better semantics
so won't make it harder to make this more sophisticated later.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

PDU::ipmi_try: New method

For power on, this is just like ipmi.

For power off, it doesn't mind errors (although it has three
attempts).  This is useful when combined with pdu power: if the
chassis power is already off, ipmi will fail.

If the ipmi operation does fail, then the chassing pdu power operation
will do the job.  So this will also fix things if the test case
crashed the bmc or something.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU::pause: Better pause time configuration

If no time is specified, use 120 (or the PowerOnTime host property
value) when powering on, or 10 when powering off.

This is all intended to be used like this:
  HostProp_rimava0_PowerMethod nest; msw --apc6 pdu2 19; pause; ipmi rimava0m

This means:
  * For power on, first turn on the APC PDU pdu2 port 19
  * Wait 120s (or HostProp_rimava0_PowerOnTime)
  * Then ipmi to the host name rimava0m with ADMIN/ADMIN
    (or HostProp_rimava0_IpmiUser/HostProp_rimava0_IpmiPassword)
  * For power off, do that in reverse, only with a 10s pause.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

PowerMethod: New pause functionality

And, an abbreviation for invoking it: just writing numbers (or
<on>/<off> pair of numbers).

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PowerMethod: New "nest" psuedo-method

If specified as the first method, it means to reverse the order when
powering off.

There don't seem to be any docs for PowerMethod, so I have not
documented this right now.

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

PDU::ipmi: Better username/password configuration

This can now come from host properties, or failing that we use
ADMIN/ADMIN which seems common.

No functional change with working existing configs.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

PDU::ipmi: Do not return until the power state has changed

Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

crontabs: Run freebsd-master only three times per week

freebsd master seems to update very frequently and our tests are
pretty minimal.  Right now having a permanent freebsd build test going
is probably not a very good use of our resources.

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>
Acked-by: Roger Pau Monné <roger.pau@citrix.com>

osstest: move install of FreeBSD build deps to build-prep

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: allow to treat host install errors as failures

And use it for the build-amd64-freebsd-again job, which should test
the new FreeBSD build produced by build-amd64-freebsd and a host
install error should be treated as a failure in order to trigger the
bisection.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

Debian preseed: Disable security archive for jessie arm64

jessie arm64 is out of security support, see
  https://wiki.debian.org/LTS
and the security archive at
  http://security.debian.org/dists/jessie/updates/main/binary-arm64
is gone.  This causes autoinstallation to fail.  We don't really care
much about the lack of security support, so override the set of `apt
services'.

I have tested that this can once again now install on arm64 on one of
the laxtons.  Because currently all arm64 tests are broken, and this
change affects only arm64, I will force push it right away.

CC: Julien Grall <julien.grall@linaro.org>
CC: Juergen Gross <jgross@suse.com>
Signed-off-by: Ian Jackson <ian.jackson@eu.citrix.com>

production-config: Update TftpDiVersion

In both places.  I have run
  ./mg-debian-installer-update-all jessie

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

cr-for-branches: Branch for Xen 4.11

Signed-off-by: Ian Jackson <Ian.Jackson@eu.citrix.com>

osstest: use -DWITHOUT_AUTO_OBJ with FreeBSD release targets

Due to a recent FreeBSD change the default output directory of the release
targets is changed to the object directory instead of the source
directory. Use WITHOUT_AUTO_OBJ to restore previous behavior. This is
harmless if used with previous versions, it will be ignored.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: expand the list of tested disk controllers

The Mass osstest instance has a more diverse list of hardware disk
controllers, so expand the list in order to include all the possible
disk drivers.

For the record, this list can be found at:

usr.sbin/bsdconfig/share/device.subr

In the FreeBSD source tree.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>

osstest: remove the loader timeout from the install image

When the FreeBSD installer is booted on the godello{0/1} boxes it
receives spurious key strokes. This doesn't happen so far when booted
from disk, or with any other boxes.

In order to cope with this remove the loader timeout on the install
image. Note that failure to boot will still drop the loader into a
manual prompt.

Signed-off-by: Roger Pau Monné <roger.pau@citrix.com>
Acked-by: Ian Jackson <ian.jackson@eu.citrix.com>