cpu_map.xml: add cmt/mbm feature to x86

Some Intel processor families (e.g. the Intel Xeon processor E5 v3
family) introduced some PQos (Platform Qos) features, including CMT
(Cache Monitoring technology) and MBM (Memory Bandwidth Monitoring),
to monitor or control shared resource. This patch add them into x86
part of cpu_map.xml to be used for applications based on libvirt to
get cpu capabilities. For example, Nova in OpenStack schedules guests
based on the CPU features that the host has.

Signed-off-by: Qiaowei Ren <qiaowei.ren@intel.com>

cpu: Consolidate ARM drivers

Both ARM and AArch64 drivers are exactly the same (modulo function
names). Let's use just one driver for all ARM architectures.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

util: fix build in virNetDevTapGetRealDeviceName

Commit e81de04c switched virNetDevTapGetRealDeviceName() to use
virDirOpen() instead of opendir(), however it mistakenly dropped
DIR *dirp declaration, so restore that to fix build.

storage: Introduce virStoragePoolObjBuildTempFilePath

Create a function to return a temporary file path to be used in a mkostemp
type call using the path to the stateDir + pool->def->name + vol->name

Signed-off-by: John Ferlan <jferlan@redhat.com>

Promote storage pool refresh lifecycle event to top level event

The VIR_STORAGE_POOL_EVENT_REFRESHED constant does not
reflect any change in the lifecycle of the storage pool.

It should thus not be part of the storage pool lifecycle
event set, but rather be a top level event in its own
right. Thus we introduce VIR_STORAGE_POOL_EVENT_ID_REFRESH
to replace it.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

util: Add 'luks' to the FileTypeInfo

Add the ability to detect a luks encrypted device.

Signed-off-by: John Ferlan <jferlan@redhat.com>

util: Modify the FileTypeInfo to add a version size

The version field historically has been a 4 byte data; however, an upcoming
new type will use a 2 byte version.  So let's adjust for that now.

Signed-off-by: John Ferlan <jferlan@redhat.com>
Signed-off-by: John Ferlan <jferlan@redhat.com>

util: Introduce virReadBufInt16LE and virReadBufInt16BE

In order to read 16 bits of data in the native format and convert add
the 16 bit macros to match existing 32 and 64 bit code.

Signed-off-by: John Ferlan <jferlan@redhat.com>

qemu: Remove authdef from secret setup

Rather than pass authdef, pass the 'authdef->username' and the
'&authdef->secdef'

Note that a username may be NULL.

Signed-off-by: John Ferlan <jferlan@redhat.com>

qemu: Change protocol parameter for secret setup

Rather than assume/pass the protocol to the qemuDomainSecretPlainSetup
and qemuDomainSecretAESSetup, set and pass the secretUsageType based
on the src->protocol type. This will eventually be used by the
virSecretGetSecretString call

Signed-off-by: John Ferlan <jferlan@redhat.com>

Document to not rely on virConnectGetMaxVcpus API

The API virConnectGetMaxVcpus doesn't really reflect the actual usable number
of cpus as the maximum limits can be different for kvm and/or qemu. So update
the documentation to use virConnectGetDomainCapabilities() instead.

Signed-off-by: Shivaprasad G Bhat <sbhat@linux.vnet.ibm.com>

qemu: check the kvm host cpu max limits in virConnectGetDomainCapabilities

The qemu limit and host limit both should be considered for
the domain vcpu max limits.

Signed-off-by: Shivaprasad G Bhat <sbhat@linux.vnet.ibm.com>

qemu: Make qemuBuildSecretInfoProps global

Need to create the object for a hotplug disk

qemu: Remove type from qemuBuildSecretInfoProps

It's just a constant "secret" string anyway

Rename kvmGetMaxVCPUs() to virHostCPUGetKVMMaxVCPUs()

This kvmGetMaxVCPUs() needs to be used at two different places
so move it to utils with appropriate name and mark it as private
global now.

Signed-off-by: Shivaprasad G Bhat <sbhat@linux.vnet.ibm.com>

add help document relevant to default mapping of credentials to machines

* src/util/virauthconfig.c

conf: Allow disks with identical WWN or serial

Disallowing them broke a use case of testing multipath configurations
for storage. Originally this was added as it was impossible to
use certain /dev/disk-by... links but the disks worked properly.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1349895

build: increase xz compression level

Increase the default compression level to 9 from 6.

This also increases decompression memory requirements
from 9 MB to 65 MB.

Also turn on verbosity.

openvz: do not open-code STRSKIP

Remove one more use of STREQLEN with strlen as its argument.

Fix error detection in virStorageBackendISCSIGetHostNumber

In the unlikely case the iSCSI session path exists, but does not
contain an entry starting with "target", we would silently use
an initialized value.

Rewrite the function to correctly report errors.

Replace some uses STREQLEN with STRPREFIX

Do not call it with a magic constant matching the length
of the pattern.

docs: Fix whitespace in output

Many moons ago, commit id '8d7800a55' adjusted the format of the output
to add a space on the HEADER and the DATA... the docs weren't updated to
reflect that... This makes that adjustment.

qemu: Check for VFIO too where legacy passthrough is checked

On PPC the legacy passthrough is not supported and only
VFIO is supported. So, the checks at places to confirm if the
host is passthrough capable checks only legacy, fix it. This
is seen at only one place now.

Signed-off-by: Shivaprasad G Bhat <sbhat@linux.vnet.ibm.com>

virStorageBackendISCSIGetHostNumber: correctly use virDirOpen

Incorrect conflict resolution in my commit e81de04c1 broke this.

Prohibit opendir in syntax-check

Prefer virDirOpen.

Use virDirOpenQuiet

Remove all the remaining usage of opendir.

Introduce virDirOpenQuiet

A helper function that does not report any errors.

Use virDirOpenIfExists

Use it instead of opendir everywhere we need to check for ENOENT.

Add virDirOpenIfExists

Just like virDirOpen, but it returns 0 without reporting an error
on ENOENT.

Use virDirOpen

Switch from opendir to virDirOpen everywhere we need to report an error.

Introduce virDirOpen

A helper that calls opendir and reports an error if it fails.

storage: Fix coverity warning

After commit e808d3f227 cbdata is always available here, so the
check is pointless

Don't allow raneming domains to empty strings

It may cause unwanted behaviour (of course, is there any wanted one for
that case?) so we should rather disable the possibility of doing so.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1320893

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

openvz: split single-line if

Put the 'continue' statement on a separate line.

qemu: Use stricter checks in virQEMUCapsFillDomainDeviceDiskCaps()

Unfortunately, we can't just call qemuDomainMachineIsPSeries()
here, because we don't have a virDomainDef instance; that said,
the open-coded check should match said function as closely as
possible.

qemu: Introduce qemuDomainMachineIsPSeries()

This new function checks for both the architecture and the
machine type, so we can use it instead of writing the same
checks over and over again.

qemu: Add architecture checks to qemuDomainMachineIsVirt()

Remove all external architecture checks that have been
made redundant by this change.

qemu: Remove redundant arguments to qemuBuildSerialChrDeviceStr()

Since we're already passing the full virDomainDef, it doesn't
make sense to also pass def->os.arch and def->os.machine as
separate arguments.

Add support for VirtualBox 5

Rename virNetClient*AddrString

Add SASL at the end to make the format obvious.

Rename virNetServerClient*AddrString

Add SASL at the end to make the format obvious.

Add SASL to virNetSocket{Local,Remote}AddrString

Rename them to virNetSocket{Local,Remote}AddrStringSASL
to make their format more obvious.

virNetSocket: rename AddrStr to AddrStrSASL

Make it more obvious that these are in the SASL format.

virnetsockettest: fix error messages

Introduce virNetServerClientRemoteAddrStringURI

Use it in virNetServerClientGetInfo to switch back to using
the URI-format (separated by ':') instead of the SASL format
(separated by ';').

Also use it in the error message reported by virNetServerAddClient.

Introduce virNetSocketRemoteAddrStringURI

It will return the socket address and port in a URI-like
format: [::1]:1234
Add a test case to virnetsockettest.

Revert "virnetsocket: Provide socket address format in a more standard form"

This partially reverts commit 9b45c9f049a7e9b6c1abfa6988b63b760714e169.

It changed the default format of socket address from the one SASL
requires, but did not adjust all the callers.

It also removed the test coverage for it.

Revert most of the changes except the virSocketAddrFormatFull support
for URI-formatted strings.

This fixes https://bugzilla.redhat.com/show_bug.cgi?id=1345743 while
reverting the format used by virt-admin's client-info command from
the URI one to the SASL one.

https://bugzilla.redhat.com/show_bug.cgi?id=1345743

Do not skip files starting with a dot in leases directory

'.' and '..' are skipped by virDirRead already.

Allow configs to start with a dot

This fixes the disappearance of domains and networks starting with a
dot.

https://bugzilla.redhat.com/show_bug.cgi?id=1333248

Do not skip hidden entries when looking for a stable path

The device names are unlikely to start with a dot.
'.' and '..' are already skipped by virDirRead.

Do not ignore hidden files in /sys and /proc

The directories we iterate over are unlikely to contain any entries
starting with a dot, other than '.' and '..' which is already skipped
by virDirRead.

Fix comment in virStorageBackendFileSystemRefresh

'.' and '..' are now skipped by virDirRead, there's no need to mention
them in the comment.

Do not check for '.' and '..' after virDirRead

It skips those directory entries.

Skip '.' and '..' in virDirRead

All of the callers either skip these explicitly, skip all entries
starting with a dot or match the entry name against stricter patterns.

Introduce VIR_DIR_CLOSE

Introduce a helper that only calls closedir if DIR* is non-NULL
and sets it to NULL afterwards.

Do not check the return value of closedir

The only possible error is EBADFD.
Since we only use the directory stream returned by opendir,
this should never happen.

Do not save errno in virUSBDeviceSearch

The virUSBDeviceFind* callers do not check errno after calling
this function.

tests: utils: Fail XML file comparison if input file doesn't exist

In cases where we expect parse failure of the test input file the
testsuite can't differentiate if the parser failed when parsing or when
opening the file. Add a call to virFileExists and error out on missing
input files.

Missing output files are partially expected when regenerating test
output.

tests: genericxml2xml: Fix test file name

Commit b1fc6a7b added a test file but used a different name in the
actual test.

qemu: Add new secret info type

Add 'encinfo' to the extended disk structure. This will contain the
encryption secret (if present).

Signed-off-by: John Ferlan <jferlan@redhat.com>

util: Introduce virSecretLookupFormatSecret

Add utility to format the virSecretLookupTypeDefPtr in XML

Signed-off-by: John Ferlan <jferlan@redhat.com>

util: Move and rename virStorageAuthDefParseSecret

Move to virsecret.c and rename to virSecretLookupParseSecret. Also convert
to usage xmlNodePtr and virXMLPropString rather than virXPathString.

Signed-off-by: John Ferlan <jferlan@redhat.com>

secret: Move virStorageSecretType and rename

Move the enum into a new src/util/virsecret.h, rename it to be
virSecretLookupType. Add a src/util/virsecret.h in order to perform
a couple of simple operations on the secret XML and virSecretLookupTypeDef
for clearing and copying.

This includes quite a bit of collateral damage, but the goal is to remove
the "virStorage*" and replace with the virSecretLookupType so that it's
easier to to add new lookups that aren't necessarily storage pool related.

Signed-off-by: John Ferlan <jferlan@redhat.com>

storage: Remove redundant refreshPool check

Every driver provides a refreshPool impl, and many other critical
places in the code unconditionally call it without checking if
it exists, so this check is pointless

qemu: command: Error on accel2d

qemu doesn't have any accel2d support wired up. Explicitly error
if a user tries it out, or typos the accel3d option

qemu: command: Error on accel3d with non-virtio

We should be raising an error if accel3d is present for any
non-virtio video as well, incase someone tries it for say 'qxl'

qemu: make monitor command API available during async jobs

  One can not issue monitor commands manually during async calls thru
designated API while this could be useful for testing/debugging purposes.
qemuDomainQemuMonitorCommand uses job of type QEMU_JOB_MODIFY and any async
call disable parallel execution of this type of job. The only state that is
changed is taint variable. AFAIU the only place we can mess is resetting
taint flag in qemuProcessStop routine under some async job. But this can not
happen thanx to both virDomainObjIsActive check in qemuDomainQemuMonitorCommand
and resetting active status in qemuProcessStop before taint flag.

  Change job type to QEMU_JOB_QUERY and thus make the API call available for
most of async jobs.

Signed-off-by: Nikolay Shirokovskiy <nshirokovskiy@virtuozzo.com>

prohibit-duplicate-header: print file name and line

This way :make syntax-check in ViM will point you at the offending line.

syntax-check: rewrite prohibit-duplicate-header in perl

Invoke the script only once instead of once for every file.

Allow virDomain(SG)etGuestVcpus on read-write connection only

Guest agent interaction is considered privileged.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1349272

Do not ignore perl scripts in build-aux

Also remove the duplicate build-aux entry from .gitignore.

Add newDomain parameter to qemuDomainAssignAddresses

Pass 'true' if we are not dealing with a migration.

Add a USB hub to controller order test

The test has too many USB devices.

conf: Remove dead console compat formatting

This code was attempting to handle some implicit <console> XML
formatting for manually assembled DomainDef, since previously the
console<->serial compat copying was only done at XML parse time.

Nowadays it's done via virDomainDefPostParse ->
virDomainDefAddConsoleCompat, which all manual DomainDef builders
already call, so we can drop this workaround.

libxl: use serial device for console when targetType is serial

When domXML contains only <console type='pty'> and no corresponding
<serial>, the console is "stolen" [1] and used as the first <serial>
device. When this "stolen" console is accessed from the libxl driver
(in libxlConsoleCallback and libxlDomainOpenConsole), check if the
targetType is VIR_DOMAIN_CHR_CONSOLE_TARGET_TYPE_SERIAL, and use the
"stolen" device in def->serials[0] instead. Prior to this change,
creating a domain with input XML containing only a <console> device
and subsequently attempting to access its console with
'virsh console' would fail

error: internal error: character device <null> is not using a PTY

[1] See comments associated with virDomainDefAddConsoleCompat() in
    $LIBVIRT-SRC/src/conf/domain_conf.c:

Use for instead of code duplication when parsing USB port

We are done if the string ends and move to another nesting
level if we find a dot.

Split out USB port parsing

Make rewriting it easier.

Add a test for long USB port paths

We support up to four levels of nested USB devices in the guest.

Add a test for a domain using all four and a negative test for a domain
using five.

Report auto convergence throttle rate in migration stats

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Implement auto convergence migration parameters

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Add support for cpu throttling parameters

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Introduce qemuMigrationSetParams

Several places in the code update qemuMonitorMigrationParams structure
and qemuMigrationSetParams is then used to set them all at once.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

Add auto convergence migration parameters

They can be used to tune auto-convergence algorithm (which is enabled
with VIR_MIGRATE_AUTO_CONVERGE).

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

test: Rework qemuMonitorJSONGetMigrationParams test

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Rework qemuMonitorJSONSetMigrationParams

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Rework qemuMonitorJSONGetMigrationParams

We should not require any parameters to be present. After all we have
the *_set bools to express that some parameters were not set.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Rename qemuMonitorMigrationCompression

qemuMonitorMigrationParams is a better name for a structure which
contains various migration parameters. While doing that, we should use
full names for individual parameters.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Decouple migration parameters from compression settings

Compression parameters are not the only migration parameters.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Make qemuMonitorSetMigrationCompression saner

Checking whether the function has anything to do is better done in the
function rather then requiring callers to do that.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

conf: Simplify conditions in CPU parser/formatter

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemucapsprobe: Don't put empty line at EOF

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

conf: Remove redundant free in virCPUDefFree

vendor_id is (and always was) already freed in virCPUDefFreeModel.

This effectively reverts commit fb49ffc3.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Fix reference leak in qemuDomainDefPostParse

The function gets a reference on virQEMUDriverConfig which needs to be
released before returning.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Hide virQEMUCapsNewForBinary

Since virQEMUCapsNewForBinaryInternal was introduced,
virQEMUCapsNewForBinary is no longer used outside qemu_capabilities.c.

Signed-off-by: Jiri Denemark <jdenemar@redhat.com>

qemu: Implement virDomainSetGuestVcpus

Allow modification of specific vCPU states via the guest agent.

qemu: Implement virDomainGetGuestVcpus

Allow gathering available vcpu ids, their state and offlinability via
the qemu guest agent. The maximum id was chosen arbitrarily and ought
to be enough for everybody.

qemu: agent: Make setting of vcpus more robust

Documentation for the "guest-set-vcpus" command describes a proper
algorithm how to set vcpus. This patch makes the following changes:

- state of cpus that has not changed is not updated
- if the command was partially successful the command is re-tried with
  the rest of the arguments to get a proper error message
- code is more robust against malicious guest agent
- fix testsuite to the new semantics

virsh: Add command 'guestvcpus' implementing virDomain(GS)etGuestVcpus

Add a straightforward implementation for using the new APIs.

lib: Add API to set individual vcpu usage in the guest via guest agent

To allow finer-grained control of vcpu state using guest agent this API
can be used to individually set the state of the vCPU.

This will allow to better control NUMA enabled guests and/or test
various vCPU configurations.

lib: Add API to query guest vcpu info using guest agent

Add a rather universal API implemented via typed params that will allow
to query the guest agent for the state and possibly other aspects of
guest vcpus.