remote: allow TLS protocol/cipher priority override in URI

Add support for a "tls_priority" URI parameter in remote
driver URIs. eg

 qemu+tls://localhost/session?tls_priority=NORMAL:-VERS-SSL3.0

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

libvirtd: add config option for TLS priority

Add a "tls_priority" config option to /etc/libvirt/libvirtd.conf
to allow the administrator to override the built-in default
setting. This only affects the server side configuration.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

rpc: allow priority string to be passed to TLS context

Extend the virNetTLSContextNew* constructors to allow
the TLS priority string to be passed in, overriding the
compile time default.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

configure: allow setting default TLS priority string

Currently libvirt calls gnutls_set_default_priority()
which on old systems resolves to "NORMAL" while new
systems it resolves to "@SYSTEM". Either way, this
is a global default that is identical across all apps.

We want to allow distros to flexibility to define a
custom default string for libvirt priority, so add
a --tls-priority=STRING  flag to configure to enable
this to be set.

It is expected that distros would use this when creating
RPM/Deb/etc packages, according to their preferred crypto
handling policies.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

rpc: set gnutls log function at global init time

Currently we set the gnutls log function when creating a
TLS context, however, the setting is in fact global, not
per context. So we should be setting it when we first call
gnutls_global_init() instead.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

tls: remove support for gnutls 1.x.x, require 2.2.0

We need to use the gnutls_priority_set_direct method which
was not introduced until 2.1.7, so bump version to 2.2.0
which is the first stable release with it included. This
release dates from Dec 2007 so it is reasonable to ditch
support for the 1.x.x series for gnutls releases entirely.

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

virsh: domdisplay: if listen is 0.0.0.0 or [::] print address from URI

Currently if a guest has listen address 0.0.0.0 or [::] and you run
"virsh domdisplay $domain" you always get "spice://localhost:$port".

We want to print better address if someone is connected from a different
computer using "virsh -c qemu+ssh://some.host/system".  This patch fixes the
behavior of virsh to print in this case "spice://some.host:$port".

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1332446

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

qemu_process: don't print empty line if qemu exits without any error

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1335617

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

qemu_monitor: rephrase error message if qemu closes monitor

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

virschematest: Link with libxml2

We use libxml2 APIs in the test (e.g. xmlFreeDoc) but not link
with -lxml2 which can cause problems:

/usr/bin/ld: virschematest.o: undefined reference to symbol 'xmlFreeDoc@@LIBXML2_2.4.30'
//usr/lib/x86_64-linux-gnu/libxml2.so.2: error adding symbols: DSO missing from command line
collect2: error: ld returned 1 exit status
Makefile:4702: recipe for target 'virschematest' failed

Reported-by: Katerina Koukiou <k.koukiou@googlemail.com>
Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

virschematest: Access the right directory containing XMLs

So the story goes like this. The testSchemaDirs() function is
called with: a) the schema file, b) list of the directories that
contains XMLs documents that should be checked against the schema
file from a). However, the directories in the list are really
just their names and it's up to testSchemaDirs to construct the
absolute path and call testSchemaDir() which then does the actual
validation. The absolute path is constructed, but never actually
used (maybe due to a typo). Thus a VPATH build is broken.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

Introduce virschematest

Instead of calling xmllint via a shell script, use our virXMLValidator
API to do it directly via libxml.

Introduce virXMLValidatorValidate

Split out the code for XML validation into a new function.

Introduce virXMLValidatorInit

Split out all the code initializing the validator
to a separate function.

Introduce virXMLValidatorFree

Split out the code cleaning up the validator.

Introduce virXMLValidator structure

Store all the data related to RNG validation in one structure to
allow splitting virXMLValidateAgainstSchema.

qemu: process: Call disk startup policy check after cloning domain def

In commit 1e38ef72 the disk startup policy check was moved prior to the
call to virDomainObjSetDefTransient which dropped the disk from the
config rather than the def to be started which is a bug.

Additionally we'd not report the disk change event for this since the
disk aliases were not set at that point.

Finally 'volume' based disks would not work with startup policy too.

Fix it by moving it back after the definition is copied, aliases are
assigned and disk sources are translated.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1341415

qemu: domain: Sanitize return value handling in disk presence checker

One of the functions is returning always 0 and the second one uses
unnecessary labels.

qemu: driver: Unset log file watcher after restoring a VM save file

qemuProcessStart does not unset the infrastructure that retrieves errors
from the qemu log file in case of migration. As this wasn't handled
properly in qemuDomainSaveImageStartVM we kept the logging context/fd
open for the lifetime of the VM rather than closing it after it's not
needed.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1325080

test: Remove executable permission from Xen xm files

The configuration files are not directly executable as they don't have
as hash-bang line.

xen: test for driver=tap2 sub-type in xen-xm

tap2 only handles 'aio', but not 'raw', which must be explicitly given:

XML:raw needs to be translated to XM:aio for 'tap' and 'tap2' Xen
drivers.

xen: Also add sub-type for driver=tap2 in xen-xm

tap2 only handles 'aio', but not 'raw', which must be explicitly given:

| $ virsh domxml-to-native yyy.xml > yyy.xm
| $ xm new yyy.xm
| Error: tap:/srv/xen/xxx.img not a valid disk type
| $ sed -i -e 's/tap2:/&aio:/' yyy.xm
| $ xm new yyy.xm

Fix reading and writing "xen-xm" format for "tap2" by handling it the
same as "tap".

qemu: Replace VIR_ERROR with standard vir*Error in state driver init

xen: Replace VIR_ERROR with standard vir*Error in state driver init

uml: Replace VIR_ERROR with standard vir*Error in state driver init

qemu: migration: Add VM log entry on start of migration

Note the start of migration of a qemu process to the VM log file for
possible debug purposes.

qemu: process: Append the "shutting down" message using the new APIs

Use qemuDomainLogAppendMessage rather than attempting to open a new
logging context with file descriptors. The new approach allows to log
the message even if qemu is still running at that point which appens
during migration finish phase where qemuProcessStop is killing qemu.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1312188

qemu: domain: Implement helper for one-shot log entries to the VM log file

Along with the virtlogd addition of the log file appending API implement
a helper for logging one-shot entries to the log file including the
fallback approach of using direct file access.

This will be used for noting the shutdown of the qemu proces and
possibly other actions such as VM migration and other critical VM
lifecycle events.

log: daemon: Add remote protocol handling for the log appending API

Implement the RPC dispatcher and caller for the new API.

log: handler: Add new API to append to logging files

For logging one-shot entries to the VM log file it's quite a waste to
hold open the file descriptor for logging that is provided by the
current API.

This new API will be ideal for logging one-shot entries to the file
e.g. at the point when we shut the VM down rather than having to add the
whole file-descriptor infrastructure.

Additionally this will allow to add the messages even after restart of
libvirtd since virtlogd doesn't allow to obtain a regular context with
filedescriptors while the VM is still active.

util: Perform proper virRandomBytes return value checking

Document the return value of virRandomBytes as 0 or some errno value and
then make sure all callers make the proper checks.

Reindent virNetDevSendEthtoolIoctl

Reuse the socket in virNetDevGetFeatures

This speeds up node_device_udev driver startup 11x.

Return bool in virNetDevFeatureAvailable

Simplify the logic

Split out virNetDevGetEthtoolGFeatures

Move out the code depending on HAVE_DECL_ETHTOOL_GFEATURES.

Split out virNetDevGetEthtoolFeatures

Split out the features that we probe via various ethtool commands
and ETHTOOL_GFLAGS.

Move struct elem out of virNetDevGetFeatures

Rename struct elem to virNetDevEthtoolFeatureCmd and move it
out of the function to allow reusing it.

Reindent comment of virNetDevFeatureAvailable

qemu: process: Allow VIR_QEMU_PROCESS_START_NEW in qemuProcessLaunch

The new flag was not added to virCheckFlags in commit '0d1c17aa' causing
a regression where VMs were not able to start.

util: Alter virCryptoEncryptData for non GNUTLS builds

Rather than intermixing the ATTRIBUTE_UNUSED - use HAVE_GNUTLS_CIPHER_ENCRYPT
for the whole function instead.

Add nomatch filters when enumerating udev devices

Filter out some subsystems we are not interested in.

node_device_udev: rename labels to cleanup

Instead of the custom out and out_unlock.

node_device_udev: remove unnecessary ret variables

Remove ret variables and labels from functions where there is no cleanup
to be done.

qemu: Move check that validates 'min_guarantee' to qemuDomainDefValidate

Introduce a validation callback for qemu and move checking of
min_guarantee to the new callback.

conf: Move validation of disk LUN device to the appropriate place

Now with the proper domain config validation infrastructure the check
can be moved to a place that doesn't make domains vanish.

conf: Move disk info validator to the domain conf validator

Since it will not be called from outside of conf we can unexport it too
if we move it to the appropriate place.

Test suite change is necessary since the error will be reported sooner
now.

qemu: process: Call the domain config validator when starting a new VM

To avoid duplicating all the checks when starting a fresh VM from a
possibly unchecked config, call the domain def validator.

qemu: process: Convert multiple boolean args to a single flag

Validation of qemu process startup requires to know whether the process
is used for a fresh VM or whether it's reloaded from a
snapshot/migration. Pass this information in via a flag rather than
calculating it from a bunch of bools.

qemu: process: Unexport qemuProcessStartValidate

conf: Add device def validation callback

Similarly to the domain definition validator add a device validator. The
change to the prototype of the domain validator is necessary as
virDomainDeviceInfoIterateInternal requires a non-const pointer.

conf: drop 'def' from struct virDomainDefPostParseDeviceIteratorData

It's passed to all places along with the structure.

conf: Add infrastructure for adding configuration validation

Until now we weren't able to add checks that would reject configuration
once accepted by the parser. This patch adds a new callback and
infrastructure to add such checks. In this patch all the places where
rejecting a now-invalid configuration wouldn't be a good idea are marked
with a new parser flag.

conf: Rename VIR_DOMAIN_DEF_PARSE_VALIDATE to VIR_DOMAIN_DEF_PARSE_VALIDATE_SCHEMA

Make it obvious that the flag is controlling RNG schema validation.

node_device_udev: remove yoda condition

udevSetupSystemDev: return if allocation fails

There is no cleanup to be done.

Reformat udevProcessRemoveableMedia

Remove unnecessary ret variable and return early if we have no media
to save on indentation.

udevProcessStorage: trim all whitespace from model and vendor

Use virTrimSpaces instead of a custom implementation.

node_device_udev: switch to using virReportError

Also use the more common "Unable to initialize mutex" string
and virReportSystemError instead of virStrerror.

Remove PROPERTY_* constants

They are no longer used.

Only return two values in udevGetUintSysfsAttr

Open code the call to udev_device_get_sysattr_value
in the one place where it's needed.

Only return two values in udevGetIntSysfsAttr

Callers only check for an error or a specific integer value.

Only return two values in udevGetStringSysfsAttr

The callers only care for an error, and a missing attribute
is simply NULL.

Remove extra allocation in udevGetDeviceSysfsAttr

Most of the code paths free it right after converting it to
an integer.

Only return two values in udevGetUintProperty

We only care about the failure, not a missing property.

Only return two values in udevGetStringProperty

There is no need to differentiate between PROPERTY_FOUND
and PROPERTY_MISSING - we can just look if the string is non-NULL.

qemu: Add support to QXL's max_outputs parameter

Historically, we added heads=1 to videos, but for example for qxl, we
did not reflect that on the command line.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1283207

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

qemu: Check for qxl's max_outputs parameter

Add capabilities for both qxl and qxl-vga devices.

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

Rewrite disk type checking in udevProcessStorage

Error out on parsing errors and use a local const char pointer
instead of chained ifs to check whether we found a match.

Fix the return value in udevKludgeStorageType

Since the switch to VIR_STRDUP this function returns 1 on success,
but the caller treats any non-zero value as failure.

udevProcessFloppy; remove unnecessary allocation

Use udevHasDeviceProperty instead of udevGetStringProperty.
We do not need to copy the string since we do not need it.

Also add braces around the if body, since the change made
syntax check complain.

Move udevHasDeviceProperty earlier

Do not VIR_STRDUP the string in udevGetDeviceProperty

Two out of three callers free it right after converting it to a number.

Also change the comment at the beginning of the function, because
the comment inside the function told me to.

Remove udevStrToLong_i

Open code the error message.

Remove udevStrToLong_ui

Remove the debug message, open code the error in the two udevGetUint
callers and use a more specific error in SCSI and PCI processing.

Remove udevStrToLong_ull

The wrapper adds an error message or a debug log.

Since we already log the properties we get from udev as strings,
there is no much use for the debug logs.

Open code the error message and delete the function.

Rewrite usage of StrToLong_ui in udevProcess{PCI,SCSI}

Use virStrToLong_ui instead of udevStrToLong_ui, reformat the code
and report a more specific error message.

udevProcessSCSIHost: use STRSKIP

Instead of separating it into STRPEFIX and str + strlen.

udevGetDMIData: remove unused variable

A variable without use is pointless.

Remove it, since we have no use for it.

Assign node device driver private data earlier

Do not call nodeStateCleanup on early initialization error

If we have not allocated driver yet, there is nothing to cleanup.

Reformat nodeStateCleanup

Remove the ret variable and return early if there is no driver.

node_device_udev: initialize libpciaccess after the driver lock

This will simplify cleanup.

Split out pciaccess (de)initialization

Move pci_system_init and pci_system_cleanup into separate functions,
to make the conditional compilation easier to read.

Initialize ret to -1 in nodeStateInitialize

Most of the code paths had to reset it to -1 and returning 0 was
only possible if we made it to the end of the function.

Initialize it to -1 and only set it to 0 if we reach the end, as we do
in most of libvirt code.

systemd: directly notify systemd instead of using sd_notify

The sd_notify method is used to tell systemd when libvirtd
has finished starting up. All it does is send a datagram
containing the string parameter to systemd on a UNIX socket
named in the NOTIFY_SOCKET environment variable. Rather than
pulling in the systemd libraries for this, just code the
notification directly in libvirt as this is a stable ABI
from systemd's POV which explicitly allows independant
implementations:

See "Reimplementable Independently" column in the
"$NOTIFY_SOCKET Daemon Notifications" row:

https://www.freedesktop.org/wiki/Software/systemd/InterfacePortabilityAndStabilityChart/

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=1314881

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

qemu: Move and rename qemuBuildObjectCommandlineFromJSON

Move the module from qemu_command.c to a new module virqemu.c and
rename the API to virQEMUBuildObjectCommandline.

This API will then be shareable with qemu-img and the need to build
a security object for luks support.

Signed-off-by: John Ferlan <jferlan@redhat.com>

storage: Create helper to set input for CreateQemuImg code

Create helper virStorageBackendCreateQemuImgSetInput to set the input

Signed-off-by: John Ferlan <jferlan@redhat.com>

storage: Split out a helper for encryption checks

Split out a helper from virStorageBackendCreateQemuImgCmdFromVol
to check the encryption - soon a new encryption sheriff will be
patroling and that'll mean all sorts of new checks.

Signed-off-by: John Ferlan <jferlan@redhat.com>

storage: Split out setting default secret for encryption

Split the qcow setting of encryption secrets into a helper

Signed-off-by: John Ferlan <jferlan@redhat.com>

util: Clean up code formatting in virstorageencryption

Bring style more in line with more recent code.

Signed-off-by: John Ferlan <jferlan@redhat.com>

docs: Document our event loop

I was asked the other day what's event loop and how libvirt uses
it. Well, I haven't found any good sources on the Internet so I
thought of writing the documentation on my own.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

Do not check for domain liveness in virDomainObjSetDefTransient

Remove the live attribute and mark the definition as transient
whether the domain is runing or not.

There were only two callers left calling with live=false:
* testDomainStartState, where the domain already is active
  because we assigned vm->def->id just a few lines above the call
* virDomainObjGetPersistentDef, which now only calls
  virDomainObjSetDefTransient for an active domain

Check if the domain is active in virDomainObjGetPersistentDef

Calling virDomainObjSetDefTransient with live=false is a no-op
on an inactive domain.

Only call it on an active domain, since this is the only place using
the live bool.

Clean up redundant usage of virDomainObjSetDefTransient

Commit 45ec297d from November 2010:
    Make state driver device hotplug/update actually transient
added virDomainObjSetDefTransient calls to the domain startup
function in several drivers.

In November 2011, commit 8866eed:
    Set aliases for LXC/UML console devices
added a call earlier in the startup function, without removing the
existing ones.

Also, in the UML driver it seems the function never did anything
useful - vm->def->id is set asynchronnously in umlNotifyEvent.
At the time of calling virDomainObjSetDefTransient with live=false,
vm->def->id was likely still -1, making the call a no-op.

Post-release version bump to 1.3.6

Release of libvirt-1.3.5

* docs/news.html.in: update with 1.3.5 data

Refresh po files from zanata

Signed-off-by: Daniel P. Berrange <berrange@redhat.com>

Fix building with -Og

When building using -Og, gcc sees that some variables can be used
uninitialized  It can be debatable whether it is possible with our
codeflow, but functions should be self-contained and initializations are
always good.  The return instead of goto is due to actualType being used
in the cleanup.

Signed-off-by: Martin Kletzander <mkletzan@redhat.com>

virPerfEventIsEnabled: Don't crash on shut off domains

So imagine the following. You connect read only to a daemon and
try to fetch stats for a shut off domain, e.g.:

  virsh -r domstats $dom

but all of a sudden, virsh instead of printing the stats throws
the following error at you:

  error: Disconnected from qemu:///system due to I/O error
  error: End of file while reading data: Input/output error

The daemon crashed. This is its backtrace:

#0  0x00007fa43e3751a8 in virPerfEventIsEnabled (perf=0x0, type=VIR_PERF_EVENT_MBMT) at util/virperf.c:241
#1  0x00007fa424a9f042 in qemuDomainGetStatsPerf (driver=0x7fa3f4022a30, dom=0x7fa3f40e24c0, record=0x7fa41c000e20, maxparams=0x7fa4360b38d0, privflags=1) at qemu/qemu_driver.c:19110
#2  0x00007fa424a9f2e7 in qemuDomainGetStats (conn=0x7fa41c001b20, dom=0x7fa3f40e24c0, stats=127, record=0x7fa4360b3970, flags=1) at qemu/qemu_driver.c:19213
#3  0x00007fa424a9f672 in qemuConnectGetAllDomainStats (conn=0x7fa41c001b20, doms=0x7fa41c0017f0, ndoms=1, stats=127, retStats=0x7fa4360b3a50, flags=0) at qemu/qemu_driver.c:19303
#4  0x00007fa43e4e15f6 in virDomainListGetStats (doms=0x7fa41c0017f0, stats=0, retStats=0x7fa4360b3a50, flags=0) at libvirt-domain.c:11615

Program received signal SIGSEGV, Segmentation fault.
[Switching to Thread 0x7f28d1a38700 (LWP 16154)]
0x00007f28da4fa1a8 in virPerfEventIsEnabled (perf=0x0, type=VIR_PERF_EVENT_MBMT) at util/virperf.c:241
241         return event->enabled;

Problem is, shut off domains don't have priv->perf allocated.
Therefore if in frame #1 qemuDomainGetStatsPerf() tries to check
if perf events are enabled, NULL is passed to
virPerfEventIsEnabled() which due to some incredible
implementation dereference it. Fix this by checking whether
passed object is not NULL.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>

Drop virPerfGetEventFd

This function is not used anywhere. Moreover, the code that would
use lives in virperf.c and therefore has access to the FD anyway.
Well, for instance virPerfReadEvent is doing just that.

Signed-off-by: Michal Privoznik <mprivozn@redhat.com>