CA-44425: add the "kill data" option to vhd-util-modify (required for reset-on-boot)

CA-44322: Restrict I/O request merging on filesystems.

Ensure that every single iocb can be issued with only the memory
reserves held in kernel space. Main resource prone to congestion are
bio structs.

For I/O continguous in physical storage, such as bare LUN mappings, a
single bio will hold up to 256 pages. To accomodate block mappings on
file systems, we reserve a more than 1 bio, but cannot submit iocbs of
arbitrary length without risking to stall once the reserve is
exhausted.

Limits the iocb size on ext. Assumes 4k blocks for now.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-44322: Add an I/O-submit thread.

Slightly annoying to add threads to core blktap code, but necessary to
avoid potential starvation when dom0 gets under memory
pressure. Blktap can guarantee io_submit makes progress by keeping
memory reserves, but not enough to guarantee that it's
non-blocking. To refill the reserves, we want completion of in-flight
I/O the main even loop.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.comm>

CA-46079: Recover the image storage type.

Used to be a message parameter passed in at open time, then down
through the VBD and images up to the driver. Replaced by stat() and
statfs().

The vbd->storage isn't really applicable with cross-SR VHD chains
became more popular, so removed. We keep the driver->storage, but only
for verbosity. Drivers with type-dependent code call
tapdisk_storage_type() during td_open() are encouraged to store the
result here.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-46079: Remove the VHDoLVM snapshot rename/reactivation support hacks.

Removed:
 - Switch from raw LV-* to sparse VHD-* leaves, dealing with renames.
 - The lvchange call to move the DM node to the new metadata.

Both rather handled by SM.

Signed-off-by: Daniel Stoddden <daniel.stodden@citrix.com>

CA-46079: Remove the image reopen hack.

Used to reopen the image chain on the first request, thereby detecting
guest activation after migration. Obsolete since tapdisk is
spawned/resumed after VM stop/copy now.

Signed-off-by: Daniel Stoddden <daniel.stodden@citrix.com>

CA-46079: Remove the blktap-1 control daemon.

Got in the way of shifting some definitions around.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-45316: Fix misleading VHD preallocation error.

Short writes are normally due to ENOSPC or EOD, so don't EIO. Then
save offset/count and report the actual errno for future generations.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-44974: Preserve the active connection list when freeing.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

PR-1053: Fix bounce buffer allocation size.

Anticipate significantly less than 2816 requests in flight.

Times 11 * 4k buffer space, this was worth 121MB memory, mlocked.

Since segment treqs are merged, use ring size with some extra headroom
for splits.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1840: Avoid potential response msg loss.

The write-message/close-connection path wouldn't even try a response
message xmit since. Note this case matters when IPC broke, normal I/O
will drain.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-44974: Make tap_ctl_close idempotent.

Avoid potential freelist/conn vector corruption due to
double-frees. Upgrade the WARN_ON() to a panic(), the present drain
loop doesn't want to be asked after disconnect.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1840: Fix buffer xmit error return path in blktap-control.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

PR-1053: Simplify bounce buffer memcpy.

PR-1053: Demalloc the data path.

CA-44958: Sync lreq release with outstanding I/O.

The writeback code doesn't check for partial I/O completion. Fixed
with a common treq.cb and a variable lreq->phase to read/write state.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-44675: Fix parent cache corruption due to I/O crosstalk.

Previous patch requeued completing ring I/O buffers.

An interesting question is why this succeeds without a proper tapdisk
crash. The only sane explanation I can come up with is that the common
path manages to queue AIOs before our response hits the kernel so
unmap goes after GUP page translation. Which sounds not too
improbable, the target leaf vhd bitmap was likely still hot at this
point.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1760: Fix potential infinite loop condition in tap-ctl.

Yet another sign check error.

CP-1705: bug fix for local read caching

CP-1840: Hush tap-ctl stats calls.

Also, not allowing client reentries is fatally wrong.

CP-1840: More status info.

output:

 * vbd.secs: counts sectors served.
 * image.hits/fail: counts sectors completed/failed (not forwarded).
 * image.driver.name: shows driver names, not only numbers.

tapdisk-stats:

 * Move nesting depth tracking to __stats_push/__stats_pop.
 * Adds tapdisk_stats_val(...)/tapdisk_stats_vval(va), for arrays.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1732, CP-1733, CP-1734: Fix disk_types descriptors.

CP-1760: Unbreak tapdisk-control.

 - Connection free list didn't init correctly.
 - Socket errors rather want a sign on the size_t.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1734: bug fixes (for failover from mirror mode on ENOSPC)

CP-1760: tap-ctl stats -- sample tapdisk object state.

Marshals vbd/image/driver state into JSON object trees.

CA-43116: Make list reponses non-verbose in syslog, too.

blktap: Write tapdisk-control response data asynchronous and fully buffered.

Tapdisk should never block on control connections. We preallocate
connection state for a number of clients, including buffer space for
the response (presently 4k/conn). Then stream back response data
asynchronously, driven by the event loop.

blktap: Avoid a potential crasher in tapdisk-control.

Only affects a failure path quite unlikely to be taken.

CP-1733: it's a good idea to zero a variable after testing it, not before

blktap: Catch SIGPIPE in tap-ctl.

CA-43084: Remove blocking opportunities from tapdisk-control.

Certainly should not syslog(), but use tlog instead. While we are at
it, preallocate the connection structs, too. Fixing a memleak by
509:abadd2f7ca77 (control op cancellation). Now uses tlog_syslog. The
noise "received"/"sending" noise should be avoided, but the logging
aids debugging in the meantime.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CP-1732, CP-1733, CP-1734: add local caching support (alpha quality). This includes:
- read caching into the leaf
- mirror write mode
- failover to the secondary image on ENOSPC
- possibility of snapshotting of empty images (for cache setup)

CA-42495: Add /etc/udev/rules.d/blktap.rules

 * Creates /dev/blktap/{control|blktap%d}, i.e. not /dev/xen/blktap-2.
   Would take a ytbw tapctl patch.

 * Patched by the SRPM to ignore tapdevs.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

Update hgignore.

blktap2: Confine list to a single pid, if given.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Redo tap-ctl-list.

Consolidate all outputs to tap_list_t on list_heads, removing the
overcomplicated vectors. Includes a change to the tap_ctl_list
signature, accordingly. Simplifies the old join3 code, now
inlined. Remove the obsolete tap_list id. Introduces list_move and
list_splice_tail macros to list.h.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Minor cleanups.

 * Align format widths.
 * Delete extinguished get_driver_id symbol.
 * s/ctl/cli/.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

Revert cset 520:3e093e233406 (don't retry when there's no point).

Needs more work. Generates ENOSYS responses on XS 5.6.900.

blktap2: Fix tapdisk2 init.

Make the syslog/tlog engine log again.

 * Put start_logging after daemon().

 * Add an fdup helper to dup(stdin).
   Helps using deamon() without dropping stdout.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

don't retry when there's no point

Signed-off-by: Jake Wires <jake.wires@citrix.com>

ensure progress when retries are needed

Signed-off-by: Jake Wires <jake.wires@citrix.com>

don't wedge if reopening vdi fails.

Signed-off-by: Jake Wires <jake.wires@citrix.com>

move debug message to make logs more intelligible

Signed-off-by: Jake Wires <jake.wires@citrix.com>

xc git repo merger.

Signed-off-by: Jake Wires <jake.wires@citrix.com>
Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

All: Fix RPM install path definitions.

Help make libraries install to the correct location without Makefile
divergence from OSS org. Removes private defintions of LIBDIR from the
Makefiles. LIBDIR is globally defined by the toplevel make at xen.org,
and now by the RPM build accordingly.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Add libblktapctl.a/so to the RPM build.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Update tap-ctl timeouts and blocking behavior.

Adds a -t <timeout> switch to the destroy, pause and close operations,
which are known to block. Changes the library call interfaces to use
timeval structs, not <int> secs, which are then passed around
internally. On Linux, the effect should be that we track the total
timeout across calls, not a maximum for individual operations.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Synchronize device removal when removing the vbd.

Employ a new ring ioctl, BLKTAP2_IOCTL_REMOVE_DEVICE, which succeeds
only once the bdev is closed. Iterating events then safely drains the
queue. If not implemented, fall back to the previous behavior, which
may fail requests.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Fix event loop recursions in the I/O muxer.

Suffered from a one deadlock occasions and a potential crasher, due to
gc'ing event structs before unwinding.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Fix tap-ctl-free return val.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Support for control op cancellation.

Make client disconnect cancel blocking operations.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Secure control event loop recursions.

Mask connection from the loop fdset while processing pending
requests.

Annotate message types, separating reentrant from non-rentrant control
operations. Non-reentrant operations fail with EBUSY. There is no
usecase for deferrals, arbitration is up to to upper levels in the
control stack.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Fix accept failure path in tapdisk-control.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Make tap-ctl spawn ouput the bare pid through pipes.

blktap2: Output tapdisk state in hex, consistently.

blktap2: Anticipate NULL log facility names.

blktap2: Build libblktapctl.so

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: Add tap_ctl_find_minor

Slack 'tap-ctl find -t <type> -f <path>'.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

blktap2: <sys/time.h> is needed for 'struct timeval'

Also clean up a Makefile to use $(SBINDIR).

Signed-off-by: Christoph Egger <Christoph.Egger@amd.com>

blktap2: Sync with latest OSS.

Update blktap-devel.rpm.

To include all relevant headers and archives.

blktap: Fix tapdisk disktype issues.

Stop coercing drivers/disktype code into the tool stack. Make both
blktapctrl and tap-ctl transfer type/path pairs as "<type>:<path>"
strings. Remove the message.disktype integer altogether.

blktap2: The tap-ctl control utility and library.

Tapdisk control in userspace, a replacement for the original blktap2
control stack, which had to pass a kernel space interface based on
sysfs nodes.

All tapdisk processes listen for commands on a unix stream socket. The
control library supports scanning the socket namespace for running
tapdisks, VBD minors allocated, associated images and state inquiry.

Control operations include allocating/releasing devices, spawning
tapdisks, opening/closing images, attaching disk images to
devices. disk pause/resume operations and runtime switching of disk
images.

Signed-off-by: Jake Wires <jake.wires@citrix.com>
Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-40842: fix CLI param handling error

CA-40171; Retry the chain reactivation if it fails because of UUID mismatch
between footer and backup footer. Applying patch from Daniel.

CA-40171: Fix vhd context leak in LV reactivation loop.

CA-40696: Use system macros for fd set sizes.

CA-40696: Bump up max number of tapdisks.

 * Kernel space blktap is good for 1024 disks.
 * Blktapctrl only for 504, due to fd_set size.

CA-40171: Validate vhd parent chain during LV reactivation.

Implementation of tapdisk_vbd_reactivate_volumes follows the vhd
parent chain, but therein lacks a critical check matching child and
parent uuids.

This creates a race window wherein reactivation hits an lv resize on
the master. The new last sector, while unrewritten, may carry garbage
footers. Results may vary, from plain reactivation failures to chain
traversal running off into the weeds.

Fixed with a proper uuid check. Adds some eprintfs to aid debugging
the corner cases.

CA-39974: Revert -r486:94bcdedc9a6d

Known to risk queue deadlocks without 487:94a6007d887b.

CA-39974; Unbreak tapdisk behaviour on trunk.

CA-35276: Deproprietarize all blktap sources.

Remove the 'XenSource proprietary' stamp from all source headers,
adding a neat BSD-style disclaimer instead.

Won't bother removing build system support code.
Just set relevant source file lists to null.

CA-29373: Unwedge queue after new request failure.

A tapdisk_vbd_issue_request failure is indication to back of from
further queue processing. The call however will also return error
status of a synchronous request failure.

When failing a new request immediately, we stop making progress. We
break out of the loop, subsequent incoming requests stay on the
new_requests lists, failed_requests is empty, so we block
indefinitely.

Patch decouples queue status from request status, we only back off if
the queue test fails, not the request. Otoh, this means we won't back
off after the first EBUSY encountered. One may argue the decision
about what's busy and not is better made by the driver, not the VBD.

CA-29373: Stop retrying the pathetic case.

Separating the retryable from the recoverable errors should make the
control path more responsive to broken SRs or images. Fail vreqs with
irrecoverable errors immediately. Presently known ones comprise ESTALE
and ENOSPC. Both don't have a great prospect to improve within the
next two minutes.

Note that this somewhat obsoletes ENOSPC, as our original reason for
adding a tapdisk-level forced-shutdown. However, there may still be
reasons to discard retryable requests.

CP-1613: Fix compiler warnings

The vhd_cache_init/enabled calls were redeclared inline after their
original declaration, yielding an ugly warning. These are module
members, not header macros. Safe to leave the inlining to the
compiler.

CA-39535: Break call chain recursion during force-shutdown.

Pending requests during shutdown flag TD_VBD_SHUTDOWN_REQUESTED,
resulting in an endless vbd_close -> vbd_kick -> vbd_check_state ->
vbd_close loop.

The vbd_check_state call was added to unblock canonical (synchronous)
I/O mode in cset 45c15fdaed55 (Separate tapdisk raw I/O into different
backends).

We only need the queue dispatch during vbd_kick. Fixed by breaking a
vbd_check_queue_state out of vbd_check_state.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

Import libvhdio from the XenClient fork of blktap (required for transfervm VHD tests)

CP-1613: CR-60/REQ222 - VHD import through Transfer VM (partial)

Minor changes to libvhd so that it compiles in the Transfer VM's
environment.

CA-39320: fix the endianness of the "vhd-util read -B" output

CA-37486: Prevent watchdog timeouts on paused VBSs.

The 10s watchdog timeout is easily spent pausing. Since
470:e5e6122a457e we will drop the log into a more permanent location,
so avoid that.

Adds tapdisk_vbd_mark_progress() for timestamping. Adds an extra
timestamp mark to unpause.

CA-37486: Prevent bogus EIO warnings while quiescing.

Forwarding treqs while trying to pause barfs. An EBUSY is kind of
misleading (no more than EIO) but right now the only silent one.

CA-36298: add more logging to vhd-util-scan for EINVAL error cases

CA-37618: add a switch to print VHD BAT information as a bitmap

CA-36385: Prefer AIO eventfd support on kernels >= 2.6.22

Mainline kernel support for eventfd(2) in linux aio was added between
2.6.21 and 2.6.22. Libaio after 0.3.107 has the header file, but
presently few systems support it. Neither do we rely on an up-to-date
libc6.

Instead, this patch adds a header which defines custom iocb_common
struct, and works around a potentially missing sys/eventfd.h.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>

CA-36385: Separate tapdisk raw I/O into different backends.

Hide tapdisk support for different raw I/O interfaces behind a new
struct tio. Libaio remains to dominate the interface, requiring
everyone to dispatch iocb/ioevent structs.

Backends:
 - lio:  Kernel AIO via libaio.
 - rwio: Canonical read/write() mode.

Misc:
 - Fixes a bug in tapdisk-vbd which locks up the sync io mode.
 - Wants a PERROR macro in blktaplib.h
 - Removes dead code in qcow2raw to make it link again.

Signed-off-by: Daniel Stodden <daniel.stodden@citrix.com>
Signed-off-by: Jake Wires <jake.wires@citrix.com>

CA-27472: Revert poll event debug code.

CA-27472: Revert error dispersion debug code.

CA-34981: Set a noreturn attribute on td_panic()

Prevents bogus uninitialized variable usage warnings.

CA-35363: fix VHD metadata corruption introduced with cset 453:b86e2a0bbccd

CA-34846: Integrate tapdisk-syslog with the tlog_error path.

Currently removes the caller line filter, based on the fact that we
are only reporting terminal vreq failures anyway.

[The alternative would have been to keep filtering and flush the log
only once per loop iteration.]

With an overall request timeout of 2 minutes per request, there should
presently be no need to filter.

This may likely change in future, so bursts of errors would lead to
message loss. We anticipate this by logging to both syslog and the
logfile, which is then reliable.

CA-34846: Add non-blocking syslog client.

Limited talk to syslog on the datapath. Integrates with the event loop
and directly talks to /dev/log. EAGAIN redirects messages into a
fixed-size ring buffer.

The main result is that datapath errors get reported immediately,
instead of being deferred until the next control path intervention.

CA-34846: Remove disktypes.h from tapdisk.h

Leads to name clashes: the tapdisk_log driver vs. tapdisk-log.

CA-34846: Enable event masking.

CA-34846: Enable single loop iterations in tapdisk-server.

CA-34846: Support recursive event loop iterations.

Split scheduler_run_events() into two phases:
 1. scheduler_check_events() processes the results from select().
 2. scheduler_run_events() dispatches results collected during the prior check.

Given that fd notification are typically level-triggered, this does
slightly more than absolutely necessary (likely might just as well
re-select the event sets instead).

But the given approach should generate a little less overhead and the
split above would also be the way to go when integrating tapdisks with
foreign event loops.

CA-34846: Fix a scheduler glitch.

Because max_fd = 0 would indicate we're polling stdin in the unlikely
case where no events whatsoever are to be polled. We never poll empty
fd sets, so this should yield no practical effect.

CA-34846: Eliminiate the restart flag.

Working towards a reentrant scheduler_run_events(). The restart flag
is meant to recover from event struct removals. Instead, do not delete
events during scheduler_event_callback(). Mark them as dead instead,
and collect them on the return path.

CA-34981: Remove nonexistent function declaration.

CA-27472: Sort out tapdisk AIO init.

Move event callbacks registration into tapdisk-queue. This should also
remove the need for the dummy pollfd pipe in the synchronous case.

CA-27472: Sort out tapdisk IPC init.

Move I/O and event callbacks setup out of tapdisk-server, into tapdisk-ipc.