Add POOL_NX_OPTIN=1 to all drivers

Win10's verifier asserts that all non-paged pool allocations are
made from the non-paged no-execute pool

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Override PartMgr SanPolicy

This patch makes sure that PartMgr's SanPolicy is 1 after XENVBD
installation, which means that newly plugged VBDs will come online as most
admins will expect.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Avoid evaluating assertion expressions in free builds

The evaluations are pointless and the warnings generated by not evaluating
can be squashed with a couple of #pragmas.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Turn off ASSERTions in free builds

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fixed improper SCSI UNMAP request implementation

The XenDisk disk class filter driver was generating requests
that did not adhere to the t10 SBC-3 SCSI specification for UNMAP
operations.  Specifically, the data length and block descriptor data
length fields were not populated properly per the spec.

Although the XenVBD miniport driver handled these malformed
requests correctly, it failed to handle *properly* formed requests,
which would result in unpredictable behavior.

Additionally, the XenDisk filter wasn't properly responding to
StorageDeviceTrimProperty queries per the MSDN spec. Specifically,
the DEVICE_TRIM_DESCRIPTOR::Version structure member needs to be set
to sizeof(DEVICE_TRIM_DESCRIPTOR).

Signed-off-by: David Buches <davebuch@amazon.com>

Use correct FdoD0ToD3 function.

Signed-off-by: Mark Syms <mark.syms@citrix.com>

Don't use C runtime version of toupper()

It seems that, despite its trivial functionality, the runtime implementation
insists on converting to Unicode! This means the function is actually only
safe at PASSIVE_LEVEL.
This patch implements __toupper() as a replacement with no such hidden
nastiness and modifies callers to use that.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove BlockRing.Outstanding / BlockRingAbort

The BlockRing Outstanding stat is duplicated by SubmittedReqs.Count.
Remove BlockRing.Outstanding and the BlockRingAbort function as the
stat is not useful, and can trigger ASSERTion failures when requests
are stuck outstanding on a broken ring that is being destroyed.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

NULL the SuspendCallback context when going to D3...

...otherwise going back to D0 will hit an ASSERTion failure.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update interfaces.

Interface versions seem to have got out of sync.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Publish distribution information and hotplug capability to xenstore

My recent patch series to Xen added a documented path and format for
publishing information about PV driver distributions and hotplug
capability to xenstore.

This patch adds code to populate the documented paths (should they exist)
with information about the XENVBD driver package and the driver's ability
to handle hotplug events.

Suggested-by: Owen Smith <owen.smith@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Kick notifier DPC directly.

EVTCHN(Trigger, ...) was changed with the FiFo event channel
implementation, which led to a performance regression. Kicking
the notifier does not require triggering the local end of the
event channel, so shortcut this process by queueing the notifier
DPC directly.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Add a registry override to veto driver installations

There are certain cases where a local installer package may wish to
prevent Windows Update installations of drivers. This can be achieved by
having the co-installer check for a registry value and fail it's pre-install
phase if the value is present.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Change coinstaller log level to TXTLOG_WARNING

Windows 10 does not enable logging of TXTLOG_DETAILS in setupapi.dev.log by
default, so use TXTLOG_WARNING to make sure the messages appear.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Parameterize vendor prefix and PCI device id

The XenServer PV vendor prefix ('XS') and PCI device (C000) are still
hard-coded into the XENVBD package. These need to be stripped out and
replaced by values that can be customized at build time. This patch does
that.

The patch also reverts to building version.h and customizing xenvbd.inf
directly in build.py.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Clear unplug requests from co-installer

When XENVBD is uninstalled there is no suitable notification in kernel
which can be used to clear any remaining unplug requests. This leads to
a certain 0x7B bugcheck on reboot. This patch therefore does the job
from the co-installer since this seems to be the only way.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Simplify unplug request

Since the PDO driver in XENVBD's case is in-box, we don't need to defer
requesting emulated device unplug to when PDOs are started, we can do it
when the FDO is started.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Reduce the number of registered watches per target

XENVBD registers watches for changes in various per-VBD backend quantities,
e.g. state. All these watches, however, trigger one common event and so it
is wasteful of the guest's watch quota. Instead register a single watch on
the backend key, which will fire if any key below it is modified. This may
cause the event to be set slightly more often, but saves 3 watches per
target.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add missing parameter to log statement

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Set per-disk queue depth

Windows apparently defaults to a queue depth of 20, which is a bit on the
small side. This patch sets the value to the maximum possible, which is
apparently 254 instead of the documented 255.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update docs and set version to 8.1.0

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix build warning

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove Relations->Count assertion

It's bogus in the case of block-detach

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Don't drop FDO mutex between PDO enumeration and Relations Count check

A PDO can disappear between these two, leading to an assertion failure so
keep the lock held to stop the list from being changed.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add missing unplug request

If a new target is enumerated during a device relations query then no
request is made for unplug, or reboot. This patch adds the necessary code
to rectify this issue.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Force a re-enumeration of PDOs after filter destruction

If the underlying PDO has not gone away then we need to create a fresh
filter object.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove interface subscription and unplug code from the co-installed...

...and use the new XENBUS_UNPLUG interface to request unplug.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Ignore failures when closing the frontend

The backend may disappear when this happens but we must always carry on
and disconnect the frontend regardless.

From: Owen Smith <owen.smith@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove PDO set/is-missing logic from XENDISK

It's all completely unnecessary for a filter driver

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Use inline functions to acquire/release FDO mutex...

...rather then open-coded acquires and releases.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

REMOVE_DEVICE must set device to Deleted

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix target enumeration

Issues were found when enumeration races with plug/unplug. This patch
should fix these problems.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>
Signed-off-by: Owen Smith <owen.smith@citrix.com>

Update bindings

Refresh the interface headers and add the XENBUS major version into
the top byte of the revision, since this is now used to avoid namespace
conflicts.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Account for rewinding requests

When requests are rewound to the fresh queue during resume from suspend,
decrement the Outstanding stat so that an ASSERT is not triggered.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix device relations in xendisk filter

Incorrect handling breaks device removal. The crucial point is that a
PDO in the case of a filter should always disappear when an
IRP_MN_REMOVE_DEVICE comes down the stack. It does not need to stick around
in some cases, like a true PDO.

Signed-off-by: Ghiya, Murtaza <murtazg@amazon.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix ASSERT

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix ASSERT, s/Recieved/Received

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Calculate size of DEVICE_RELATIONS

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Set script file execute permissions

The lack of execute persmission causes clones done using cygwin git to
leave scripts in a non-executable state.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

A further VS2013 SDV fix

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix VS2013 SDV failures

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix austere allocator when small heap list head is NULL

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Attempt to reset event channel ABI to 2-Layer

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix HvmGetParameter/HvmSetParameter

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Make sure we only use the first 32 (-8) grant entries for crash kernel

XENBUS only uses grant entries 32 onwards so that the first 32 (minus the 8
reserved entries) are clean for the crash kernel. This patch makes sure that
the crash kernel does not go over that limit.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Insertion into head of austere heap misses setting reverse link

The heap is maintained as a doubly linked list of objects but both
__AllocSmall() and __FreeSmall() are missing setup of the reverse link when
a new object is inserted at the head. This patch adds the necessary fix.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>
Reported-by: Gregory Jacklin <jackling@amazon.com>

Update to EVTCHN version 3

Take the opportunity to refresh all imported headers though as there's a
small doxygen tweak in each of them too.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Protect BackendPath from race using StateLock

The BackendPath can change as part of PDO state transitions, leading
to a race with the frontend thread.  Since the frontend state lock is
locked through state transitions, taking the lock is sufficient to
avoid the race

Signed-off-by: Ben Chalmers <Ben.Chalmers@citrix.com>

Ignore invalid devices

When a floppy drive is attached, the device id string cannot be parsed
into a valid xvd, sd? or hd? format. Report the error instead of asserting
and return the invalid value to ignore the device in question.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Move interface subscription code into co-installer

Interface subscription is better handled at package installation time and
therefore the co-installer is the right place for it to live.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Handle storage query ioctls properly

Both the ioctls we care about are METHOD_BUFFERED so ASSERT that and then
use the associated IRP SystemBuffer, remembering to verify input and output
sizes.
Also we should only return (or expect returned) data in the case of a full
query, as opposed to an existence query.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make sure INF gets re-built each time

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make sure version header gets re-built each time

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add XenDisk device upper filter.

XenDisk intercepts and translates IOCTL_STORAGE_MANAGE_DATA_SET_ATTRIBUTES
into SCSIOP_UNMAP SRBs. Storport will pass on these SCSIOP_UNMAP requests
to XenVbd, which will create the appropriate BLKIF_OP_DISCARD requests.
XenDisk is only neccessary because Storport does not do the translation
to SCSIOP_UNMAPs.

Signed-off-by: Owen Smith <owen.smith@citrix.com>
Acked-by: Paul Durrant <paul.durrant@citrix.com>

Run XenVbd SDV after XenCrsh SDV

XenVbd's SDV build requires output from XenCrsh's SDV build.

Signed-off-by: Owen Smith <owen.smith@citrix.com>
Acked-by: Paul Durrant <paul.durrant@citrix.com>

Prepare SCSIOP_UNMAP correctly

SCSIOP_UNMAP requests contain a list of extents to discard
and each BLKIF_OP_DISCARD only handles a single extent.
Break a SRB doen into multiple ring requests as necessary.

Signed-off-by: Owen Smith <owen.smith@citrix.com>
Acked-by: Paul Durrant <paul.durrant@citrix.com>

Reduce spam from build.py

We don't the verbose prints when deciding whether we're using vs2012 or 2013.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Don't use universal_newlines=True in subprocess.Popen()

For some versions of python this appears to cause corruption of the
output byte string by forcibly decoding with the wrong encoding.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Re-read features after Connect

blkback incorrectly writes features before setting Connected instead
of before setting InitWait. Re-read these values after backend goes
Connected, to get the current value.
Note: Some values *must* be written before setting Connected, as
blkback can only discover these values by connecting to the underlying
storage.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix BLKIF_OP_INDIRECT protocol requests

Fixes an issue with indirect requests that arose due to changes in
XenBus's (7.x) grant table interface (v3 to v4). Refactored for the
8.0 version of XenBus.

Rework internal request structures to contain a list of segments.
Number of segments determines the difference between direct and
indirect operations.
blkback is limited to 256 segments per indirect request, XenVbd
reports support for 175 physical breaks (i.e. segments).

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Add support for Visual Studio 2013 & WDK 8.1

Signed-off-by: Ben Chalmers <ben.chalmers@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Actually put 8.0.0 in the CHANGELOG rather than just saying I did

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update branding

Remove the use of the 'XenServer' product name except where it is
still appropriate.
Remove use of 'Citrix' from all places except source file
copyrights.
Allow company and product name to be set at build time.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Implement new API version scheme

This patch changes the way APIs work in an incompatible way. (See README.md
for details).
The patch also includes a *lot* of code tidying and movement and as such
is not really suitable for review as a patch; the resulting code should
itself be reviewed.
Given the scale of the change, the major version number has been revised to
8 and other version numbers reset to zero.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #34 from OwenSmith/fix-reset

Fix reset

Approved-By: Ben.Chalmers@citrix.com

Add extra state to frontend transition to allow reset to cleanup
requests after CLOSED transition but before disconnecting granter

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Cleanup PreparedReqs before closing the ring

To unprepare reqs, the granter is required, which can only operate
when the frontend is connected.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Force calling BlockRingPoll as DPC may not run.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #33 from OwenSmith/coinstaller-disk-timeout

Coinstaller disk timeout

Fix service key name

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Increase disk timeout during co-installer to a minimum of 120 seconds
to match timeout in backend(s)

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #32 from OwenSmith/pdoreset

Prevent an assertion by triggering the DPC to poll frontend during pause...

Prevent an assertion by triggering the DPC to poll frontend during pause.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #31 from OwenSmith/increase-timeout

Increase PdoReset timeout and logging.

Increase PdoReset timeout and logging.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #29 from OwenSmith/fix-reset

Check for right flag in granter

Check for right flag in granter

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #28 from OwenSmith/fix-reset

Fix PdoReset by attempting to poll ring for up to 5 minutes before bugch...

Fix PdoReset by attempting to poll ring for up to 5 minutes before bugchecking

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #27 from OwenSmith/master

SDV is picky about %d/%u printf format specifiers

SDV is picky about %d/%u printf format specifiers

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #26 from pauldu/gnttab

Use new GNTTAB interface

Use new GNTTAB interface

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #25 from OwenSmith/reduce-peak-grants

Reduce peak grants

Fix checked-only bugcheck (0xD1 due to IsOnList in buffer.c)

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Submit all prepared requests then attempt to prepare the next SRB

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fold BlockRingPush into BlockRingSubmit

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Move Lookaside functions to same part of pdo.c

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Always bounce SRBs via FreshSrbs queue

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Refactor: internalize request preparation functions into a single call

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Track current/maximum grant usage

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #24 from OwenSmith/sdv

Fix SDV on xencrsh

Fix SDV on xencrsh

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #23 from OwenSmith/sdv

Fix build by removing (redefinition) of MmGetPhysicalAddress

Fix build by removing (redefinition) of MmGetPhysicalAddress

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #22 from OwenSmith/sdv

Add Sdv to build.py

Fix SDV errors, completes SDV and DVL log run
Notes: Date format must be US (MM/DD/YY) for WHQL tests

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Add sdv build to build.py, include nosdv option to not run sdv

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Merge pull request #21 from OwenSmith/master

Log BLKIF_OP_* values when backend fails request

Log BLKIF_OP_* values when backend fails request
Dont attempt to interpret as SCSIOP_* values

Signed-off-by: Owen Smith <owen.smith@citrix.com>