Make free builds of XENNET less chatty

Refine logging of offload options and turn the Info() calls into Trace()
calls. Also add similar Trace() calls for RSS settings.

While doing this re-factoring, this patch also breaks out link state logging
into a dedicated function.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Re-instate code network settings code in the co-installer

This functionality was moved into XENVIF when it transpired that it did not
work with Windows 10. However, attempting to mess with network settings in
a driver has also proved to have problematic corner cases.

This patch re-instates old code but changes the mechnism for acquiring
network settings from an emulated device. Instead of attempting to copy
settings to a new stack binding (which failed on Windows 10 because the
stack binding was not set up), the stack binding of the emulated device is
cloned. This is done in post-install phase if the emulated device is online
(otherwise Windows will refuse to start the PV device) or in pre-install
phase if the emulated device is offline, as is the case when re-installing
XENNET. This appears to work reliably across all variants of Windows.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove code to clear stolen stack binding

This is now handled internally by XENVIF.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix VS2012 builds

Building for OS earlier than Windows 7 now requires use of procgrp.lib
since KeGetCurrentProcessorEx() is used. Since the base OS of VS2012 builds
is Vista, these have been failing since commit 8cb5c156.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove reboot request from the co-installer

This is now taken care of by XENVIF by way of the XENBUS_MONITOR service.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add missing names to the INF file

The package should have a name and the XENVIF driver should also have a
DisplayName.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Avoid lock contention between receiving CPUs

The single PutList/GetList for cached NET_BUFFER_LIST structures is
currently a point of contention. This patch gets rid of the contention
by keeping per-CPU GetLists.

To access the definition of HVM_MAX_VCPUS, the hvm_info_table.h header
needs to be pulled in the from the Xen source base. This patch therefore
adds the infrastructure for pulling in Xen headers.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add support for NDIS RSS

Update to VIF interface version 6 and make use of the extra functionality
provided to support NDIS RSS.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Clear stolen linkage on device removal

Commit 04c391d9 "Replace copying network settings with identity stealing" to
XENVIF changed the way that network settings are preserved when replacing
an emulated NIC with a PV network device. This change means that both the
emulated NIC and PV device have the same binding to the Windows network
stack. Thus, if we do not destroy that binding prior to uninstallation of
the PV network driver, the stack will be torn down by the network class
uninstall code rather than left in place for the emulated NIC to use after
reboot.

This patch hence adds code to the XENNET co-installer to remove stolen
linkage information from the registry in the pre-remove phase.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

BootFlags should be a parameter, not a subkey

A misplaced comma in the INF file means that BootFlags is being created as
a subkey under the service key with a default DWORD value, rather than a
DWORD value with the name 'BootFlags'.

This patch moves the comma and fixes the problem.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Get rid of InitSafeBootMode veto

This should no longer be necessary since XENVIF fails to start PDOs if
emulated devices are present, which they will be in safe mode.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix a typo that causes 'low resources' to erroneously kick in

This patch fixes a typo which caused XENNET to operate in a 'low resources'
situation most of the time. This was almost certainly causing performance
issues and, oddly, caused the NDISTest 6.5 OffloadChecksum test to fail...
but only on Windows 8.0.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix a warning in the NDISTest 6.0 2c_OidsNdisRequest test

The format of the response to the OID_GEN_VENDOR_DRIVER_VERSION request was
incorrect, and also the OID_GEN_DRIVER_VERSION response has been lying since
the change to NDIS 6.1.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix NDISTest 6.5 OffloadLSO test

There are more structure size issues lurking that cause this logo test to
fail. This patch fixes those, others that were found along the way and also
makes sure that any attempt to set IPsecV2 offload parameters fails (since
it is not supported).

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Use a locally defined StringPrintf

Use of the _snprintf_s symbol fails on Windows 10, where it appears not to
be exported from ntdll. So, for portability's sake it is more robust to
implement a StringPrintf function locally.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Stash a pointer to _snprintf_s in the ADAPTER structure

It is problematic if we don't, as on resume from suspend we need to
re-acquire the function pointer and this seems to lead to a BSOD, despite
there being no documentation to suggest that use of the aux_klib functions
at DISPATCH_LEVEL is disallowed.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Stop using RtlStringCbPrintfA()

It appears that linking an NDIS driver with any ntstrsafe function (when
building with VS2012 and the 8.0 WDK at least) has the side effect of
requiring use of DbgPrint(). Whilst this may not sound like a problem, it
is. This is because the NDISTest 6.0 1c_KernelCalls test insists that any
use of DbgPrint is illegal and so it's impossible to logo an NDIS driver
using ntstrsafe functions.

This patch works around the issue by dynamically linking (at run-time) to
the ntdll _snprintf_s function as a replacement for calls to
RtlStringCbPrintfA(). This entails importing the dynamic linking code from
XENVIF since MmGetSystemRoutineAddress() doesn't seem to work for that
symbol.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix multiple completion vulnerability in transmit code

My previous patch 7c3365d5 "Make transmitter robust against a possible
completion race" did not fix the problem. There is still the possibility
that a NET_BUFFER_LIST containing multiple NET_BUFFERs could lead to
multiple completions if the underlying transmit completes quickly (or indeed
synchrnously). This is because a reference is taken before sending each
NET_BUFFER but, if that transmission completes immediately the reference is
dropped back to zero (leading to the NET_BUFFER_LIST being completed) before
the reference is taken for the next NET_BUFFER.

This patch therefore takes an extra reference before sending any NET_BUFFERs
and then drops it when there are no more NET_BUFFERs to send. This ensures
that the reference count on the NET_BUFFER_LIST can only fall to zero once
the whole thing has been processed.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Avoid evaluating assertion expressions in free builds

The evaluations are pointless and the warnings generated by not evaluating
can be squashed with a couple of #pragmas.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make transmitter robust against a possible completion race

It's possible that a transmission invoked on one CPU may complete on another
before the transmission invocation as finished. Therefore, once we have queued
a NET_BUFFER for transmission we should not use it's metadata again (including
the 'next' pointer).

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove header/data split support

During logo testing it became apparent that:

a) This is predicated on support VLAN ID, which is not something we really
   want in a PV driver (since the backend network may actually be a VLAN).
b) Turning on Viridian flags causes NDIS to stop enabling header/data split.
   (There's a call to NdisGetHypervisorInfo() in NdisMSetHDSplitAttributes()).

Issue a) makes it undesirable to implement and b) makes it pretty much
pointless having the code around. Hence this patch removes it.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix various structure sizes

NDIS defines 'sizeof' values for various attribute/parameter structures
which are documented for use with different versions of NDIS. This patch
makes sure we are using these defined values in appropriate places.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update to correct PDO revision

The correct PDO revision for the latest VIF interface is 0x08000009, not
0x08000007.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update to VIF interface version 5

Use version 5 of the interface to avoid the shutdown race present in
version 4.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Re-synchronize util.h with XENBUS and use __toupper()

A recent patch introduced __tolower() and __toupper() into util.h as
replacements for tolower() and toupper() respectively as the latter do
a hidden conversion to Unicode which make then unsafe at any IRQL other
than PASSIVE_LEVEL.
This patch imports util.h from XENBUS and fixes other code to be compatible.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Don't get XENBUS_SUSPEND callback registration on AdapterCount

Instances will not necessarily come and go in order so we can't know that
the last instance to go will be the one the registered the callback.
Instead register a callback for every instance and just use AdapterCount to
decide which instance writes distribution information to xenstore.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Move to XENVIF VIF interface version 4

This means we can remove a lot of complexity and crucially we no longer
need to use the XENBUS_CACHE interface, which means we can avoid the race
introduced by commit 026aa32c "Make sure XENBUS interfaces are released
when going into S4".

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make sure XENBUS interfaces are released when going into S4

Because a transition into and out of S4 means a new domain is built, it's
crucial that all XENBUS interfaces are released (so that things like
event channels, grant tables and the xenstore ring get re-constructed).

This patch fixes code paths where this was not being done. It also adds
some more logging during AdapterEnable/Disable and when moving between
D0 and D3.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix another SDV stupidity

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add two missing headers

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix SDV build

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Publish distribution information to xenstore

My recent patch series to Xen added a documented path and format for
publishing information about PV driver distributions to xenstore.

This patch adds code to populate the documented path (should it exist)
with information about the XENNET driver package.

Suggested-by: Owen Smith <owen.smith@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add a registry override to veto driver installations

There are certain cases where a local installer package may wish to
prevent Windows Update installations of drivers. This can be achieved by
having the co-installer check for a registry value and fail it's pre-install
phase if the value is present.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Change coinstaller log level to TXTLOG_WARNING

Windows 10 does not enable logging of TXTLOG_DETAILS in setupapi.dev.log by
default, so use TXTLOG_WARNING to make sure the messages appear.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add header/data split support

Now that XENNET is using NDIS 6.1, implement header/data split. See
NDIS documentation for more details. This requires using version 3 of the
VIF interface from XENVIF to support the requirements for data MDL
backfill.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update to NDIS 6.1

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Parameterize vendor prefix and PCI device id

The XenServer PV vendor prefix ('XS') and PCI device (C000) are still
hard-coded into the XENNET package. These need to be stripped out and
replaced by values that can be customized at build time. This patch does
that.

The patch also reverts to building version.h and customizing xennet.inf
directly in build.py.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update to 8.2.0

I also removed CHANGELOG as it's pretty useless and will likely become
misleading.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix typo that breaks SDV build

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

The NDIS_WDM flag should be set

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Use the miniport source module for what it was intended

The miniport registration code and entry points should not be in driver.c

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update docs and set version to 8.1.0

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove redundant code from dbg_print.h

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

We no longer need to set the friendly name in the co-installer

This is now handled by XENVIF.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove use of interface subscription keys and unplug key

Neither of these are required any more.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update bindings

Add the XENVIF major version into the top byte of the revision, since this
is now used to avoid namespace conflicts.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Remove code that copies network settings from the co-installer

This functionality is now implemented by XENVIF.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Co-installer RequestReboot() invocation changes

Stop requesting reboot on uninstall of XENNET. If an admin removes the
network driver then there is no particular need to request a reboot.
However, make sure that we only remove the unplug key if the last instance
of XENNET is being removed.

On installation of XENNET, use the XENVIF 'NeedReboot' flag to determine
whether to request reboot.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Use a single locked receiver GetList

This avoids the need for any reference to the current CPU or need for
MAXIMUM_PROCESSOR sized array.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Revert previous commit

This patch reverts the previous commit which attempted to make XENNET
aware of multiple processor groups. The changes don't seem to work on NDIS
drivers and lead to corruption of the receiver GetLists.

A different approach is needed.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make XENNET processor group aware

Processor groups have been around for a long time in Windows and
contnuing to ignore them becomes ever more painful when trying to
pass the HCK multiple processor group device test. This patch, therefore,
modifies all the code that uses the non-group-aware kernel calls to use
the newer group aware calls.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Add back useful information logging that was removed

It is useful to know when various offloads are enabled or disabled. That
information used to be logged but the logging macro was removed for some
reason when the multi-queue patches were added. This patch adds that
logging back in.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

OID handling improvements

The query OID code contains several mistakes in setting BytesNeeded and
BytesWritten. This patch re-factors the code slightly to fix those
mistakes and also adds warnings is the stack tries to query or set an OID
that we do not handle.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix NDISTest PacketFilters test

The PacketFilters test fails because it has apparently discovered a whole
load of invalid filters. This, as it turns out, is not because of any bug
in the query OID code but rather in the set OID code. The code as it stands
returns success even for setting an invalid filter, and this is why the
test believes those filters are enabled.
This patch stops ignoring the resturn code of AdapterSetPacketFilter and
hence fixes the test.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix CHANGE macro

The CHANGE(x, y) macro in adapter.c is supposed to evaluate to 0 if x and
y are identical, otherwise it is supposed to assign y to x and evaluate
to 1. The definition is incorrect though, and in the latter case the
assignment is done but the macro still evaluates to 0. This patch fixes
the problem.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Set script file execute permissions

The lack of execute persmission causes clones done using cygwin git to
leave scripts in a non-executable state.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

64bit OIDs: 4-byte results are a success

When buffer is >= 8-bytes, return a 8-byte buffer,
when buffer is >= 4-bytes, return a 4-byte buffer,
else, indicate 8-bytes required and indicate failure

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix VS2013 SDV failures

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

NDIS6.0 1c_64bitOIDs / 1c_IOCTLCoverage

Some QUERY OIDs should return truncated results when 4 byte buffers are
passed for 8 byte values. Avoid corner cases where the OID would succeed,
but not copy data due to wrong buffer sizes.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Calculate simple hash of IP/Ports

Pullup the packet headers into a cached buffer, and calculate
a simple hash over the Source/Destination IP Addresses and Ports.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Switch to VIF interface V2

Signed-off-by: Owen Smith <owen.smith@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Query for cache interface

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Refactor for more maintainability.

Signed-off-by: Owen Smith <owen.smith@citrix.com>
Add missing file

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Move interface registration to coinstaller

WHQL will fail when registry is accessed from NDIS drivers.

Signed-off-by: Owen Smith <owen.smith@citrix.com>

Fix line endings

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make sure INF gets re-built each time

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Make sure version header gets re-built each time

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update to latest XENVIF interface

No functional change, just better documented.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Handle lack of IPv6 registry keys in co-installer

The co-installer attempts to copy IPv6 address information from the any
relevant emulated device to the PV device during installation, but will fail
if no IPv6 address information is present. This is not an error condition and
so the co-installer should simply skip this copying operation if no address
information is found.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Reduce spam from build.py

We don't the verbose prints when deciding whether we're using vs2012 or 2013.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Don't use universal_newlines=True in subprocess.Popen()

For some versions of python this appears to cause corruption of the
output byte string by forcibly decoding with the wrong encoding.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Mark xennet.sys as boot-critical to simplify offline installation

Explicitly mark the xennet driver as boot-critical using the
"BootCritical=1" directive.  This causes dism.exe to reflect the
driver when performing an offline installation, thereby making it
available on the next boot (which may be an iSCSI boot, requiring a
functioning network).

This avoids the need to hack the registry to manually install the
driver (by creating the HKLM\CurrentControlSet\Services\xennet key and
corresponding entries in the CriticalDeviceDatabase).

Signed-off-by: Michael Brown <mbrown@fensystems.co.uk>

Add support for Visual Studio 2013 & WDK 8.1

Signed-off-by: Ben Chalmers <ben.chalmers@citrix.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update branding

Remove the use of the 'XenServer' product name except where it is
still appropriate.
Remove use of 'Citrix' from all places except source file
copyrights.
Allow company and product name to be set at build time.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Implement new API version scheme

This patch changes the way APIs work in an incompatible way. (See README.md
for details).
The patch also includes a *lot* of code tidying and movement and as such
is not really suitable for review as a patch; the resulting code should
itself be reviewed.
Given the scale of the change, the major version number has been revised to
8 and other version numbers reset to zero.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Handle SDV scan and refine

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Build/SDV refinements

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #13 from pauldu/sdv

Add SDV to the standard build

Approved-By: Ben Chalmers <ben.chalmers@citrix.com>

Add SDV to the standard build

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #12 from pauldu/master

Couple of simple patches...

Approved-By: Ben Chalmers <ben.chalmers@citrix.com>

Fix a double-free and add more logging in the co-installer

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix several build warnings

Signed-off-by: Murtaza Ghiya <murtazg@amazon.com>
Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #11 from pauldu/master

Update to latest xenvif interface

Update to latest xenvif interface

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #10 from pauldu/master

Fix problem of adding device without alias

Fix problem of adding device without alias

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #9 from pauldu/master

Find alias hardware key rather then stopping with the software key

Find alias hardware key rather then stopping with the software key

The DeviceInstanceID value stored in the software key appears to be
specific to newer versions of Windows so we cannot rely upon it. Instead
find the hardware key by reverse mapping via the Driver value - which is
used directly by the PnP subsystem and so should be safe to rely upon.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #8 from pauldu/master

Two fixes

Approved-By: Ben Chalmers <ben.chalmers@citrix.com>

Update to latest VIF interface

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Fix crash in co-installer

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Merge pull request #7 from benchalmers/ca-119963-3

[CA-119963] Copy static IPv6 address set by installer

[CA-119963] Copy static IPv6 address set by installer

Signed-off-by: Ben Chalmers <Ben.Chalmers@citrix.com>

Merge pull request #5 from benchalmers/upstream-cp-118428

[CA-118428] Return a success when copying registry entries succeeds

[CA-118428] Return a success when copying registry entries succeeds

Signed-off-by: Ben Chalmers <Ben.Chalmers@citrix.com>

Merge pull request #4 from benchalmers/upstream-cp6209-3

[CP-6629] Copy installer keys from registry to newly installed device

[CP-6629] Copy installer keys from registry to newly installed device

Signed-off-by: Ben Chalmers <Ben.Chalmers@citrix.com>

Fix a cut'n'paste error and clarify a point.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

New README.md and INSTALL.md.

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>

Update build to reflect version

Signed-off-by: Paul Durrant <paul.durrant@citrix.com>