Clean up the machine dependent headers

 * Use the format _MACHINE_FOO_H_ as the header guard
 * Make sure we use #define<tab>
 * Have empty files just contain /* $FreeBSD$ */
 * Remove machine/utrap.h a it's not needed

Update the copyright for my prior work and the Foundation project.

Start using the cache.

We will still need to either use the ASID or flush the icache when the
hardware uses a VIVT icache, however neither of the initial targets
have this option.

Initial cache handling functions

This adds the functions to write back and invalidate the data,
instruction, and unified caches. Further work is needed to call these
functions in pmap to flush the cache when mappings change.

These were written by Robin Randhawa. I have merged common code and
tested them on the Fixed Virtual Platform modeling the cache.

Merge branch 'upstream_head' into arm64-merge

Allowus to exclude a.out support from ldd and use it with arm64 as it won't
support the a.out format.

Reviewed by: emaste
Sponsored by: The FreeBSD Foundation

We won't support a.out on arm64/aarch64. As such there will be no need to
support it in nlist(3).

Reviewed by: emaste
Sponsored by: The FreeBSD Foundation

xlint: add arm64 #define

Submitted by: andrew@
Sponsored by: The FreeBSD Foundation

Merge branch 'upstream_head' into arm64-merge

Clean up the headers.

Based on reviews from https://reviews.freebsd.org/D2057

Add missing void pointer argument to SYSINIT() functions.

MFC after: 3 days
Sponsored by: Mellanox Technologies

Fix problems about 32-bit ticks wraparound and unsigned long
conversion:
- The linux compat API layer casts the ticks to unsigned long which
might cause problems when the ticks value is negative.
- Guard against already expired ticks values, by checking if the
passed expiry tick is already elapsed.
- While at it avoid referring the address of an inlined function.

MFC after: 3 days
Sponsored by: Mellanox Technologies

Declare missing symbol and inline macro which is only used once.

MFC after: 2 weeks
Sponsored by: Mellanox Technologies
Submitted by: glebius@

Implement pax -O option to permit limiting a PAX archive to a single volume.

-O Force the archive to be one volume.  If a volume ends prematurely, pax will
not prompt for a new volume.

PR: 198481
Submitted by: Sevan Janiyan
Reviewed by: allanjude (doc)

Fix ixgbe(4) to compile - with RSS; with ix+ixv in the kernel.

* Fix the multiple same-named devclasses; the duplicate name
  trips up the linker.

* Re-do the taskqueue stuff to use the new cpuset API, not the old
  pinned API.

* Add includes for the new location of the RSS configuration routines.

This allows ixgbe to compile as a module /and/ linked into the kernel,
along with RSS working.

Sponsored by: Norse Corp, Inc.

Fix ixgbe(4) - add ix_txrx to compile in the kernel.

Sponsored by: Norse Corp, Inc.

Correctly const-ify things.

Found by: clang 3.6

Resolve a few build issues, add module directories back into Makefile,
then correct a NETMAP problem resulting from the split, and finally
temporarily disable the X550 functionality.

When initial placement of the new entry crosses the boundary,
allocator tries to move the entry up, after the boundary.  The new
location may still fail to satisfy boundary requirement, for instance,
if the boundary is set to page size, and allocation is of multiple
pages.

Recheck that boundary is not crossed after the move.  If it is
crossed, give up on allocating the whole entry and split it.

Reported by: Michael Fuckner <michael@fuckner.net>, running nvme(4)
Sponsored by: The FreeBSD Foundation
MFC after: 1 week

When inserting new entry into the address map, ensure that not only
next entry does not intersect with the tail of the new entry, but also
that previous entry is also before new entry start.

Sponsored by: The FreeBSD Foundation
MFC after: 1 week

Fix fdt_platform_fixups() mem region handling.  It turns out u-boot puts
several types of data into the mem-info array (DRAM, SRAM, flash).  We
need to extract just the DRAM entries for translation into fdt memory
properties.

Also, increase the number of regions we can handle from 5 to 16.

Submitted by: Michal Meloun

The minimum sbuf buffer size is 2 bytes (a byte plus a nulterm), assert that.

Values smaller than two lead to strange asserts that have nothing to do
with the actual problem (in the case of size=0), or to writing beyond the
end of the allocated buffer in sbuf_finish() (in the case of size=1).

In sbuf_new_for_sysctl(), default the buffer size to 64 bytes if the
passed-in pointer is NULL and the length is zero.

Document that nextboot(8) doesn't work as expected with ZFS

Differential Revision: https://reviews.freebsd.org/D2087
Submitted by: feld (request)
Reviewed by: feld
Approved by: bcr (mentor)
Sponsored by: ScaleEngine Inc.

When cross-building with an external toolchain we still need a target strip

It is used by at least crunchide(1).

o Enhance vm_pager_free_nonreq() function:
  - Allow to call the function with vm object lock held.
  - Allow to specify reqpage that doesn't match any page in the region,
    meaning freeing all pages.
o Utilize the new function in couple more places in vnode pager.

Reviewed by: alc, kib
Sponsored by: Netflix
Sponsored by: Nginx, Inc.

Add arm64 xlint support.

Obtained from: NetBSD
Sponsored by: The FreeBSD Foundation

Fix build.

Reviewed by: dumbbell

Fix build after r280182.

Introduce Annapurna Labs AHCI support

Overview:
* implemented quirk for forcing SATA interface enable
* restore value to status register - this enables link autonegotiation

Modifications:
* devid:vendorid field
* quirk for forcing PI setting (BIOS is doing that on PC-like systems)
* write to capabilites field to enable phy link initialization

Submitted by:  Wojciech Macek <wma@semihalf.com>
Reviewed by:   imp, mav
Obtained from: Semihalf

drm: Update the device-independent code to match Linux 3.8.13

This update brings few features:
    o  Support for the setmaster/dropmaster ioctls. For instance, they
       are used to run multiple X servers simultaneously.
    o  Support for minor devices. The only user-visible change is a new
       entry in /dev/dri but it is useless at the moment. This is a
       first step to support render nodes [1].

The main benefit is to greatly reduce the diff with Linux (at the
expense of an unreadable commit diff). Hopefully, next upgrades will be
easier.

No updates were made to the drivers, beside adapting them to API
changes.

[1] https://en.wikipedia.org/wiki/Direct_Rendering_Manager#Render_nodes

Tested by: Many people
MFC after: 1 month
Relnotes: yes

Update to the Intel ixgbe driver:
- Split the driver into independent pf and vf loadables. This is
  in preparation for SRIOV support which will be following shortly.
  This also allows us to keep a seperate revision control over the
  two parts, making for easier sustaining.
- Make the TX/RX code a shared/seperated file, in the old code base
  the ixv code would miss fixes that went into ixgbe, this model
  will eliminate that problem.
- The driver loadables will now match the device names, something that
  has been requested for some time.
- Rather than a modules/ixgbe there is now modules/ix and modules/ixv
- It will also be possible to make your static kernel with only one
  or the other for streamlined installs, or both.

Enjoy!

Submitted by: jfv and erj

Fix the register to get ps_strings from.

It should br x0, x2 could have anything in it.

Also build multc3.c to get __multc3.

This is needed by libm when built with clang 3.6.

Update the types used for fpcr and fpsr.

The special registers need to be accessed using a 64-bit general purpose
register, even if the special register is 32-bits.

Clang 3.6 adds a check to make sure the type and general purpose register
sizes line up. To fix this we need to use the correct sized type to get
the correct register size.

Replace crt1.c with one based on amd64

This also cleanus up:
 * Remove __ps_strings, it's not being used, we get this from sysctl
 * Remove the elf note, we only need it on arm for pkg

Import compiler-rt r232125 by Joerg Sonnenberger

  We want single precision here.

Document LIB and LIB_CXX.

MFC after: 2 weeks
X-MFC-With: r280179

Add support for the fu* functions to fail

Rework how we read the pcpu data

This will be needed to scale past 1 cluster. With this we reserve x18
in the kernel to hold the address on the cores pcpu data. This allows
us to read curthread in a single instruction as will be needed when we
enable more cores.

Add LIB_CXX so that C++ libraries will use CXX to link.

This fixes C++ libraries not implicitly linking in libc++.  This is
generally not an issue because the final linking with the compiled binary
will involve CXX via PROG_CXX or other means.  It is however
inconsistent with libraries implicitly linking in libc and problematic
for trying to build libraries with '-z defs' to ensure all direct
dependencies are linked in.

libatf-c++ is currently the only consumer of this new feature.

Differential Revision: https://reviews.freebsd.org/D2039
Reviewed by: imp
Discussed with: bapt
MFC after: 2 weeks
Sponsored by: EMC / Isilon Storage Division

Unhide linker line for libraries.

The compilation lines are not hidden and there is not much reason to
hide the linker line. It is useful to see.

Discussed at: https://reviews.freebsd.org/D2039
MFC after: 2 weeks

Remove unneeded handling of undefined NM.

Pointed out by: imp
Discussed at: https://reviews.freebsd.org/D2039
MFC after: 2 weeks

Reduce header pollution.

Improve ATA and SCSI versions printing.

There is no "SCSI-6" and "ATA-9", but there is "SPC-4" and "ACS-2".

MFC after: 2 weeks

Use 24h timestamps in the ps(1) STARTED column

The previous 12h AM/PM format was perplexing as it didn't follow the
locale of the user and was a minor annoyance to FreeBSD users coming
from Linux. Additionally, the man page was incorrect about the strftime
format.

There are three time formats that may be displayed in the STARTED
column depending on the age of the process. Below is an example.

For a process started at 14:30 on Monday 16 March 2015, the following
formats may be used:

14:30 for process < 24h old (24h Timestamp)
Mon14 for process > 24h, < 1 week old (Weekday Hour)
16Mar15 for process > 1 week old (Day Month Year)

Differential Revision: https://reviews.freebsd.org/D1620
Reviewed by: brd
Approved by: trasz

Always lock the hash row of a source node when updating its 'states' counter.

PR: 182401
Sponsored by: Nginx, Inc.

Remove no longer used allocation type.

Submitted by: Dmitry Luhtionov <dmitryluhtionov@gmail.com>

Make ATA power management commands to work on SCSI HBAs via PASS THROUGH.

MFC after: 2 weeks
Sponsored by: iXsystems, Inc.

Use define instead of constant.

Submitted by: Dmitry Luhtionov <dmitryluhtionov@gmail.com>

sfxge: increase default put-list limit to 1024

Drops are observed under multi-stream TCP traffic due to put-list
overflow with limit equal to 64.

Sponsored by:   Solarflare Communications, Inc.
Approved by:    gnn (mentor)

sfxge: prefetch txq->common if TxQ is started only

Transmit may be called when TxQ is not started yet (i.e. txq->common is
invalid). TxQ state is checked below when mbuf is processed and dropped
if TxQ is not started.

Sponsored by:   Solarflare Communications, Inc.
Approved by:    gnn (mentor)

sfxge: adding version info to device description

The information is required for NIC update and config tools.

Submitted by:   Artem V. Andreev <Artem.Andreev at oktetlabs.ru>
Sponsored by:   Solarflare Communications, Inc.
Approved by:    gnn (mentor)

sfxge: move deferred packet list statistics to dedicated node

It is done to structure sysctl and do not mix with Tx queue statistics
to be added.

Sponsored by:   Solarflare Communications, Inc.
Approved by:    gnn (mentor)

sfxge: add tunables to control LRO parameters on driver load time

Sponsored by:   Solarflare Communications, Inc.
Approved by:    gnn (mentor)

Catch up with Clang 3.6.0.

Bump the date after the `show devmap` addition.

Document the `show devmap` DDB command.

Fix minor fallout from sysctl strings being nulterminated now.  The dmesg
code can read the buffer via sysctl or from a core file.  In the core file
case there will be no nulterm, and the code copes with that, but now in the
sysctl case there is a nulterm (there didn't used to be).  The least
disruptive way to restore the old behavior (and eliminate a spurious '\000'
at the end of the output) is to remove the nulterm (by decrementing the
buffer length) in the sysctl case.

Default to turning off OpenSSL SSL_OP_TLSEXT_PADDING as it breaks
compatibility with some sites

This change comes from 8.15 but is being backported to FreeBSD releases
not yet using 8.15.

MFC after: 3 days
Noted by: julian@

Report that we may have write cache, and that we do support FLUSH.

FreeBSD guest driver does not use that legacy flag, but Linux seems does.

MFC after: 2 weeks

Reset bp->bio_done to unmapped_buf when removing a transient map in biodone.

Submitted by: Scott Ferris <scott.ferris@isilon.com>
Sponsored by: EMC / Isilon Storage Division
Reviewed by: kib

Trivial change / forced-commit to document prior change that slipped in
without a commit message...

Use sbuf_new() + SYSCTL_OUT() instead of wiring the userland buffer and
using sbuf_new_for_sysctl().  The preallocated 256 byte buffer is always
going to be big enough to hold these results, and this should be more
efficient than wiring the old buffer.

Use a regular sbuf + SYSCTL_OUT() rather than sbuf_new_for_sysctl() with
auto-draining, to avoid a potential copyout fault while holding a lock.

Pointed out by:   jhb
Pointy hat to:   ian

Update an sbuf assertion to allow for the new SBUF_INCLUDENUL flag.  If
INCLUDENUL is set and sbuf_finish() has been called, the length has been
incremented to count the nulterm byte, and in that case current length is
allowed to be equal to buffer size, otherwise it must be less than.

Add a predicate macro to test for SBUF_INCLUDENUL, and use it in tests, to
be consistant with the style in the rest of this file.

Introduce a cap_ioctl_t used for the 'cmds' arguments to cap_ioctls_limit()
and cap_ioctls_get().  On FreeBSD, these are 'unsigned long', but on Linux,
ioctl(2) takes an 'int', making mild abstraction desirable.

MFC after: 3 days
Sponsored by: Google, Inc.

Convert PTE eviction lock from an RW lock to a RM lock. It is held for
writing approximately never (< 0.00000001% under heavy VM load, and it can
go for months without ever being acquired in normal operation). This
provides a 10% (2-minute) improvement in wall clock time for make -j32
buildworld on a 4-core 32-thread POWER8.

Move special DDP handling for closing a connection into a new
handle_ddp_close() function in t4_ddp.c as the logic is similar
to handle_ddp_data().  This allows all knowledge of the special
DDP mbufs to be private to t4_ddp.c as well.

Document r279663, qsort(3) enhancements.

Sponsored by: The FreeBSD Foundation

Document r279571, freebsd-update(8) will not download updates when
a previous upgrade is not complete.
Add ScaleEngine Inc to sponsors.ent.

Sponsored by: The FreeBSD Foundation

Document r279463, iovctl(8) rc(8) script.
Add Sandvine Inc to sponsors.ent.

Sponsored by: The FreeBSD Foundation

Document r279361, kern.osrelease and kern.osreldate sysctls are
now configurable jail(8) parameters.

Sponsored by: The FreeBSD Foundation

Document r279315, uefisign(8) addition.

Sponsored by: The FreeBSD Foundation

Document r279252, pmap(9) overhaul for 64-bit PowerPC processors.

Sponsored by: The FreeBSD Foundation

Document r279189, VSX support.

Sponsored by: The FreeBSD Foundation

Document r279186, setmode(3) set errno on failure.

Sponsored by: The FreeBSD Foundation

Document r278970, acpi(4) update to 20150204.

Sponsored by: The FreeBSD Foundation

Provide a comment explaining r279688.

Suggested by: alc

Report ARAT (APIC-Timer-always-running) feature for virtual CPU.

This makes FreeBSD guest to not avoid using LAPIC timer, preferring HPET
due to worries about non-existing for virtual CPUs deep sleep states.

Benchmarks of usleep(1) on guest and host show such extra latencies:
 - 51us for virtual HPET,
 - 22us for virtual LAPIC timer,
 - 22us for host HPET and
 - 3us for host LAPIC timer.

MFC after: 2 weeks

Increase S/G list size of 32 to 33 entries.

32 entries are not enough for the worst case of misaligned 128KB request,
that made FreeBSD to chunk large quests in odd pieces.

MFC after: 2 weeks

Remove unused upstream DTrace provider implementations that are duplicates
of providers under sys/cddl/dev/. Also remove sdt_subr.c, which isn't used
in FreeBSD's SDT implementation.

Suggested by: rwatson

proc: get rid of proc lock + unlock pair in proc_reap

A comment in the code stated we PROC_LOCK and as a side effect guarantee
all writers released process lock. But at that point such lock was already
taken while we were removing the process from all lists, so it should be already
unreachable.

cred: add proc_set_cred helper

The goal here is to provide one place altering process credentials.

This eases debugging and opens up posibilities to do additional work when such
an action is performed.

Fix DESTDIR support

Remove bad and useless LINKS

Fix build with clang 3.6, silence -Wcast-qual warning.

Sponsored by: The FreeBSD Foundation
Acked by: adrian

Pre-allocate one extra request per processing thread.

Processing threads call callbacks before freeing requests.  As result,
new requests may arrive before old ones are freed.

MFC after: 2 weeks

Add a missing format string argument.

PR: 197391
MFC after: 3 days

Use ar71xx_mac_addr_random_init() instead of a hand-rolled random
MAC address.

Start fleshing out some MAC address helper functions.

A lot of these embedded boards don't have a unique MAC address per
device stored somewhere unique - sometimes they'll have one MAC
for both arge NICs; someties they'll have one MAC for both arge NICs
/and/ the ath NICs.  In these instances, we need to derive device
specific MAC addresses from the base MAC address.

These functions will be used by some follow-up code that'll slot
into if_arge and if_ath.

Symplify links installation by using multi variable for loop

Using multi variable for loop not only simplify the code, it also ensures that
the LINKS and SYMLINKS input have the right number of words

Differential Revision: https://reviews.freebsd.org/D2069
Reviewed by: imp

audit: fix cred assignment when A_SETPMASK is used

The code used to modify curproc instead of the target process.

Discussed with: rwatson
MFC after: 3 days

Add a new taskqueue (device specific, not net80211 ic->tq); use it for
device restart.

(Committers note - once scan overhaul and a few other things have been
fixed in net80211 to not block things in the taskqueue, this can disappear
and the device specific taskqueues in other drivers can also go away.)

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>

Workaround delays caused by vmem_check().

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>

Fix scan timeouts with powersave enabled.

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>

unzip: Don't subvert vfs.timestamp_precision when setting atime to now.

Also, preserve nanoseconds from libarchive, even though the zip file format
does not currently support nanoseconds in timestamps.

Don't unlock mutex in interrupt thread (except for wpi_rx_done() - for now) -
fixes various races between wpi_notif_intr() and wpi_stop_locked().

(attachment 154381)

Committers note: yes, unlock/if_input/lock has to go away, but that'll
have to be done later.

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>

Reformatting changes.

(attachment 154380)

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>

Use correct types

(attachment 154379)

PR: kern/197143
Submitted by: Andriy Voskoboinyk <s3erios@gmail.com>