Fix an off by one due to bad conversion from avl(3) to tree(3)
Readd calloc as it was not the issue just the messenger

Submitted by: dim
Found by: Address Sanitizer

Rework r290504.

Specify VP when sending a marker.

Flesh out sysctl types further (follow-up of r290475)

Use the right intmax_t type instead of intptr_t in a few remaining
places.

Add support for CTLFLAG_TUN for the new fixed with types.  Bruce will be
upset that the new handlers silently truncate tuned quad-sized inputs,
but so do all of the existing handlers.

Add the new types to debug_dump_node, for whatever use that is.

Bump FreeBSD_version again, for good measure.  We are changing
SYSCTL_HANDLER_ARGS and a member of struct sysctl_oid to intmax_t.

Correct the sysctl typed NULL values for the fixed-width types.  (Hat
tip: hps@.)

Suggested by: hps (partial)
Sponsored by: EMC / Isilon Storage Division

Make ISP_SLEEP() really sleep instead of spinning.

While there, simplify the wait logic.

Add a note about the inpact on databases of the changes in collation support

Reported by: girgen

Run memset only after having checked the return of malloc

Submitted by: pluknet

Workaround an issue on i386 to unbreak the build until the real issue is tracked
down

Fix build on arm64

Stop enforcing LC_COLLATE to C unicode collation is now supported

Add an UPDATING entry about the changed of behaviour for listed files due to
now supporting correctly string collation

Bump __FreeBSD_version modification of the locales

Improve collation string and locales support

Merge collation support from Illumos and DragonflyBSD.

Locales are now generated with the new localedef(1) tool from CLDR POSIX files.
The generated files are now identified as "BSD 1.0" format.

The libc now only read "BSD 1.0" locales definitions, all other version will be
set to "C"
The localedef(1) tool has been imported from Illumos and modified to use tree(3)
instead of the CDDL avl(3)
A set of tool created by edwin@ and extended by marino@ for dragonfly has been
added to be able to generate locales and the Makefiles from the vanilla CLDR
unicode databases + a universal UTF-8 charmap (by marino@)
Update the locales to unicode v27
Given our regex(3) does not support multibyte (yet) it has been forced to always
use locale C
Remove now unused colldef(1) and mklocale(1)
Finish implementing the numeric BSD extension for ctypes
The number of supported locales has grown from 175 to 250 locales. Among the new
locales: 6 Arabic locales (AE EG JO MA QA SA), Different variations of spanish
locales.
Added new 3 components locales for mn_Cyrl_MN, sr_Cyrl_RS sr_Latn_RS,
zh_Hans_CN, zh_Hant_HK and zh_Hant_TW. Some aliases has been for 2 components
version when possible.

Thanks: Garrett D'Amore (Illumos) who made sure all his work was done under
BSD license!, Edwin Groothuis (edwin@) for the work he made on tools to be able
to generate locales definition usable in freebsd sources out of vanilla CLDR
definitions, John Marino (DragonflyBSD) who first merge the Illumos work into
Dragonfly and spent hours tracking down bugs.

Correct the argument type in the sysctl_add_oid(9) prototype.  On
ILP32 machines, intptr_t and intmax_t are different types.

Submitted by: skra

Move intmax_t and uintmax_t type declarations to sys/_stdint.h to give
it an exposure needed for use in sys/sysctl.h.

Suggested by: bde
Sponsored by: The FreeBSD Foundation
MFC after: 2 weeks

Fix encryption error handling.
Close l2cap connection on encryption error.

Add missing header

Add helper function to check if a USB page cache buffer is properly
aligned to reduce the use of bounce buffers in PIO mode.

MFC after: 1 week

Catchup with latest changes for ObsoleteFiles in case base is built using
WITHOUT_LOCALE knob

Readd LOCALEDIR definition removed by accident

Unify setting lladdr for AF_INET[6].

Fix typo

Merge from head r290483

arm64: build em(4) and igb(4) modules

Sponsored by: The FreeBSD Foundation

arm64: add igb(4) to GENERIC

We have em(4) in GENERIC already and so also supporting the related
igb(4) makes sense.

Sponsored by: The FreeBSD Foundation

Add a sched_yield() to work around low memory conditions in the current code.

Things seem to get stuck in low memory conditions where no bufs are available,
the reclamation path is called to wakeup the daemon, but no sleeping is done.
Because of this, we are stuck in a tight loop in the current process and
never run said reclamation path.

This was introduced in r289279 . This is only a temporary workaround
to restore system usefulness until the more permanent solutions can be
found.

Tested:

* Carambola2, 64MB (and 32MB by manual config.)

Protecting against rm -rf / is now POSIXLY_CORRECT per posix 1003.1
edition 2013. No need anymore to disable the protection if one set
the POXILY_CORRECT environment variable.

Reviewed by: imp
MFC after: 3 days
Differential Revision: https://reviews.freebsd.org/D4092

Final follow-up to r290475: Bump __FreeBSD_version

Because we changed sysctl_add_oid(9) ABI, which surely breaks ABI
compatibility for out-of-tree modules.

Sponsored by: EMC / Isilon Storage Division

Improve soelim(1) manpages

Submitted by: Sascha Wildner <saw@online.de>

Another follow-up to r290475: Bump .Dd in sysctl_add_oid.9

Sponsored by: EMC / Isilon Storage Division

Follow-up to r290475: Add sysctl(8) support for added types

Sponsored by: EMC / Isilon Storage Division

Round out SYSCTL macros to the full set of fixed-width types

Add S8, S16, S32, and U32 types;  add SYSCTL*() macros for them, as well
as for the existing 64-bit types.  (While SYSCTL*QUAD and UQUAD macros
already exist, they do not take the same sort of 'val' parameter that
the other macros do.)

Clean up the documented "types" in the sysctl.9 document.  (These are
macros and thus not real types, but the manual page documents intent.)

The sysctl_add_oid(9) arg2 has been bumped from intptr_t to intmax_t to
accommodate 64-bit types on 32-bit pointer architectures.

This is just the kernel support piece; the userspace sysctl(1) support
will follow in a later patch.

Submitted by: Ravi Pokala <rpokala@panasas.com>
Reviewed by: cem
Relnotes: no
Sponsored by: Panasas
Differential Revision: https://reviews.freebsd.org/D4091

ath(4) - reflect whether this is a full or fast channel change.

It's no longer "outdoor."

fd: implement kern.proc.nfds sysctl

Intended purpose is to provide an equivalent of OpenBSD's getdtablecount
syscall for the compat library..

Set correct code for signal in abort_align() routine.
Remove superfluous printf() and both unnecessary and obsolete comments.

Approved by: kib (mentor)

[netinet6]: Create a new IPv6 netisr which expects the frames to have been verified.

This is required for fragments and encapsulated data (eg tunneling) to be redistributed
to the RSS bucket based on the eventual IPv6 header and protocol (TCP, UDP, etc) header.

* Add an mbuf tag with the state of IPv6 options parsing before the frame is queued
  into the direct dispatch handler;
* Continue processing and complete the frame reception in the correct RSS bucket /
  netisr context.

Testing results are in the phabricator review.

Differential Revision: https://reviews.freebsd.org/D3563
Submitted by: Tiwei Bie <btw@mail.ustc.edu.cn>

Add maintainer entries for llvm, lldb, compiler-rt, libc++ and libcxxrt.

Use the correct length. The wrong one was too large.

MFC after: 3 days

The 'buildenv' target can safely be ran with '+'.

Switch zfs_panic_recover to panic for bad DVA

As reported by Coverity a null pointer de-reference panic would be triggered
when zfs_recover was set so switch to straight panic as it can never be
recovered.

Reported by: Coverity Scan
MFC after: 1
X-MFC-With: r290401
Sponsored by: Multiplay

Include opt_platform.h to get FDT defined.

Always check the return value of lseek.

This is a follow-up to r289845, which only fixed one occurence of CID
1009429.

Coverity CID: 1009429
Reviewed by: markj
MFC after: 2 weeks
X-MFC-With: r289845
Sponsored by: Spectra Logic
Differential Revision: https://reviews.freebsd.org/D4096

Removed unused malloc types.

Submitted by: Dmitry Luhtionov <dmitryluhtionov@gmail.com>
MFC after: 1 week

Fix a typo.  I did not mean it, really.

Clean up OpenSSL makefiles.

Refresh my entries

Add two more KASSERTs.

Make interrupt dispatching MP safe. Use GPU interrupt bit in per-core
interrupt status register to process shared interrupts only if the bit
is active and only on core to which they are routed.

Reviewed by: imp, loos
Approved by: kib (mentor)
Differential Revision: https://reviews.freebsd.org/D3723

I am still maintaining iscsi, nvme, nvd and nvmecontrol.

I still maintain sh(1).

zfsboottest: catch up with r241289, call zfs_spa_init() for all found pools

MFC after: 8 days

zfsboottest: build as a 32 bit application

For better emulation of the actual zfs boot code.

MFC after: 8 days

Add sysctl to control LACP strict compliance default

Add net.link.lagg.lacp.default_strict_mode which defines
the default value for LACP strict compliance for created
lagg devices.

Also:
* Add lacp_strict option to ifconfig(8).
* Fix lagg(4) creation examples.
* Minor style(9) fix.

MFC after: 1 week

Do not truncate addresses when printing in encoded format.

Mark the thunder_mdio_fdt driver as early, the bgx needs it to exist so it
can find the network phy.

Sponsored by: ABT Systems Ltd

Mark the arm64 nexus devices to be attached early. This allows multipass
to work correctly. Without it the pass quickly moves to the final pass
before the nexus device attaches.

Sponsored by: ABT Systems Ltd

- Fix alignment for padding link address.
- Trim whitespace of link address.

The field modifier for trimming whitespace
is not `q' but `t'.

The field sinfo_timetolive should have been sinfo_pr_value.
Thanks to Jens Hoelscher for making me aware of the bug.

MFC after: 1 week

Fix typos in field names of struct sctp_extrcvinfo.
Provide defines to allow applications to compile.
Thanks to Jens Hoelscher for making me aware of the typos.

MFC after: 1 week

Fix for unaligned IP-header.

The mbuf length fields must be set before m_adj() is called else
m_adj() will not always adjust the mbuf and an unaligned read
exception can trigger inside the network stack. This can happen on
platforms where unaligned reads are not supported. Adjust a length
check to include the 2-byte ethernet alignment while at it.

MFC after: 3 days

Correct posix_openpt reference in pty(3)

MFC after: 1 week
Sponsored by: Multiplay

urtwn(4): simplify urtwn_tsf_sync_enable().

- Drop TSF initialization; device can discover it without our help.
- Do not touch R92C_BCN_CTRL_EN_BCN bit in STA mode.
- Add 'static' keyword for function definition.

Tested with RTL8188EU, STA mode.

Reviewed by: kevlo
Approved by: adrian (mentor)
Differential Revision: https://reviews.freebsd.org/D3801

ifconfig: fix padding for '<ifname> scan' command output
(S:N and beacon interval fields).

Approved by: adrian (mentor)
Differential Revision: https://reviews.freebsd.org/D4085

Fix compiling netstat after r290367 by substituting sys/types.h for
sys/param.h, as sys/param.h defines the MAX(..) macro

Reported by: O. Hartmann <ohartman@zedat.fu-berlin.de>
Pointyhat to: ume

Regenerate for WITH_FAST_DEPEND in r290433.

Don't allow environment-set options to bleed into src.conf.5 generation.

MFC after: 2 weeks
Sponsored by: EMC / Isilon Storage Division

Write 2- and 4-byte aligned values as single writes in ddb(4)

On the mpc85xx SoC family, writes to any part of a word in the CCSR affect the
full word.  This prevents single-byte writes from taking the desired effect.

Code copied directly from ARM.

Add a FAST_DEPEND option, off by default, which speeds up the build significantly.

This speeds up buildworld by 16% on my system and buildkernel by 35%.

Rather than calling mkdep(1), which is just a wrapper around 'cc -E',
use the modern -MD -MT -MF flags to gather and generate dependencies during
compilation.  This flag was introduced in GCC "a long time ago", in GCC 3.0,
and is also supported by Clang.  (It appears that ICC also supports this but I
do not have access to test it).  This avoids running the preprocessor *twice*
for every build, in both 'make depend' and 'make all'.  This is especially
noticeable when using ccache since it does not cache preprocessor results from
mkdep(1) / 'cc -E', but still speeds up compilation with the -MD flags.

For 'make depend' a tree-walk is still done to ensure that all DPSRCS
are generated when expected, and that beforedepend/afterdepend and
_EXTRADEPEND are all still respected.  In time this may change but for now
I've been conservative.  The time for a tree-walk with -j combined with
SUBDIR_PARALLEL is not significant.  For example, it takes about 9 seconds
with -j15 to walk all of src/ for 'make depend' now on my system.

A .depend file is still generated with the various rules that apply to
the final target, or custom rules.  Otherwise there are now
per-built-object-file .depend files, such as .depend.filename.o.  These
are included directly by make rather than populating .depend with a loop
and .depend lines, which only added overhead to the now almost-NOP 'make
depend' phase.

Before this I experimented with having mkdep(1) called in parallel per-file.
While this improved the kernel and lib/libc 'make depend' phase, it resulted
in slower build times overall.

The -M flags are removed from CFLAGS when linking since they have no effect.

Enabling this by default, for src or out-of-src, can be done once more testing
has been done, such as a ports exp-run, and with more compilers.

The system I used for testing was:
  WITNESS
  Build options: -j20 WITH_LLDB=yes WITH_DEBUG_FILES=yes WITH_FAST_DEPEND=yes
  DISK: ZFS 3-way mirror with very slow disks using SSD l2arc/log.
        The arc was fully populated with src tree files.
  RAM: 76GiB
  CPU: Intel(R) Xeon(R) CPU L5520 @2.27GHz
       2 package(s) x 4 core(s) x 2 SMT threads = hw.ncpu=16

buildworld:
  x buildworld-before
  + buildworld-fastdep
  +-------------------------------------------------------------------------------+
  |+                                                                              |
  |+                                                                              |
  |+                                                                       xx    x|
  |                                                                       |_MA___||
  |A                                                                              |
  +-------------------------------------------------------------------------------+
      N           Min           Max        Median           Avg        Stddev
  x   3       3744.13       3794.31       3752.25     3763.5633     26.935139
  +   3       3153.34       3155.16        3154.2     3154.2333    0.91045776
  Difference at 95.0% confidence
          -609.33 +/- 43.1943
          -16.1902% +/- 1.1477%
          (Student's t, pooled s = 19.0569)

buildkernel:
  x buildkernel-before
  + buildkernel-fastdep
  +-------------------------------------------------------------------------------+
  |+                                                                            x |
  |++                                                                           xx|
  |                                                                             A||
  |A|                                                                             |
  +-------------------------------------------------------------------------------+
      N           Min           Max        Median           Avg        Stddev
  x   3        571.57        573.94        571.79     572.43333     1.3094401
  +   3        369.12        370.57         369.3     369.66333    0.79033748
  Difference at 95.0% confidence
          -202.77 +/- 2.45131
          -35.4225% +/- 0.428227%
          (Student's t, pooled s = 1.0815)

Sponsored by: EMC / Isilon Storage Division
MFC after: 3 weeks
Relnotes: yes

otus(4) - add flags for RX filter, configuration and sniffer.

Obtained from: Linux carl9170

Add SUBDIR_PARALLEL.

None of these libraries depend on each other.

Submitted by: Jia-Shiun Li <jiashiun@gmail.com>
MFC after: 2 weeks

Update MAINTAINERS file to reflect re (gjb) wants to review changes
to release.sh

Sponsored by: The FreeBSD Foundation

When dumping an rman in DDB, include the RID of each resource.

Submitted by: Ravi Pokala (rpokala@panasas.com)
Reviewed by: imp
MFC after: 1 week
Differential Revision: https://reviews.freebsd.org/D4086

remove \, it confuses things.

iwn(4): various simple fixes

- Fix mbuf leaks in iwn_raw_xmit() and iwn_xmit_task()
(regression since r288178).
- Check IWN_FLAG_RUNNING flag under lock.
- Remove m->m_pkthdr.rcvif initialization (fixed in r283994).
- Enclose some values in return statements into parentheses.

Approved by: adrian (mentor)
Differential Revision: https://reviews.freebsd.org/D4069

Correct a comment which appears to be mistakingly mechanically changed in r265420.

MFC after: 1 week
Sponsored by: EMC / Isilon Storage Division

OpenSSL is still maintained by us.

Allow 'make buildenv' to work anywhere in the src tree.

Sponsored by: EMC / Isilon Storage Division

Allow 'make buildenv' to default to the caller's shell by using SHELL.

Also pass BUILDENV=1 into the sub-shell to allow modifying PS1 in .profile such
as:
  if [ -n "${BUILDENV}" ]; then
          PS1="(buildenv) ${PS1}"
  fi

SHELL defaults to 'sh' in share/mk/sys.mk, but is typically passed down by
the shell invoking make as well.  Rather than forcing all 'buildenv' users
to use plain /bin/sh, let them use their favorite shell.

MFC after: 2 weeks
Sponsored by: EMC / Isilon Storage Division
Discussed with: imp

Make if_macb work with FDT.

I'm still maintaining these...

Make at91_pmc probe any at91 pmc device we support, not just at91rm9200.

MFC after: 1 week

Add wifi bits.

make is hard, so definitely move it.
Still mulling moving vs deleting the rest of mine.

Fix CC being wrong during install* targets.

Move CROSS_TOOLS stuff to top of file (before bsd.compiler.mk) so that
decisions made by bsd.compiler.mk can properly affect the defaults in
src.opts.mk. Move that to after bsd.compiler.mk. Add a comment about
why we include bsd.compiler.mk here despite the fact that src.opts.mk
currently does too. Also remove bsd.arch.inc.mk that's been OBE.

Differential Revision: https://reviews.freebsd.org/D4087

Chelsio T5 chips do not properly echo the No Snoop and Relaxed Ordering
attributes when replying to a TLP from a Root Port.  As a workaround,
disable No Snoop and Relaxed Ordering in the Root Port of each T5 adapter
during attach so that CPU-initiated requests do not contain these flags.

Note that this affects CPU-initiated requests to all devices under this
root port.

Reviewed by: np
MFC after: 1 week
Sponsored by: Chelsio

Add a new helper function for PCI devices to locate the upstream
PCI-express root port of a given PCI device.

Reviewed by: kib, imp
MFC after: 1 week
Sponsored by: Chelsio
Differential Revision: https://reviews.freebsd.org/D4089

Add helper routines for PCI device drivers to read, write, and modify
PCI-Express capability registers (that is, PCI config registers in the
standard PCI config space belonging to the PCI-Express capability
register set).

Note that all of the current PCI-e registers are either 16 or 32-bits,
so only widths of 2 or 4 bytes are supported.

Reviewed by: imp
MFC after: 1 week
Sponsored by: Chelsio
Differential Revision: https://reviews.freebsd.org/D4088

Note if relaxed ordering or no snoop is enabled for each PCI-express device.

MFC after: 1 week

Start a cleanup of the MAINTAINERS file.  This adds an "OLD" line at the
top of the list.  Any entries in the list that are still below this line
after December 5th will be removed.

Approved by: core

Make rctl(8) use more reasonable buffer size for retrieving the rules.

Reviewed by: mjg@
MFC after: 1 month
Sponsored by: The FreeBSD Foundation

net80211: WME callback cleanup in various drivers

Since r288350, ic_wme_task() is called via ieee80211_runtask(),
so, any additional deferring from the driver side is not needed.

Approved by: adrian (mentor)
Differential Revision: https://reviews.freebsd.org/D4072

Fix g_eli error loss conditions

* Ensure that error information isn't lost.
* Log the error code in all cases.
* Don't overwrite bio_completed set to 0 from the error condition.

MFC after: 2 weeks
Sponsored by: Multiplay

Restrict 520.pfdenied to only list rules that blocked traffic.
Before this change, the 520.pfdenied script listed all rules that
matched /^block/ in the rule. Restrict the printed output to only
those rules that result in packets being dropped.

PR: conf/187224
Approved by: rpaulo (mentor)
Differential Revision: https://reviews.freebsd.org/D4068

Fix markup in rctl(8) - the 'rule' or 'filter' arguments are not optional.

MFC after: 1 month
Sponsored by: The FreeBSD Foundation

Add MTU support to carp interfaces

MFC after: 2 weeks
Sponsored by: Multiplay

Provide information about bad DVA

Provide information about which vdev has an issue with a bad DVA.

MFC after: 1 week
Sponsored by: Multiplay

Update authors' contact info and fix grammar bugs.

MFC after: 2 weeks
Sponsored by: Spectra Logic

Allow zfs_recover to be changed at runtime

MFC after: 1 week
Sponsored by: Multiplay

Revert r290298.  Per discussion on tech-userlevel@netbsd.org this change
was incorrect.