CPUID-based detection with Xen.

Use the brand new hwloc_x86_discovery() function to allow the common x86 code
to enumerate cache information under Xen.

The following patch is required

http://xenbits.xen.org/gitweb/?p=people/andrewcoop/xen.git;a=commitdiff;h=51cfdf2dfd5fd905f136418810e250cd21c6643c

which implements the xc_xen_cpuid() function in libxc and Xen.

Signed-off-by: Andrew Cooper <andrew.cooper3@citrix.com>

tests/ports: add cross-testing

Xen topology support in hwloc

This requires the following patch (which is applicable for backport to at
least Xen 4.3):

http://xenbits.xen.org/gitweb/?p=people/andrewcoop/xen.git;a=commitdiff;h=c1faa00881ba1de42e3aff6a7009a69ff7940b19

which implements a cleaner API for xc_{topology,numa}info.

This patch provides basic topology enumeration in hwloc.  Xen support should
be built automatically given an appropriate version of libxenctrl (i.e. with
the above patch) in the build environment.

Xen support can be built as a plugin (to remove direct dependences on
libxenctrl), and is disabled by default.  In dom0, use

`HWLOC_COMPONENETS=xen ./lstop ...`

to enable Xen system topology enumeration in preference to the faked topology
which the kernel gets to see.

This patch provides basic support for PUs, cores, sockets and numa nodes, with
numa nodes being annotated with availabe memory[1].  It has been sanity tested
on various different servers in our testing pool.

Some of this patch includes folded patches from Brice Goglin <Brice.Goglin@inria.fr>

Signed-off-by: Andrew Cooper <andrew.cooper3@citrix.com>
[1] It turns out Xen's idea of memory attached to a node includes pages
mapping IO regions.  This is a hypervisor bug has been raised on xen-devel.

plugins: cleanup hwloc_setup_pu_level() and export it to plugins

Xen needs it.

plugins: export hwloc_alloc_root_sets()

Renamed from the old hwloc_alloc_obj_cpusets(),
now officially specialized for root objects only,
and now exported to plugins (Xen will need it).

x86: export hwloc_x86_discovery to plugins

Make it accept a cpuid callback+data for Xen.

x86: make the x86 detection configurable with flags (internally)

Use flags to enable full discovery, caches only, or annotating cpuinfo only.
Enable them depending on whether caches or other objects being already present.

x86: use fake binding hooks to let look_procs work on unsupported OSes

x86: simplify the management of binding hooks

We check early whether binding is available, record the thread or proc
support there, and just use that one later, instead of trying both.

x86: check hwloc_have_cpuid() in the backend instantiate instead of late in the discovery

synthetic: rework the storage of synthetic info in the backend private data

synthetic: add support for L2cache, L1i, group3, etc for for input and export

Add hwloc_obj_type_sscanf() to extend hwloc_obj_type_of_string()

The former was already used in hwloc-calc.h to parse things like
"L2iCache" or "Group3". Make it officially part of the API and
deprecate the old hwloc_obj_type_of_string().

tests: don't abuse synthetic topology strings

Use what's officially supported, no deprecated or possibly ambiguous syntax.

hwloc_obj_attr_snprintf: don't mix local and total memory when printing verbose attributes

NEWS: final v1.8.1 bullets

Merge branch 'master' of github.com:open-mpi/hwloc

Give a name to the lstopo window

doc: add hwloc_linux_get_tid_last_cpu_location manpage

hwloc-distrib(1): clarify --from

NEWS: minor fixes

Bring 1.8.1 NEWS in master and update 1.9 NEWS bullets

tests/linux: add /proc/hwloc-nofile-info with Architecture field to some tarballs to test the new CPUVendor/... code

Linux: add CPUVendor/CPUModelNumber/CPUFamilyNumber on Linux x86, x86_64, ia64 and Xeon Phi

Uses the uname architecture to properly match /proc/cpuinfo fields.

Requested by Ralph Castain.

Linux: use the uname architecture to better match cpumodel information

Look at the uname architecture to select which cpuinfo parsing function
will be used.
For now, we have one for x86/x86_64/mic, one for ia64 and one for arm.
Others (or when the architecture is unknown, when fsroot was changed
and there's no /proc/hwloc-nofile-info) fallback to the default "dumb"
parsing function.

Linux: prepare for gathering more than just the main cpu model name

Pass some structures between functions instead of a single cpumodel pointer.

Linux: allow to read uname from fake fs root

Read a new "fake" /proc/hwloc-nofile-info where we can store things
that cannot be saved as a file. Put the output of uname there when
gathering the topology and use it on input to overwrite local or
missing data.

This improves testing under tests/linux by allowing architecture
specific code to run from fake fsroot. Will be useful for advanced
cpuinfo parsing.

We manually remove /proc/hwloc-nofile-info in test-gather-topology.sh
because it only partially brings fake fsroot information.
Removing it creates the same !is_thissystem() output from the fake
fsroot and from the real machine.

Once we gather other information in /proc/hwloc-nofile-info:
* sysconf(_SC_LARGE_PAGESIZE);
* hwloc_getpagesize();
* hwloc_fallback_nbprocessors(topology);
we may be able to really use /proc/hwloc-nofile-info in test-gather-topology.sh
and really discover the exact same thing from the saved topology and
from the original machine. We'll see that later.

core: allow backends to reuse a cached uname info when adding uname string infos

And ignore any empty uname field in case the backend gives incomplete info.

README: Remove the doxygen footer so that the README doesn't get modified too often

By the way, update the README.

rename: fix diff renaming

doc: document new CPU info attributes

Update hwloc/rename.h

x86: Add CPUVendor/CPUModelNumber/CPUFamilyNumber info

Requested by Ralph Castaing.

core: Add add_info_nodup() to optionally check for duplicate info keypairs

x86: Add uname info when not done yet, or at least set Architecture=x86/x86_64

x86: factorize the code that uses thread or process-binding for cpuid lookups

Save the windows build script for ci.inria.fr under contrib

Fix cpuid on windows 64bits so that the x86 backend is enabled as expected

unsigned long isn't 64bits on win64, so the cpuid assembly code fails to
build during configure (%ebx and %rbx gets mixed in the assembly),
and the entire x86 backend gets disabled.

Use hwloc_uint64_t instead. It needs hwloc/autogen/config.h which isn't
ready during configure yet, so manually add #include/#define during
the cpuid check.

Thanks to Robin Scher for reporting the problem.

Run "make doc" before "make distcheck" in the nightly tarball script.

It is now necessary to have the docs built before running "make dist",
so update the nightly script to do that.

doc: only try to copy doxygen.css when the doc was rebuilt

doc: build the top-level README as a single rule

2 rules with intermediate file being removed means
that those rules always rerun.

doc: further simplify doc/Makefile.am

When doxygen and readme are buildable, we always build them.
When not, we just do nothing and let config/distscript.csh fail later.

doc/Makefile.am: factorize AM if/endif and remove obsolete stuff

dist: no need to specify anything from doxygen-doc/ under doc/Makefile.am

doxygen-doc/ is manually copied by config/distscript.csh

Therefore, let config/distscript.csh handle failure to create the doc
when doxygen is missing.

By the way, update obsolete comments about adding entire directories
to EXTRA_DIST.

dist: don't automatically rebuild doxygen on each make dist

Warn if the doc doesn't exist, or just use what's already there.

contrib/dist/make_dist_tarball takes care of removing/recreating the doc,
and the doc is already correctly rebuilt in most cases, it is built by
make dist when not already available.
No need to keep complex rules for always rebuilding the doc just in case
somebody ever builds a tarball manually and ends up containing an outdated
doc for some reason.

Remove --enable-doxygen from make distcheck now that things are simple.

doc: Fix the error PDFs are needed but doxygen isn't available

Fix make dist during make distcheck

It wants to generate doxygen docs, but it doesn't by default
since it builds from a tarball. Force --enable-doxygen to fix that.

By the way, no need to double-check that doc/readme were generated
before building the tarball. config/distscript.csh is called on dist
and it does things as expected.

Also add a better error message when make dist fails because
PDFs do not exist yet, and doxygen isn't available.

Ideally, we'd just remove distscript.csh to make things much simpler
but I don't want to break more things today.

configure: Fix the disabling of doxygen when building from tarballs

We check if we are in a developer tree, display the result, but do nothing with it.
Add the relevant code to update enable_doxygen accordingly if it wasn't forced
on the command-line.

This was unnoticed for a long time because we distribute hwloc.tag,
which causes tarball-builds not to regenerate the doc.
But they will regenerate it as soon as a dependency changes.

Now doxygen is entirely disabled properly in tarball-builds for real
as long as --enable-doxygen is not given.

tests/linux: add a test with very buggy NUMA info

Linux reports 8 NUMA nodes containing the (same) entire list of all cores,
hence all of them get merged.

Thanks to Jeff Becker for the test case.

linux/NUMA: Work around buggy NUMA node cpusets

If Linux reports multiple nodes with intersecting (or identical) cpusets,
they get merged and the Linux backend asserts false.

Don't assert when insertion returns a merge error anymore.
Just disable NUMA distances if that ever happens since one
object is missing (instead of removing the corresponding row/column).
The BIOS is buggy, the matrix would likely be meaningless anyway.

Thanks to Jeff Becker for reporting the problem on the OMPI list.

By the way, fix the number of nodes returned by look_sysfsnode()
when we failed to read/create some NUMA objects.

core: switch more printf(stderr) to unique messages that can be silenced with HWLOC_HIDE_ERRORS=1

Useful when debugging failures to merge because of different OS indexes or levels.

update-my-copyright.pl: update to git releases that don't prefix git status output with # by default anymore

Change the logic in bind.c to only include <malloc.h> if we don't have posix_memalign.

In http://www.open-mpi.org/community/lists/devel/2014/01/13619.php,
Paul Hargrove found a compiler warning on OpenBSD where <malloc.h>
exists, but is not intended to be used (and doesn't error out, so
AC_CHECK_HEADERS says its ok).

If a git command fails, also print the repo in the error message

Keep a copy of the script that we use for sending git diff emails.

hwloc-ps: don't report locations as caches unless there is nothing equivalent

We report the higher object matching the binding.
Go down if it's a cache that has a single identical child.

hwloc-bind: Add -e as a synonym to --get-last-cpu-location

To match what hwloc-ps supports.

hwloc-ps: Add -e/--get-last-cpu-location

linux: export hwloc_linux_get_tid_last_cpu_location()

This is equivalent to hwloc_get_proc_last_cpu_location(THREAD) on Linux,
but it's better for clarity to have this Linux specific call as well
(and it was already implemented internally)

hwloc.h: Fix proc_cpubind() proc_last_cpu_location() documentation when using Linux TID

and document that hwloc_linux_*_tid_cpubind() are equivalent.

utils: fix cpubind support checks

automake subdir-object mode needs check for -c -o

Older automake versions (at least 1.13.1) will complain if we asked for subdir
mode and we did not verify that both -c and -o flags work (AM_PROG_CC_C_O)

update master NEWS from v1.8

API: fix some doxygen refs

Script that is run on the build server to make nightly snapshot tarballs

custom: document that objects above assembled topologies have NULL cpuset/nodeset

Thanks to Jérôme Clet-Ortega for reporting the need for clarification.

tests/hwloc_insert_misc: more assertions

To detect spurious failures on AIX because of ENOMEM.

test-hwloc-diffpatch: exit the temp directory before removing it

Otherwise rmdir fails on AIX

Fix unused parameter warning

Fix types of RGB colors.

Fix mixed declaration/code warning

We're 100% git these days.

master is now v1.9

Remove Cairo dependency on X11 and factorize X11 tests

Per discussion on the mailing list, it doesn't look like Cairo needs
X11 any more (it doesn't on OS X to generate PDFs and PNGs).  So
remove the dependency in configure.ac.

Also, move the X11 tests from outside of the Cairo tests (and outside
of the GL tests) to be in the main configure logic.

By the way, rename HWLOC_HAVE_X11 into HWLOC_HAVE_X11_KEYSYM to avoid
confusion between Xlib.h/XOpenDisplay being available (what GL needs)
and Xutil.h+keysym.h being available too (what lstopo/X11 needs).

Based on a patch from Jeff, tweaked by me.

cleanup v1.8 NEWS bullets

Bump AM to 1.14 for v1.8

linux/mic: add a MICSerialNumber info attribute when running inside the MIC

OMPI people want an easy way to recognize MICs and nodes using hwloc.
We already have MICSerialNumber inside OS devices in the host topology,
add the same to the root object of MIC topologies.
Unfortunately, we couldn't find anything better than parsing /proc/elog
to find that number.

hwloc-compress-dir: allow to uncompress with -R

Modify the test case a bit because the input XMLs weren't totally perfect.

hwloc-patch: add support for automatically guessing the input topology filename from the XML refname

You may do "hwloc-patch refname foo.diff.xml", it will replace "refname"
with the topology that was used as a reference when generating the diff.

tools: Add --whole-system and --restrict for uniformity

Add --whole-system to hwloc-bind, hwloc-calc, hwloc-distances and
hwloc-distrib, and add --restrict to hwloc-bind for uniformity among
tools.

Based on http://www.open-mpi.org/community/lists/hwloc-users/2013/10/0908.php

contrib/update-my-copyright.pl: fix git status parsing for non-english locales

Pass LANG=C to git status so that we properly recognize modified files.

Fix make_nightly_snapshot processing.

Leave *only one place* where "git desribe" is invoked and set into the
snapshot_version field in VERSION: the make_nightly_snapshot script.
distscript.csh no longer twiddles the VERSION file.

Updates for tarball generation to handle new git infrastructure.

- No longer download latest config.sub|guess in distscript.csh; the
  GNU Autotools are updated frequently enough these days that the
  bundled versions are fine
- Rename nightly/create_tarball.sh -> nightly/make_snapshot_tarball
- Add "snapshot" and "snapshot_version" fields in VERSION; removed
  want_repo_rev and repo_rev fields
- Updated make_dist_tarball and make_snapshot_tarball to handle git
- Do not handle SVN or Mercurial repos any more
- Somewhat simplified hwloc_get_version.sh:
  - Never fill in a repo version number; always just report what is in
    VERSION already (and error out if there's not enough information
    in VERSION).  Only distscript.csh will insert a value into
    VERSION:snapshot_version (when needed).
  - Removed extra CLI options (e.g., get major/minor/etc. version
    number components)

Update to only handle Git repos.

No longer handle SVN or Mercurial repos.

Convert SVN URLs to git URLs in documentation.

Update .gitignore.

tests/embedded: improve version extraction

Avoid troubles when the tarball name contains another instance of 'tar'.

utils/tests: add hwloc-compress-dir

This commit was SVN r5816.

Add hwloc-compress-dir utility

It takes a directory of XML topologies and compresses it by using
hwloc-diff to store as many topologies as diffs as possible.

This commit was SVN r5815.

utils/manpages: fix the layout of the DESCRIPTI...

utils/manpages: fix the layout of the DESCRIPTION section

This commit was SVN r5814.

hwloc-assembler-remote: Fix typo in usage and a...

hwloc-assembler-remote: Fix typo in usage and abort-out on unknown option with a single dash

This commit was SVN r5813.

doxy: sync the list of supported platforms with...

doxy: sync the list of supported platforms with the website

This commit was SVN r5812.

Bump HWLOC_API_VERSION to 0x00010800

We added at least  topology_dup() and the diff interface.

This commit was SVN r5811.

hwloc-calc.h: make location parsing more reliab...

hwloc-calc.h: make location parsing more reliable and add useful error messages

Use strtol() instead of atoi() when parsing type strings, depth, and ranges,
and error-out if some spurious characters are found.
Will avoid unexpected results when using wrong separators.

Thanks for Bertrand Putigny for reporting the problem by mistake.

This commit was SVN r5810.

core: don't debug_check the topology consistenc...

core: don't debug_check the topology consistency too early during dup()

This commit was SVN r5809.

diff: use hwloc_uint64_t instead of uint64_t

This commit was SVN r5808.

doc: add missing dependency from diff manpages ...

doc: add missing dependency from diff manpages on the doxytag

This commit was SVN r5807.

doc: Enable doxygen on hwloc/diff.h and add som...

doc: Enable doxygen on hwloc/diff.h and add some specific paragraphs about it

This commit was SVN r5806.

utils/tests: add hwloc-patch/hwloc-diff test

This commit was SVN r5805.

utils: Add hwloc-diff and hwloc-patch tools for...

utils: Add hwloc-diff and hwloc-patch tools for manipulating XMLs of topologies and diffs

This commit was SVN r5804.