tests/ports: add cross-testing

Xen topology support in hwloc

This requires the following patch (which is applicable for backport to at
least Xen 4.3):

http://xenbits.xen.org/gitweb/?p=people/andrewcoop/xen.git;a=commitdiff;h=3585994405b6a73c137309dd4be91f48c71e4903

which implements a cleaner API for xc_{topology,numa}info.

This patch provides basic topology enumeration in hwloc.  Xen support should
be built automatically given an appropriate version of libxenctrl (i.e. with
the above patch) in the build environment.

Xen support can be built as a plugin (to remove direct dependences on
libxenctrl), and is disabled by default.  In dom0, use

`HWLOC_COMPONENETS=xen ./lstop ...`

to enable Xen system topology enumeration in preference to the faked topology
which the kernel gets to see.

This patch provides basic support for PUs, cores, sockets and numa nodes, with
numa nodes being annotated with availabe memory[1].  It has been sanity tested
on various different servers in our testing pool.

Some of this patch includes folded patches from Brice Goglin <Brice.Goglin@inria.fr>

Signed-off-by: Andrew Cooper <andrew.cooper3@citrix.com>
[1] It turns out Xen's idea of memory attached to a node includes pages
mapping IO regions.  This is a hypervisor bug has been raised on xen-devel.

plugins: cleanup hwloc_setup_pu_level() and export it to plugins

Xen needs it.

plugins: export hwloc_alloc_root_sets()

Renamed from the old hwloc_alloc_obj_cpusets(),
now officially specialized for root objects only,
and now exported to plugins (Xen will need it).

hwloc-ps: don't report locations as caches unless there is nothing equivalent

We report the higher object matching the binding.
Go down if it's a cache that has a single identical child.

hwloc-bind: Add -e as a synonym to --get-last-cpu-location

To match what hwloc-ps supports.

hwloc-ps: Add -e/--get-last-cpu-location

linux: export hwloc_linux_get_tid_last_cpu_location()

This is equivalent to hwloc_get_proc_last_cpu_location(THREAD) on Linux,
but it's better for clarity to have this Linux specific call as well
(and it was already implemented internally)

hwloc.h: Fix proc_cpubind() proc_last_cpu_location() documentation when using Linux TID

and document that hwloc_linux_*_tid_cpubind() are equivalent.

utils: fix cpubind support checks

automake subdir-object mode needs check for -c -o

Older automake versions (at least 1.13.1) will complain if we asked for subdir
mode and we did not verify that both -c and -o flags work (AM_PROG_CC_C_O)

update master NEWS from v1.8

API: fix some doxygen refs

Script that is run on the build server to make nightly snapshot tarballs

custom: document that objects above assembled topologies have NULL cpuset/nodeset

Thanks to Jérôme Clet-Ortega for reporting the need for clarification.

tests/hwloc_insert_misc: more assertions

To detect spurious failures on AIX because of ENOMEM.

test-hwloc-diffpatch: exit the temp directory before removing it

Otherwise rmdir fails on AIX

Fix unused parameter warning

Fix types of RGB colors.

Fix mixed declaration/code warning

We're 100% git these days.

master is now v1.9

Remove Cairo dependency on X11 and factorize X11 tests

Per discussion on the mailing list, it doesn't look like Cairo needs
X11 any more (it doesn't on OS X to generate PDFs and PNGs).  So
remove the dependency in configure.ac.

Also, move the X11 tests from outside of the Cairo tests (and outside
of the GL tests) to be in the main configure logic.

By the way, rename HWLOC_HAVE_X11 into HWLOC_HAVE_X11_KEYSYM to avoid
confusion between Xlib.h/XOpenDisplay being available (what GL needs)
and Xutil.h+keysym.h being available too (what lstopo/X11 needs).

Based on a patch from Jeff, tweaked by me.

cleanup v1.8 NEWS bullets

Bump AM to 1.14 for v1.8

linux/mic: add a MICSerialNumber info attribute when running inside the MIC

OMPI people want an easy way to recognize MICs and nodes using hwloc.
We already have MICSerialNumber inside OS devices in the host topology,
add the same to the root object of MIC topologies.
Unfortunately, we couldn't find anything better than parsing /proc/elog
to find that number.

hwloc-compress-dir: allow to uncompress with -R

Modify the test case a bit because the input XMLs weren't totally perfect.

hwloc-patch: add support for automatically guessing the input topology filename from the XML refname

You may do "hwloc-patch refname foo.diff.xml", it will replace "refname"
with the topology that was used as a reference when generating the diff.

tools: Add --whole-system and --restrict for uniformity

Add --whole-system to hwloc-bind, hwloc-calc, hwloc-distances and
hwloc-distrib, and add --restrict to hwloc-bind for uniformity among
tools.

Based on http://www.open-mpi.org/community/lists/hwloc-users/2013/10/0908.php

contrib/update-my-copyright.pl: fix git status parsing for non-english locales

Pass LANG=C to git status so that we properly recognize modified files.

Fix make_nightly_snapshot processing.

Leave *only one place* where "git desribe" is invoked and set into the
snapshot_version field in VERSION: the make_nightly_snapshot script.
distscript.csh no longer twiddles the VERSION file.

Updates for tarball generation to handle new git infrastructure.

- No longer download latest config.sub|guess in distscript.csh; the
  GNU Autotools are updated frequently enough these days that the
  bundled versions are fine
- Rename nightly/create_tarball.sh -> nightly/make_snapshot_tarball
- Add "snapshot" and "snapshot_version" fields in VERSION; removed
  want_repo_rev and repo_rev fields
- Updated make_dist_tarball and make_snapshot_tarball to handle git
- Do not handle SVN or Mercurial repos any more
- Somewhat simplified hwloc_get_version.sh:
  - Never fill in a repo version number; always just report what is in
    VERSION already (and error out if there's not enough information
    in VERSION).  Only distscript.csh will insert a value into
    VERSION:snapshot_version (when needed).
  - Removed extra CLI options (e.g., get major/minor/etc. version
    number components)

Update to only handle Git repos.

No longer handle SVN or Mercurial repos.

Convert SVN URLs to git URLs in documentation.

Update .gitignore.

tests/embedded: improve version extraction

Avoid troubles when the tarball name contains another instance of 'tar'.

utils/tests: add hwloc-compress-dir

This commit was SVN r5816.

Add hwloc-compress-dir utility

It takes a directory of XML topologies and compresses it by using
hwloc-diff to store as many topologies as diffs as possible.

This commit was SVN r5815.

utils/manpages: fix the layout of the DESCRIPTI...

utils/manpages: fix the layout of the DESCRIPTION section

This commit was SVN r5814.

hwloc-assembler-remote: Fix typo in usage and a...

hwloc-assembler-remote: Fix typo in usage and abort-out on unknown option with a single dash

This commit was SVN r5813.

doxy: sync the list of supported platforms with...

doxy: sync the list of supported platforms with the website

This commit was SVN r5812.

Bump HWLOC_API_VERSION to 0x00010800

We added at least  topology_dup() and the diff interface.

This commit was SVN r5811.

hwloc-calc.h: make location parsing more reliab...

hwloc-calc.h: make location parsing more reliable and add useful error messages

Use strtol() instead of atoi() when parsing type strings, depth, and ranges,
and error-out if some spurious characters are found.
Will avoid unexpected results when using wrong separators.

Thanks for Bertrand Putigny for reporting the problem by mistake.

This commit was SVN r5810.

core: don't debug_check the topology consistenc...

core: don't debug_check the topology consistency too early during dup()

This commit was SVN r5809.

diff: use hwloc_uint64_t instead of uint64_t

This commit was SVN r5808.

doc: add missing dependency from diff manpages ...

doc: add missing dependency from diff manpages on the doxytag

This commit was SVN r5807.

doc: Enable doxygen on hwloc/diff.h and add som...

doc: Enable doxygen on hwloc/diff.h and add some specific paragraphs about it

This commit was SVN r5806.

utils/tests: add hwloc-patch/hwloc-diff test

This commit was SVN r5805.

utils: Add hwloc-diff and hwloc-patch tools for...

utils: Add hwloc-diff and hwloc-patch tools for manipulating XMLs of topologies and diffs

This commit was SVN r5804.

tests: add hwloc_topology_diff.c

This commit was SVN r5803.

diff: implement XML import/export

This commit was SVN r5802.

Add a new hwloc/diff.h interface for listing di...

Add a new hwloc/diff.h interface for listing differences between topologies

Only the core diffing/patching functions are implemented,
XML import/export isn't yet.

This commit was SVN r5801.

tests: Add hwloc_topology_dup.c

This commit was SVN r5800.

API: Add hwloc_topology_dup()

Useful for keeping a backup while modifying a topology.

This commit was SVN r5799.

core: don't duplicate distances when duplicatin...

core: don't duplicate distances when duplicating objects

These distances are recreated at the end of the build
(except in custom topologies because multinode distance
 matrices are not well supported. Refs #48).

This commit was SVN r5798.

core: also duplicate online/complete/allowed se...

core: also duplicate online/complete/allowed sets when duplicating objects

This commit was SVN r5797.

core: abstract-out hwloc__duplicate_object()

This commit was SVN r5796.

nolibxml: add support for child tag without att...

nolibxml: add support for child tag without attributes

(wasn't needed so far, since the <topology> root tag is handled manually)

This commit was SVN r5795.

nolibxml: abstract out the code that reads a XM...

nolibxml: abstract out the code that reads a XML file from disk

This commit was SVN r5794.

utils: add line breaks to Makefile.am, things a...

utils: add line breaks to Makefile.am, things are way too long there

This commit was SVN r5793.

headers: move the header file documentation to ...

headers: move the header file documentation to groups

We don't have a file index, so putting doxygen docs in the file
header is almost useless. Move/add interesting things to the
doxy groups underneath so that it actually appears in the generated
doc.

By the way, update the README.

This commit was SVN r5792.

linuxpci: Remove some dead code and a memory le...

linuxpci: Remove some dead code and a memory leak

That code isn't needed anymore, we use pci-common.c for finding
the locality of hostbridges.

Found by Coverity Scan.

This commit was SVN r5791.

lstopo: fix a possible invalid sizeof()

Found by Coverity Scan.

This commit was SVN r5790.

distances: don't attach the matrix to Misc obje...

distances: don't attach the matrix to Misc objects

Those have a special depth, it would mess up the distance relative_depth

This fixes tests/hwloc_insert_misc on NUMA platforms.

This commit was SVN r5789.

pci: make sure we don't export empty names (kee...

pci: make sure we don't export empty names (keep them NULL instead)

XML imports NULL instead of "", so uniformize things a bit to avoid spurious differences.

By the way, clarify how that name is used in the debug printf.

This commit was SVN r5788.

configure: improve the PCI probe summary (again...

configure: improve the PCI probe summary (again)

This commit was SVN r5787.

linux: fix a undefined warning about hwloc_linu...

linux: fix a undefined warning about hwloc_linux_parse_cpuset_file()

Move it in the same #ifdef as its only caller.

This commit was SVN r5786.

lstopo.1: add an example from Jirka with --appe...

lstopo.1: add an example from Jirka with --append-legend

This commit was SVN r5785.

Bring 1.7.2 NEWS bullets into trunk

This commit was SVN r5781.

linux: Fix a bitmap leak when reading the "poss...

linux: Fix a bitmap leak when reading the "possible" cpuset in hwloc_linux_find_kernel_nr_cpus()

(introduced in r5730)

This commit was SVN r5777.

The following SVN revision numbers were found above:
  r5730 --> 8fa27b3aa5d6b1f24927ad981281ed0bb78eea14

lstopo: add --append-legend for the graphical o...

lstopo: add --append-legend for the graphical output

This commit was SVN r5776.

Don't forget to add the new include/hwloc/depre...

Don't forget to add the new include/hwloc/deprecated.h

This commit was SVN r5775.

Move deprecated functions to hwloc/deprecated.h

Only hwloc_obj_snprintf goes there for now
(it has been documented as deprecated for a long time).

This commit was SVN r5774.

Remove remaining references of long-gone hwloc_...

Remove remaining references of long-gone hwloc_get_system_obj()

This commit was SVN r5773.

doxy: document OFED Port%uState and make things...

doxy: document OFED Port%uState and make things more clear around there

This commit was SVN r5768.

tests/linux: update new MIC output

This commit was SVN r5764.

linux/mic: gather the serial number (available ...

linux/mic: gather the serial number (available in recent MIC drivers)

This commit was SVN r5762.

doxy: document other MIC info attributes

This commit was SVN r5761.

NEWS: reorder v1.8 bullets

This commit was SVN r5760.

lstopo(1): talk about --horiz/--vert in LAYOUT

This commit was SVN r5759.

lstopo: add a lstopoStyle info attribute to cha...

lstopo: add a lstopoStyle info attribute to change colors

This attribute must be a semi-colon-separated list of "<attr>=#xxyyzz".
<attr> can be Background (to change the box color), Background2
(other box color), Text (main text color) or Text2 (other text color).
Numbers are hexidecimal, truncated to [0-255].
Details in CUSTOM COLORS in the lstopo(1) manpage.

Suggested by Jirka Hladky.

This commit was SVN r5758.

hwloc-annotate(1): fix examples

This commit was SVN r5756.

hwloc-annotate: add --ri to replace/remove exis...

hwloc-annotate: add --ri to replace/remove existing info attrs with given name

This commit was SVN r5755.

hwloc-info: support all and root locations for ...

hwloc-info: support all and root locations for dumping information about the root object

This commit was SVN r5754.

hwloc-info.1: fix indentation in the synopsis

This commit was SVN r5752.

tests/linux: update outputs with ofed port stat...

tests/linux: update outputs with ofed port state

This commit was SVN r5751.

linux: add a Port%uState info attribute to ofed...

linux: add a Port%uState info attribute to ofed OS devices

This commit was SVN r5750.

doc: update DOX_TAG dependencies after doc/sect...

doc: update DOX_TAG dependencies after doc/sections rework

(This fixes parallel builds)

This commit was SVN r5749.

hwloc_pci_find_cap(): Remove config space size ...

hwloc_pci_find_cap(): Remove config space size checks

The caller must now pass a 256-byte config space,
we can remove several checks.

This commit was SVN r5748.

pci: Always use a 256-byte config space

Initialize everything to 0xff (unknown) before reading the config space,
remove useless size checks everything, and rely on the callee to actually
check things it reads (it already did).

libpci doesn't report the length of the config space it actually reads,
so we can't safely rely on config space size checks. So this actually stop
using unitialized config space data when not running as root
(between 65th and 256th bytes, where we look for capabilities and link speed).

This commit was SVN r5747.

hwloc_pci_prepare_bridge: Move config space man...

hwloc_pci_prepare_bridge: Move config space management size to the caller

Just document that this function needs 64 bytes of common configuration header.

This commit was SVN r5746.

hwloc_pci_find_linkspeed: Move config space man...

hwloc_pci_find_linkspeed: Move config space management size to the caller

Just document that this function needs 20 bytes after offset.

This commit was SVN r5745.

API/doc reorg: NEWS and doc updates

This commit was SVN r5744.

API/doc reorg: Fix remaining section names

This commit was SVN r5743.

API/doc reorg: move alloc_membind helpers to fr...

API/doc reorg: move alloc_membind helpers to friends into hwloc.h and rename the remaining section accordingly

This commit was SVN r5742.

API/doc reorg: cleanup cpu/node sets helpers

This commit was SVN r5741.

API/doc reorg: cleanup ancestor/child/cache/mis...

API/doc reorg: cleanup ancestor/child/cache/misc sections

This commit was SVN r5740.

API/doc reorg: better names for plugins and int...

API/doc reorg: better names for plugins and interoperability sections

This commit was SVN r5739.

API/doc reorg: merge sections about finding cov...

API/doc reorg: merge sections about finding covering objects

This commit was SVN r5738.

API/doc reorg: move tinker/xmlexport to the end...

API/doc reorg: move tinker/xmlexport to the end of hwloc.h

This commit was SVN r5737.