Travis: group tests according to estimated duration

Attempt to optimize overall throughput that way.  The principle
of why ordering thusly helps rests of the solid foundation of
wishful thinking (and observation on how travis usually schedules
the various build jobs).

Finish genfs -> cookfs rename.

Call the runtime counterpart, which prepares the cooked fs
for consumption, "platefs".

cookfs: handle files/paths with spaces

rumprunfs_base: put everything in a "rootfs" directory

Move is done mostly for the purposes of testing that the -s
parameter works.

rename genfs to cookfs

genfs: deal with files with quotation marks in the name

genfs: add -s, strips n leading path components

rumprun-bake: use libexec/readelf -- it's always available

Saves from having to set $READELF if host readelf is not
called "readelf".

In case of sysproxy, print listening address.

genfs: make symbols private

Fixes baking multiple genfs'd objects.  (or, actually, any
user-supplied ones since etc comes by default)

genfs: don't track data objects dynamically

We already know what they'll be and can glob for them.

genfs: pass data files to gcc via symbolic link

The filenames are interpreted by gcc, both in if gcc should
compile the files (which we don't want it, since they're data)
and also as how to transform the filename to the symbol name.
Using a known-good filename (the symlink) takes care of both issues.

problems were reported by @davedoesdev

Pull in new buildrump.sh

Fixes things against nbsrc HEAD.

build-rr: make ld 2.22 the minimum

Fixes Travis builds (hopefully ...)

build-rr: the stetson-harrison ld version in previous was wrong.

Apparently Travis sports an older version.  Print it so that
I can fix the check.

build-rr: check cc/ld versions

Issue a warning or error for old or prehistoric tools,
respectively.

XXX: not sure how the ld check will work with GNU gold.
We'll see.

Issue reported by a number of users recently, including
in issue #69.

test that passwd entry for "root" is available

Include rumprunfs_base in the _foundation set.

Add a librumprunfs_base component.

It is built by genfs and contains the /etc files required by
most Rumprun unikernels.

genfs: CFLAGS/CPPFLAGS should reflect BUILDRUMP_TOOLS.

Therefore, they need to hardcoded instead of env-overridable.

genfs tool: remember to use CFLAGS

build app-tools earlier

Create app-tools as executable in objdir.

That way they can be judiciously executed from there during
a build.

Add genfs.

genfs is a tool for turning directory hierarchies into an
object file.  When the object file in question is baked into
a Rumprun unikernel image, the files from the hierarchies are
(magically) available in the booted unikernel.

Add rumprun_genfs()

It attaches rumpfs external storage to the given pathnames with
the given memory area.

Re-pull src-netbsd.

Fixes snafu in previous, one which wasn't yet apparent but
would have been apparent soon.

update src-netbsd, also contains new openssl

Also add $RUMPRUN_CC to config.

A build-specific cc is needed because cc includes the lib path
in the binary for baking.  After this change it's possible to use
config variables alone to build at least a simple unikernel for
testing (i.e. setting PATH to match the build dest is not required).

XXX: value is hardcoded to gcc, but that's not a practical problem as
long as support only gcc.

Add RUMPSTOP to config too, so that tests find it.

Include git branch in default obj/destdir names.

If we're not in a git repo, on master, or detached => nothing.

Try to fix travis

Not sure if the travis "shell" supports ".", so might have
make a script to source the config.  We'll see.

Use $RUMPRUN/$RUMPRUN_BAKE in tests

Add RUMPRUN_BAKE and RUMPRUN to config.

That way you don't have to twiddle with paths if you want to
build to an alternate tree while doing development.
(config is only for developers anyway)

Run the xen probe in a subshell.

Might fix Travis build failure.  Who knows.  Hard to say for
sure about the problems which I can't repeat locally.

Probe location of Xen headers.

Throw an intelligent error if they're not found.

XXX: would be nice to have a mechanism for providing a manual
override, but that sort of parameter passing needs a general
solution.

related to #67 (which can now be closed)

Recent NetBSD needs _KERNTYPES to expose register_t.

update buildrump.sh for NetBSD 7.99.26 support

update src-netbsd

ext2fs kernel panic fix

Merge pull request #66 from deferpanic/master

adding raw as qemu image format explicitly

adding authors

adding raw

remember to add rumpkern_mman to the config too

Move mmap emulation into the kernel.

That way systems which want to use kernel-only mode can
use the mmap emulation.

part of deferpanic/gorump#18

Add travis test for cxx-less mode.

Build libunwind only with CONFIG_CXX=yes

libunwind contains C++ sources, so it's not possible to build
it without a C++ compiler.

app-tools: respect CONFIG_CXX

pull in new buildrump.sh

x86: keep state for both PICs

Allow NULL putc in bmk_printf_init()

README: List examples of working application languages.

sprinkle more debug prints to mmap

Add .lbss to ldscript

Ensures that .lbss stuff stays before _end, which in turn
makes memory allocation work a lot better.

Should add ldata and lrodata too, but I'm hating these
copypasteware ldscripts, so need to fix the ldscript
infra first.

expose rump_syscall() to applications

pull in new src-netbsd

openssl 1.0.1q (vulnerabilities)

fix amd64 fattrap to correctly account for error codes

config.md: Continuing work on configuration spec

Now mostly documents the current implementation

rumprun: use sysctl() to disable DAD

It's possible since there's a new src-netbsd in town (has
been for some time now).

config: Formatting fixes

First cut of rumprun unikernel configuration specification

This is mostly extracted from current librumprun_base/config.c and
app-tools/rumprun source. Work in progress.

hw/x86: Load configuration from multiboot module if found

rumpbake_main<n> -> rumprun_main<n>

Avoids the problematic term "rumpbake", and the
function name is more a property of rumprun anyway.

Restore old argv behaviour which was lost with rc_TESTING.

The first argv deriving from cmdline will be used for all
remaining executables.  Sucky semantics, but while we're in
limbo, we're in limbo, and not much sense can be made here.

minios: don't rely on specific page table allocation scheme

Today mini-os is making assumptions how the page tables it is started
with are being allocated. Especially it is using the number of page
table frames to calculate which is the first unmapped pfn.

Instead of relying on page table number assumptions just look into the
page tables to find the first pfn not already mapped.

Signed-off-by: Juergen Gross <jgross@suse.com>
Acked-by: Samuel Thibault <samuel.thibault@ens-lyon.org>
master commit: 8d84345a20d8a46ea26379c9f19961f6aa3e6e83
master date: Fri Nov 20 19:32:42 2015 +0100
[ wei: port to rumprun ]
Signed-off-by: Wei Liu <liuw@liuw.name>

rumprun: fix grub-mkrescue argument order

Now matches man page.  Fixes issue #62.

pgalloc_align: make page size min alignment

Fix callers and tighten assert.

add more kludges to deal with test build mess

Update src-netbsd and buildrump.sh.

Fixes snafu in previous update of these submodules.

buildtests.sh: don't set variables which are already set

pull in latest src-netbsd and buildrump.sh

Fix test build by making sure CC/CXX doesn't get overriden.

XXX: maybe the vars for the backend buildrump.sh tools in
config (e.g. CC) should have smarter names.

rumprun-bake: make -c conf-without-path work

rumprun-bake usage: all commands optionally take -c conffile

tests: include $RUMPRUN_MKCONF

"make clean" will now nuke hellopp.bin, where pertinent

rumprun-bake: check that "describe" is invoked with proper args

rumprun-bake: dumpconfig -> describe

New name seems, subjectively speaking, more professional.

rumprun-bake: improve usage

* add dumpconfig
* print synopsis and descriptions in the same order

rumprun-bake: give user a better chance to see compat warning

rumprun-bake: _uniq only just-in-time

It's not *that* difficult, and it's way faster.

rumprun-bake: fix _uniq param to make previous commit actually work

The numbers from the previous commit are less impressive now.
But we're still ahead of the 100ms human-lag-detection zone.

rumprun-bake: _uniq each config only in its final state

Hugely speeds up config processing: makes "rumprun-bake list" go
from 150ms to 40ms on my machine and, most importantly, removes
human-observable sluggishness.

rumprun-bake: add "dumpconfig" to command line syntax

Assign ${.PARSEDIR} directly instead of cd + pwd.

Fixes issue #60

build-rr: abspath PLATFORMDIR

rumprun-bake: fix grammar in usage and reword slightly

build-rr: catch errors from buildrump.sh probe

build-rr: run setvars also for install

Makes "./build-rr hw install" work.  Without this fix the
default object directory would not get set.

build-rr: add -d to synopsis

rumprun launcher: fail if -D is used with iso

app-tools cc: fail for -print-multiarch

Some packages (e.g. python) will do the wrong thing if the
compiler pretends to support multiarch.

with thanks to @rday

app-tools cc: use basename $0 for error, not whole $0

build-rr: write "config" which includes both mk/sh configs

Run "make includes" so that unwind.h gets installed again.

Fixes rumprun-packages/38

x86: ack insr interrupts on PIC.

Partial fix for #59 in the sense that the guest no longer
stops responding.

Still no idea why repeating the problem is only possible on
amd64 with serial console, so further exploration is necessary.

per tip from @mato

g/c leftover local prototypes

no functional change

build-rr: update usage

rumprun: fix -W t,inet,dhcp under set -u

rumprun: adjust copypasteware in error messages

rumprun launcher: set -eu

Tried to go through a bunch of different scenarios, but some
fallout is possible, of course.

prune unnecessary header

Merge pull request #58 from gaffo/patch-1

Correct error output, $image_path is blank / not a real variable