config.md: Continuing work on configuration spec

Now mostly documents the current implementation

rumprun: use sysctl() to disable DAD

It's possible since there's a new src-netbsd in town (has
been for some time now).

config: Formatting fixes

First cut of rumprun unikernel configuration specification

This is mostly extracted from current librumprun_base/config.c and
app-tools/rumprun source. Work in progress.

hw/x86: Load configuration from multiboot module if found

rumpbake_main<n> -> rumprun_main<n>

Avoids the problematic term "rumpbake", and the
function name is more a property of rumprun anyway.

Restore old argv behaviour which was lost with rc_TESTING.

The first argv deriving from cmdline will be used for all
remaining executables.  Sucky semantics, but while we're in
limbo, we're in limbo, and not much sense can be made here.

minios: don't rely on specific page table allocation scheme

Today mini-os is making assumptions how the page tables it is started
with are being allocated. Especially it is using the number of page
table frames to calculate which is the first unmapped pfn.

Instead of relying on page table number assumptions just look into the
page tables to find the first pfn not already mapped.

Signed-off-by: Juergen Gross <jgross@suse.com>
Acked-by: Samuel Thibault <samuel.thibault@ens-lyon.org>
master commit: 8d84345a20d8a46ea26379c9f19961f6aa3e6e83
master date: Fri Nov 20 19:32:42 2015 +0100
[ wei: port to rumprun ]
Signed-off-by: Wei Liu <liuw@liuw.name>

rumprun: fix grub-mkrescue argument order

Now matches man page.  Fixes issue #62.

pgalloc_align: make page size min alignment

Fix callers and tighten assert.

add more kludges to deal with test build mess

Update src-netbsd and buildrump.sh.

Fixes snafu in previous update of these submodules.

buildtests.sh: don't set variables which are already set

pull in latest src-netbsd and buildrump.sh

Fix test build by making sure CC/CXX doesn't get overriden.

XXX: maybe the vars for the backend buildrump.sh tools in
config (e.g. CC) should have smarter names.

rumprun-bake: make -c conf-without-path work

rumprun-bake usage: all commands optionally take -c conffile

tests: include $RUMPRUN_MKCONF

"make clean" will now nuke hellopp.bin, where pertinent

rumprun-bake: check that "describe" is invoked with proper args

rumprun-bake: dumpconfig -> describe

New name seems, subjectively speaking, more professional.

rumprun-bake: improve usage

* add dumpconfig
* print synopsis and descriptions in the same order

rumprun-bake: give user a better chance to see compat warning

rumprun-bake: _uniq only just-in-time

It's not *that* difficult, and it's way faster.

rumprun-bake: fix _uniq param to make previous commit actually work

The numbers from the previous commit are less impressive now.
But we're still ahead of the 100ms human-lag-detection zone.

rumprun-bake: _uniq each config only in its final state

Hugely speeds up config processing: makes "rumprun-bake list" go
from 150ms to 40ms on my machine and, most importantly, removes
human-observable sluggishness.

rumprun-bake: add "dumpconfig" to command line syntax

Assign ${.PARSEDIR} directly instead of cd + pwd.

Fixes issue #60

build-rr: abspath PLATFORMDIR

rumprun-bake: fix grammar in usage and reword slightly

build-rr: catch errors from buildrump.sh probe

build-rr: run setvars also for install

Makes "./build-rr hw install" work.  Without this fix the
default object directory would not get set.

build-rr: add -d to synopsis

rumprun launcher: fail if -D is used with iso

app-tools cc: fail for -print-multiarch

Some packages (e.g. python) will do the wrong thing if the
compiler pretends to support multiarch.

with thanks to @rday

app-tools cc: use basename $0 for error, not whole $0

build-rr: write "config" which includes both mk/sh configs

Run "make includes" so that unwind.h gets installed again.

Fixes rumprun-packages/38

x86: ack insr interrupts on PIC.

Partial fix for #59 in the sense that the guest no longer
stops responding.

Still no idea why repeating the problem is only possible on
amd64 with serial console, so further exploration is necessary.

per tip from @mato

g/c leftover local prototypes

no functional change

build-rr: update usage

rumprun: fix -W t,inet,dhcp under set -u

rumprun: adjust copypasteware in error messages

rumprun launcher: set -eu

Tried to go through a bunch of different scenarios, but some
fallout is possible, of course.

prune unnecessary header

Merge pull request #58 from gaffo/patch-1

Correct error output, $image_path is blank / not a real variable

toolchain.cmake.in: Fix CMAKE_FIND_ROOT_PATH

Correct error output, $image_path is blank / not a real variable

When running, error doesn't say what it's missing, it is actually empty string in this case due to the wrong variable name being used.

memalloc: nicer alloc stats print

memalloc: ctassert malloc header size

reduce malloc header overhead from 16 bytes to 8 bytes.

As a side effect, alignment is limited to 2GB, but I think
that's enough, given that you'd have to have a guest with >4GB
memory for larger alignments to be possible.

memalloc: use __builtin_clzl() instead of for loop.

memalloc: NBUCKETS -> LOCALBUCKETS

(other buckets elsewhere)

memalloc: a bunch of improvements

* go directly to page allocator for large allocations
* make the test hit both small and large allocs
* code simplifications

memalloc: avoid list ping-pong when allocating from core

memalloc: use structs, not an union for alloc blocks

pgalloc: fix comment

no fuctional change

carveandlink_freechunk -> freechunk_link

more descriptional name
no functional change

rumpuser_mem: use page allocator for large allocations

pgalloc: use builtin_ctz/clz instead of for loops.

Add bmk_pgalloc_align()

Can be used to allocate chunks with alignment > size.

memalloc: g/c RCHECK never-conditionally-compiled checks

use constant width types

memalloc: remove unnecessary pagesize variable

some comment massage

make the memalloc tester run on top of bmk

get install-time vars from objdir

Make it clear that die produces an ERROR.

Throw nice error if user tries to install non-existent build

Build malloc stats by default.

add hw_virtio_scsi configuration

update buildrump.sh and src-netbsd

g/c old way of specifying PCI support on platform/board

Disable "stray interrupt" print

Doesn't convey anything useful in its current state.

When building with -s, default destdir to rumprun-extsrc.

Mirrors what object dirs do.

Merge pull request #57 from mattgray/master

rumprun launcher: trim od output to support OS X

AUTHORS updated

rumprun launcher: OS X support: use printf to fix output of od

checkprevbuilds is now necessary only for xen

platform/hw: create header links into objdir

hw platform now builds completely into objdir, meaning multiple
parallel builds with different options are possible from one
working directory.

oops, revert buildrump.sh revision pointing to local repo

rumprun launcher: remove use or readlink(1)

As reported by @mattgray on irc, the one available on OS X is
incompatible, and since resolving the canonical path doesn't
seem to be absolutely necessary, let's simply opt to not do it
at all.

build-rr: set -eu

Both were previously set, but now they're set in the same place.
No functional change intended.

Some archs: fix SRCS/ASMS to be those instead of .o

Build hw platform into $RROBJ.

set --sysroot for compiler wrapper

Makes cc -print-sysroot work.  That said, why do we still
need -isystem and -L in our specs?  (yes, I tried without them,
lossage generated)

makepseudolinkstubs: Use ${NM}, not nm

Fix include path for non-BUILDRR case.

update buildrump.sh

Check if qemu supports -no-kvm

Some really old qemus might not.

fix error branch pastos in previous

Use ${READELF:=readelf} instead of hardcoding objdump.

Use of readelf also mirrors rumprun-bake, so you need only
one binary dumping tool now (useful in env where the GNU'ish
toolchain isn't standard).

xen ldscripts: include .text.* in text (like on hw)

Might fix problems reported here:
https://www.freelists.org/post/rumpkernel-users/Issues-linking-executable-for-Rumprun-with-additional-library,4

Use destdir/rumprun-$MACHINE_GNU_ARCH$ as a GNU-like prefix.

Put rumptools into the object directory.

Update buildrump.sh and use new "probe" method.

The new probe method doesn't require any directories
to be created.

Use MACHINE_GNU_ARCH, not MACHINE_ARCH

That matches the terms (and make variables!) with the NetBSD
Makefiles and avoids mismatch lossage.

platform/hw: need to use i386 as MACHINE_ARCH here

build-rr: don't override correct MACHINE_ARCH.

The lossage stems from the fact that NetBSD uses i386 as
MACHINE, i386 as MACHINE_ARCH, and i486 as MACHINE_GNU_ARCH.
We want to follow the MACHINE_GNU_ARCH since it actually makes sense.

Ok, maybe the platform Makefiles aren't ready for -j

build-rr: run platform make with -j