Merge pull request #24 from liuw/wip.qemu-stubdom-v2

Merging xen: export more symbols from @liuw

xen: export gntmap_* symbols

Signed-off-by: Wei Liu <liuw@liuw.name>

xen: move map_frames_ex under minios_ namespace

Signed-off-by: Wei Liu <wei.liu2@citrix.com>

use libc interfaces, not minios

(why are there several copies of this code in the tree?)

rumprun, rumpconfig: Add support for setting guest environment.

Signed-off-by: Martin Lucina <martin@lucina.net>

Increase default Mini-OS thread stack size to 256kB

Required to run some non-trivial applications (Hiawatha, PHP).

See issue #22.

Signed-off-by: Martin Lucina <martin@lucina.net>

Pull in latest src-netbsd

Remove #define current get_current()

The name "current" is used in other contexts in the tree, and is just
a timebomb waiting for someone to include sched.h in the wrong place.

minor fixes to formatting and err{,x} calls

be verbose about error and workaround slow console

In case the domu runs very quickly, there will be a complete failure
to observe any output.  Therefore, in case we exit with val != 0,
sleep a bit.  This is a cheap and dirty workaround.

"advertise" tls_test in domain_config

add @mato's tls tester, simplified+automated a bit

fix printf format string

give all threads a chance to run before application runs

Add TLS support for x86_64

issue #19, with help from @mato

app-tools/ld: Ignore --export-dynamic and variants

Some applications insist on using --export-dynamic in LDFLAGS even when
configured with --disable-shared. Since we don't do dynamic linking,
we can safely ignore these options in stunt ld.

Signed-off-by: Martin Lucina <martin@lucina.net>

app-tools, buildxen: Disable use of sincos[f] by GCC

Fixes issue #20.

Signed-off-by: Martin Lucina <martin@lucina.net>

test pthread_specificdata

cancelstub binder is now provided by libpthread

fix unsupported call stubs used by pthread_cancelstub

fix realloc() to use correct existing size

prevents memory corruption in certain realloc() scenarios
reported by @mato

fix -DMEMALLOC_TESTING

add optional debug prints for cases where mmap "emulation" fails

pull in new buildrump.sh and rumpsrc (openssl 1.0.1k)

rumpconfig: Enable deconfig for network interfaces

Enable deconfig of network interaces, including dhcp. Current tests show
that issue #14 appears to be fixed, so this should be good to go.

Signed-off-by: Martin Lucina <martin@lucina.net>

Make initial stack setup consistent with per-thread stack setup

Push an "end of backtrace" marker onto the stack and zero BP. For x86_64
additionally push an extra 0 to ensure correct stack alignment as per
the ABI.

Signed-off-by: Martin Lucina <martin@lucina.net>

Correct x86-64 stack alignment at thread entry (fixes #18)

The x86-64 ABI mandates in section 3.2.2 that (%rsp + 8) is always a
multiple of 16 when control is transferred to a function entry point. We
did not correctly implement this convention which resulted in broken
alignment for stack variables, and, following from that, SSE
instructions generated by GCC faulting due to bad alignment.

For the x86-32 version the alignment constraint appears to be[1] that
%esp must be a multiple of 16, this is already the case so no change is
made to x86-32.s.

[1] http://sourceforge.net/p/fbc/bugs/659/,
    https://gcc.gnu.org/bugzilla/show_bug.cgi?id=38496

Signed-off-by: Martin Lucina <martin@lucina.net>

Use 64bit values for minios sched sleeps

fixes issues when current _wall_ time in msecs cannot be held in
32bit uint (well, uptime too, but that didn't happen quite a quickly)

actually timedwait for some time, like 100ms instead of 1ms

sleep(1) at the end

ensures that the console has time to attach, in case we run
a fast-exit-backstage-lefting test

pull in new buildrump.sh

use purely posix interfaces in rumpkern_demo, not mini-os ones remain

rename httpd's main() to httpd_main()

align to min 16 bytes

required by NetBSD userland

add domain_config for hello test.

easy way to run the test without "how did this work again?" pondering

use sudo for xl if not running as root, so test runner can be limited to sudo on xl only

Add -fno-stack-protector also to xen/arch/x86 modules

Signed-off-by: Martin Lucina <martin@lucina.net>

Fix warnings in rumpuser_clock_gettime()

Signed-off-by: Martin Lucina <martin@lucina.net>

specifying USE_SSP=no twice is unnecessary

sprinkle -fno-stack-protector

makes builds with e.g. Ubuntu gcc work, where stack protect is default

sysproxy stubs are no longer required

sysproxy now requires -lrumpkern_sysproxy

pull in latest buildrump.sh and src-netbsd

Merge pull request #17 from rumpkernel/sysproxy

Tested and working; merging.

Add -D option to attach gdbsx to domU

Signed-off-by: Martin Lucina <martin@lucina.net>

Add initial sysproxy support on top of guest TCP/IP networking

ignore -lssp_nonshared in case the toolchain thinks we need it

fixes builds on at least alpine linux

Ignore -pie.

If for some reason we grow PIE support later, can be revisited.  Though,
it probably should be called pik (position independent kernel)

from Kevin Smith on rumpkernel-users

Merge pull request #16 from rumpkernel/wip-timekeeping

Implement wall clock time (rumprun-xen issue #13)

Implement wall clock time (rumprun-xen issue #13)

This change adds minios_clock_wall() as a global symbol to return wall
clock time from Xen. I did not reinstate the minios "gettime()" which is
available upstream as that relies on a definitition of struct timeval.

minios_monotonic_clock() is renamed to minios_clock_monotonic() for
consistency.

rumpuser_clock_gettime() is updated to support RUMPUSER_CLOCK_REWALL,
returning wall clock time.

All rumphyper calls to the minios NOW() macro are replaced with calls to
the properly namespaces minios_clock_monotonic().

Signed-off-by: Martin Lucina <martin@lucina.net>

remove struct schedulable unused members

use common xen/baremetal build script

figure out target machine

also for future unification with baremetal

fix tyop

pass extra buildxen parameters to buildrump.sh

e.g. ./buildxen.sh -q -- -V BUILDRUMP_VARIABLE=12765

beautify/unify buildrump.sh invocations

no functional change

reorder slightly (for upcoming changes)

create test.ffs in makefile instead of buildxen.sh

Nuke unnecessary buildrump.sh invocation.

Probably been unnecessary since we stopped needing multiple source trees.

add lame workaround for missing pci_user.h when using -s

accept -q for quiet build (and -qq for even quieter)

fix makelwp signature

support -s alternative_source_tree

use makepci() to build pci device driver components

pull in latest buildrump.sh for makepci

Re-enable rumphyper_pci and PCI passthrough libs.

Fixed by adding relevant symbols to minios global namespace. Compile
tested only.

Signed-off-by: Martin Lucina <martin@lucina.net>

Mini-OS: Link entire arch-specific lib into minios.o

The arch-specific lib contains code which external callers depend on;
ensure the whole archive is linked into minios.o.

Signed-off-by: Martin Lucina <martin@lucina.net>

Mini-OS: Add more symbols to global namespace

Adding minios_ioremap, minios_ioremap_nocache, minios_iounmap,
minios_alloc_contig_pages. Required by rumphyper_pci.

Signed-off-by: Martin Lucina <martin@lucina.net>

update to latest src-netbsd

Shuffle _lwp a bit to accommodate to latest source, also add
some stubs we need now.

Mini-OS: netfront: Fix rx ring starvation in network_rx

In network_rx() we must push the same amount of requests back onto the
ring in the second loop that we consumed in the first loop. Otherwise
the ring will eventually starve itself of free request slots and no
packets will be delivered.

Signed-off-by: Martin Lucina <martin@lucina.net>

buildxen.sh: 'links' target is now in xen/Makefile

Signed-off-by: Martin Lucina <martin@lucina.net>

Mini-OS: Add monotonic_clock to minios_ namespace

This is needed by rumphyper_base, among other things. Unclear how it is
possible that the build was working until now, separating the Mini-OS
and rumprun build systems exposed this.

Signed-off-by: Martin Lucina <martin@lucina.net>

Extricate rumprun build system from Mini-OS

Moves the Mini-OS Makefile and associated bits to xen/, separating the
rumprun and Mini-OS build systems. This will hopefully prepare us better
for (possibly) merging with upstream Mini-OS.

Further changes arising from this:

- All minios and rumprun object files are now built under obj/

- MiniOS build installs the arch-specific ldscript under
  obj/xen/minios.lds

- Rather than separately specifying the arch-specific startfile in
  app-tools specs we link it into the final minios.o and use that as the
  startfile.

  The advantage of this approach is we no longer have to "hunt" for the
  startfile _OR_ the arch-specific lib in the top-level Makefile. It
  does mean the resulting application has a different memory layout due
  to link order but this should not matter.

Signed-off-by: Martin Lucina <martin@lucina.net>

update buildrump.sh and use new subr.sh syntax

use stdlibs()

update buildrump.sh for subr::stdlibs()

Add __libc_static_tls_setup() as a nop

To be called by the next src-netbsd libc

fix minios include path

move "include" to "xen/include"

All of mini-os is more or less under xen/ now.

app-tools: Remove useless objcopy from stunt ld

Discussed with Ian previously; the objcopy step was left over from
previous attempts at namespacing mini-os and is no longer required as
this is performed when linking minios.o.

Signed-off-by: Martin Lucina <martin@lucina.net>

Remove redundant building of httpd from buildxen.sh

This is now done in main Makefile.

Signed-off-by: Martin Lucina <martin@lucina.net>

pull in latest buildrump.sh

pull in latest src-netbsd

pull in latest buildrump.sh

pull in latest buildrump.sh

Overriding probe of RUMP_CURLWP is no longer necessary in -k builds

pull in new buildrump.sh

put the "standard" demo routines in a subdirectory

Add "ifconfig destroy" support

compile-tested only

add missing warnx() %s parameter

rumprun: Use blkid rather than file to detect fstype

The output of file differs between systems (and Linux distribution
versions!). Use blkid for now to detect block device filesystem type,
will need to be revisited or marked as a dependency on e2fsprogs for
*BSD.

Signed-off-by: Martin Lucina <martin@lucina.net>

rumprun: Use absolute path for disk image

Avoids potential Xen stack confusion (documentation is unclear on
relative paths), plus shows full path in xenstore-ls.

Signed-off-by: Martin Lucina <martin@lucina.net>

rumprun: Make diskspec backward compatible with Xen 4.1

Xen 4.1 is used in Debian stable; the diskspec used by xl is not clearly
documented and is just a passthrough to the xm disk stanza. We need mode
'w' rather than 'rw' which is also understood by (at least) Xen 4.4.

Signed-off-by: Martin Lucina <martin@lucina.net>

Use readlink -f instead of realpath

Signed-off-by: Martin Lucina <martin@lucina.net>

Use correct printf format for uint64_t

Signed-off-by: Martin Lucina <martin@lucina.net>

Size RUMP_MEMLIMIT dynamically based on domU memory

RUMP_MEMLIMIT was previously hardcoded to 8MB. We size it dynamically
based on domU memory allocation, with the rump kernel getting 50%.

Signed-off-by: Martin Lucina <martin@lucina.net>

Remove talk of editing domain_config (no longer required)

Signed-off-by: Martin Lucina <martin@lucina.net>

Add more simple demos in the tests/ directory

Demos are built using app-tools and their own Makefile.

Signed-off-by: Martin Lucina <martin@lucina.net>

Merge pull request #12 from mato/wip-rumpconfig

Major points from rumpkernel-users addressed, merging.

Correct argument parsing in rumprun

Signed-off-by: Martin Lucina <martin@lucina.net>