git: Implement ParseRef to change a ref into a changeset

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

main: add loadGlobal option

To indicate whether a command should try to load the global metadata.

Signed-of-by: George Dunlap <george.dunlap@citrix.com>

global init: Always create a 'master' version as well

This will help is keep track of un-released XSAs.

TODO: Still need a good way to reset this when we've published the
XSAs.

While we're here, fix a typo.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

system_test: Check for specific versions, not just presence

Check for the specific versions, not just the presence of the
branches.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

VersionMeta: Make XSA list per-tree

Not all XSAs apply to each tree; therefore to which XSAs need to be
applied as prerequisites for a given XSA, we need to store them
per-tree.

Change this to a map[Tree][]int.  Create SecurityMeta.InitVersion() to
initialize an empty version properly.

Also:
- explicitly list in an XSA which trees are supported (unused)
- Add SecurityMeta.AddXSA(), which will update VersionMeta based on xsa.Trees

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

XSAMeta: Store recipes in a map[XenVersion] rather than an array

This makes accessing it easier, and also makes the json easier for
humans to parse.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Recipe: Add ForEachTree method to do something for each tree

Have MakePatches, IsApplied, and Apply methods use it rather than
ForEachXenRepo().

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

git: Use full path for AM operations

...so that Repo.Am() works regardless of your cwd.

Factor "normalization" into normalizePath.

Implement globToFullPath, which will take a glob and return a slice of
normalized filenames.

Use globToFullPath() for Repo.Am() and Repo.AmClean().

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Testing: Test "xsatool global update" initialization

Re-constructing the history of XSA 206, go back to version 4.4.

Check to make sure that after the initialization we have exactly the
versions we expect.

Also sketch out a plan for our 'system testing'.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Testing: Add a testing "input indirection" layer

If called from main(), print the string and query the user.

Otherwise, look up the response in the index.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Testing: Add a wrapper for XsaMain so that calling it is less ugly

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

global: Refer to global SecurityMeta structure, not a local one

In part so that the testing harness can see what's going on afterwards.

While we're here add a newline to the "manually add XSAs" message.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

XenRepo: Don't automatically fetch on open to make testing more predictable

This may need to be revisited at some point.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

system_test: Add versions and lack of metadata to 'state'

Delete all versions >= 4.9, and any tags after 4.8.0 or 4.7.2.

Also delete xsa.git/*.meta

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

git: Add Repo.DeleteTag

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Testing: Introduce 'system' test

To begin with, just clone repos and begin to set them up in a specific
state, so that we can test operations.

To make testing iteration faster, set FullClone == false.  After test
development is done, this should be set to "true" to make the cloning
continues to work.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

main: Call OpenRepos when loading config

Rather than having to open them each place they're used.

Also do some minor reorganization of variables, just code motion.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

main: Open xsa repo in OpenRepos

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

git: Add Repo.ResetBranch

To check out a particular branch.  This will be used in testing to set
up a particular view of the tree.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Refactor main to be more test-friendly

Have a special function, XsaMain(), which does the work and is passed
parameters and a return value.  Have a wrapper which interacts with
the operating system under normal conditions.  This allows the testing
infrastructure to simulate being called as closely as possible.

Get rid of global references to 'xsa' entirely; instead pass
references to a local copy on the stack.

Collect all remaining global state into a struct called 'G', and reset
its state every time XsaMain() is called.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

XenRepo: Quieten tagsToVersions

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

recipe: Replace Prerequisite glob with xsa list

Punt on actually implementing applying the XSA until later.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Run go fmt

No functional change.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add global config

Modify global metadata to be a map (for easier readability).

Modify per-version metadata to include most recent full version and
XSAs since that point.

Add 'global update' command which will create a metadata file if not
there, and update it if there.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Fix global.Load() to return IsNotExist() error

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Implement unit tests for various parsing / comparsions

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

xen: Implement XenRepo.GetVersions()

Have GetVersions() fetch the tags from the repo, parse the releases,
and return a list of versions present in the tree.

Also implement XenVersion.Check() and XenVersion.IsGreaterEqualThan().

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

git: Add Tags() method to get tags

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Move XenVersion and XenVersionFull into xen.go

Code-motion only (apart from dependency changes)

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Extend XenVersion parsing: fv.Check() and fv.Point()

Add an internal function to parse XenVersionFull into XenVersion and
Point.  Have .Check(), .Point(), and .XenVersion() be wrappers of
this.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add NNN new-recipe command

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

repo init: Actually save config file

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

sync-patches: Actually update and write the recipe file

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Use a string for Tree rather than an int; make maps instead of arrays

This is primarily to get better config files, where the indexes are
strings rather than integers or lists.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

A number of miscellaneous fixes

* In main(), actually include the xsa number in the printf when the load fails

* Load and save the actual xsa file (xsa.git/xsaNNN.meta) rather than
  the global meta file.  "Normalize" (set the xsa number for recipes) on load.

* Use the correct path for QEMU_TRADITIONAL_URL

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Fix config load

Have ToolConfig.Load return an error which returns true for
os.IsNotExist().

When the config isn't present, initialize it.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Introduce Tree type to avoid hard-coding tree names

Replace repos.{xen,qemuu,qemut}, config.*Path, and Recipes.{Xen,Qemu*}
with arrays indexed by Tree.  Replace Get*Path with GetPath(t).
Replace XRType with Tree.  Introduce ForEachCodeTree, ForEachTree, and
ForEachXenRepo helper functions to run a specific function for each
tree / repo; rewrite lots of code to use those functions instead of
doing code duplication.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add XSA.Load() and Save(), and use it rather than hardcoding

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Do a bit more towards global security metadata

Still need to sort out the Time serialization issue; leave a comment
to this effect.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Load xsatool config from a file

Recursively look for ".xsatool" in all directories going up until
there are no more.

Add 'repo info' command to read config and print info

Also:

 - Use config.GetXXXPath() to get normalized path rather than
   accessing config.XXXPath directly

 - Change config.GetXXXPath() to return NULL if either config.rootDir
   or config.XXXPath are undefined

 - Separate out XSA fake loading into a separate flag

 - use xenproject.org rather than xen.org for default configuration

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

hack: Include hack recipes for both 206 and 212

NB that 212 requires you to make an e-mail-able version.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Implement test[-apply|-build]

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Finish sync-patch, add sync-branch as well

Have MakePatches include a flag deciding whether to sync or not.

If set, after creating all appropriate patches in /tmp, make the
appropriate directory/ies in xsa.git and copy the files there (or just
copy a single patch if the file is a single patch).

Also implement sync-branch which will delete and re-create xsa/NNN/VVV
from xsa.git according to the recipe.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

main: Add partial implementation of sync-patches command

Partial implementation of sync-patches, which will look for trees
which contain xsa/NNN/VVV and xsa/NNN/VVV-baseline and run
`git format-patch` to generate patches.

To do this:
 - Implement Repo.FormatPatch()
 - Implement XSAMeta.GetRecipe(version) to get a recipe for a specific version
 - Modify IsApplied() to look for both $prefix/NNN/VVV and $prefix/NNN/VVV-baseline
 - Implement Recipe.MakePatches()
 - Modify IsApplied() to return only an error; but make return a
   distinguishable type to say what branch wasn't applied

A full implementation would also copy the patches into xsa.git either
as a single patch or a directory full of patches, as appropriate.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

recipe: Have branchName return both branch and baseline branch names

...to make sure we have consistent naming.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Main: Fake up config and xsa info

"Fake up" config and XSA info in Main(), so that we can start writing
functionality as though the config loading already existed, rather
than have to store it all in test.go.

This should make it easier to extend functionality as needed in a way
which will actually be useful once the config loading stuff is ready.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Recipe: Break down per-tree recipe into prerequisites and patches

Create a new struct, TreeRecipe, to be the recipe for a particular
tree (Xen, QemuU or QemuT).  Have this contain separate prereq and
patches sections.

When building, create a branch $branch-baseline to apply the Prereq
patches to, and then base $branch based on the baseline.

The idea here is to make an easy way to programmatically sync changes
to the tree back to xsa.git.

Also unconditionally use local qemu trees, even if we don't have local
patches, because we know they'll be up to date with upstream changes
(since we pull at start-of-day).

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

test: Make separate backport and test frameworks

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Recipe: Make more flexible for both backporting and testing

Make the interface a bit more flexible, so it can be used both for
backporting (which will create branches named xsa/NNN/VVV), and for
testing (which will create branches named test/NNN/VVV).

Add branchName() helper to calculate branch name, rather than storing
a single tempBranch.

Add IsApplied() method, which will (at the moment) only check for the
existence of the target branches in the appropriate trees.

Also:

- Use AmClean() rather than Am() to make it easier to follow up a
  failure by cherry-picking

- Fix a bug in Build() which would build the wrong version

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Recipe: Don't clean up temporary branches automatically (for now)

When doing testing, we probably want to remove temporary branches; but
when doing backporting we most certainly do not.  This is something
which still needs to be figured out.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

git: Implement VerifyRef and AmClean

VerifyRef returns true if the specified ref exists.

AmClean() is like Am(), but will reset the tree to a useable state if
the Am fails.  This is useful for situations like backporting where
you typically want to cherry-pick on a failed `git am` to take
advantage of the three-way merge functionality.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Make XenVersion string-only

Hopefully this will make it easier to store in a human-readable
format.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Allow Recipes to have multiple globs, implement Recipe.Build()

Allow each recipe to have multiple "globs" associated with each tree.

Implement Recipe.Build(), which will construct the appropriate config
file to make the build use the appropriate branches, and then
configure and run make.

While we're here fix some mistaken status messages in Recipe.Cleanup(), and
fix XenRepo.CheckoutVersion when XenVersion == Master.

And update the "test" to XSA211.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Git: Misc functionality and fixes

Have Repo.Am() check to make sure that the glob matched at least one
file; if not, throw an error.

Do "git clean -ffdx" after checkout in MakeBranch and Checkout.

Add GetPath to return the full path of a repository.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Refactor arguments to make "repo" target

Rather than "repoinit" as a single argument, make the first argument
the target (either an xsa or the repo), and separate commands based on
that.

Also fix a bug that causes a range check if there aren't enough
arguments.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Implement basic repoinit

Clone xen.git, qemu-xen.git, qemu-xen-traditional.git, and xsa.git,
and set up a default .xsatool config file.  Disable pushes on the xen
and qemu branches.

Modify gitCmd() to not add the -C prefix if r.Path isn't set.

Implement GitClone and XenRepoClone, and Repo.DisablePush.

Move global repo s into a global structure called 'repo'; and also
include a plain Repo for xsa.

Implement ToolConfig type, with Load and Save.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add draft infrastructure for different commands

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add support for all repos, and test different versions.

Also rename the structure to XSAMeta, in preparation for adding other
metadata.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Teach Recipe to be able to apply a git am

- Make a set of global variables for paths, including existing
  hard-coded repo paths, but also one for the paths for XSAs.

- Move all global variables into main.go

- Rename Repo.Checkout to Repo.MakeBranch (since that's what it's
  actually doing); add Repo.Checkout (to simply do a checkout),
  Repo.DeleteBranch, and Repo.Am.  Make Repo.Am take a single argument
  and do globbing on it.

- Rename Recipe.*Patches to *Glob, to indicate that these are globs

- Have the recipe call qemuu.Am(); also have it clean up the branch
  afterwards.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Add metadata and proof-of-concept tag checkout

Add a metadata struct (which will eventually be stored as json),
containing the XSA number, supported Xen versions (according to what
is in security support at the time the XSA is issued), and 'recipes'
for building patched versions.

Each recipe consists of a full Xen version (down to point),
prerequisite XSAs that this patch depends on, and a string to "git am"
to various trees.

Applying the recipe will make a branch checked out from the release tag
appropriate to that repo.

Signed-off-by: George Dunlap <george.dunlap@citrix.com>

Rudimentary functionality

Signed-off-by: George Dunlap <george.dunlap@citrix.com>