CGI: Move common.pl to a proper module Emesinae::CGI

CGI: use path based parameters for message links.

make tidy

message.pl: Placeholder script (404 for now)

bug.pl: retrieve a bug as an mbox

receive.pl: Preserve envelope From as first line

Things like mbox generation prefer this.

THis bug is propagated to the /var/raw/NN.hdr files. The sed rune to fix is
'1h; 2{p;g;p}; 3,$p'.

    cd /var/raw/
    sudo find -name \*.hdr -print -exec sed -n -i -e '1h; 2{p;g;p}; 3,$p' {} \;

TODO: update

TODO: control blacklisting functionality.

Support tagging bugs, use to implement affected version tracking

An existing DB can be upgraded with:
8<-------------------------------------------------
create table tags (
       tag_id integer not null primary key autoincrement,
       namespace varchar, -- "component", "affects" etc
       name varchar,
       -- the following refer to the default visibility and setting in the search page.
       active bool default true, -- searched for by default
       advanced bool default false -- only shown in advanced search pane
);

create table bug2tag (
       bug_id integer not null references bugs ( bug_id ),
       tag_id integer not null references tags ( tag_id ),
       primary key ( bug_id, tag_id )
);
8<-------------------------------------------------

Followed by populating the tags table with a suitable set of names in the
"affects" namespace.

Add a "make check" target.

Runs "perl -c" to check for syntax errors.

css: Add some trailing semi-colons

TODO: Update

db: Use a compound key for the refs table, ref_id is unneeded

An existing DB can be upgraded with:
8<-------------------------------------------------
BEGIN TRANSACTION;
ALTER TABLE refs RENAME TO tmp_refs;
create table refs (
       parent_id integer not null references messages ( message_id ),
       child_id integer not null references messages ( message_id ),
       primary key ( parent_id, child_id )
);
INSERT OR IGNORE INTO refs(parent_id, child_id)
               SELECT parent_id, child_id FROM tmp_refs;
DROP TABLE tmp_refs;
COMMIT;
8<-------------------------------------------------

xen-devel: Prepare for public alpha

Remove password protection, send control replies to the list.

bugs.pl: Add facility to link to a page with information on the control interface

control.pl: Remove debugging prints

control.pl: Implement support for bugid == it

This is an alias for the most recently referrenced bug

Update example configurations for new Perl in Wheezy

control: Allow ControlAllow to come from a file

DB: restructuring of the fields

* Primary key for each table FOO is now consistently FOO_id rather than just ID.
* Fields which are taken from mail headers have a _hdr suffix.
* Fields which are taken raw from user input have a _raw suffix.

An existing DB can be upgraded with:
8<-------------------------------------------------
BEGIN TRANSACTION;
ALTER TABLE messages RENAME TO tmp_messages;
create table messages (
       message_id integer primary key autoincrement,
       msgid_hdr_raw varchar not null unique,
       present bool default false, -- following fields valid iff true

       inserttime integer default 0,

       -- XXX enum "normal", "control", "control-reply"
       msgtype char(16) default "normal", -- control / control-reply

       -- Selected header values
       msgdate_hdr_raw varchar,
       msgfrom_hdr_raw varchar,
       msgto_hdr_raw varchar,
       msgcc_hdr_raw varchar,
       subject_hdr_raw varchar
);
INSERT INTO messages(message_id,msgid_hdr_raw,present,inserttime,msgtype,msgdate_hdr_raw,msgfrom_hdr_raw,msgto_hdr_raw,msgcc_hdr_raw,subject_hdr_raw)
     SELECT id, messageid, present, inserttime, msgtype, msgdate, msgfrom, msgto, msgcc, subject
       FROM tmp_messages;
DROP TABLE tmp_messages;

ALTER TABLE refs RENAME TO tmp_refs;
create table refs (
       ref_id integer primary key autoincrement,
       parent_id integer references messages ( message_id ),
       child_id integer references messages ( message_id )
);
INSERT INTO refs(ref_id, parent_id, child_id)
     SELECT id,parentid,childid
       FROM tmp_refs;
DROP TABLE tmp_refs;

ALTER TABLE bugs RENAME TO tmp_bugs;
create table bugs (
       bug_id integer primary key autoincrement,
       title_raw varchar,
       creationdate integer,
       lastchangedate integer,
       owner_raw varchar,
       severity varchar,
       open bool default true
       -- xxx other fields
       -- tags?  component?
       -- affected branches?
);
INSERT INTO bugs(bug_id,title_raw,creationdate,lastchangedate,owner_raw,severity,open)
     SELECT id,title,creationdate, lastchangedate,owner,severity,open
       FROM tmp_bugs;
DROP TABLE tmp_bugs;

ALTER TABLE bug2message RENAME TO tmp_bug2message;
create table bug2message (
       bug2message_id integer primary key autoincrement,
       include bool default true, -- if true then graft, if false then exclude
       bug_id integer not null references bugs ( bug_id ),
       message_id integer not null references messages ( message_id )
);
INSERT INTO bug2message(bug2message_id,include,bug_id,message_id)
     SELECT id,include,bugid,messageid
       FROM tmp_bug2message;
DROP TABLE tmp_bug2message;

COMMIT;

8<-------------------------------------------------

Bug.pm: Add accessor methods for all fields

This consolidates all knowledge about db column names within the Bug module.

Also add a sanity check on the specified severity (and a test to match)

TODO: Add some planned DB cleanups

bugs.xenproject.org: Redirect / to /xen/

Run test bug installation on a separate vhost.

TODO list gardening

Install with appropriate permissions

Move static content out of document root

This will allow multiple trackers to share a host more easily.

CGI: Include bugid as a path element instead of a CGI argument.

This means that a bug URL changes from
http://.../test/bug.pl?id=N
to
http://.../test/bug/N

This is apparently much friendlier to search engines.

While there generate a 404 for a missing bug.

Rename tests now we have >10 of them

xen-devel README: Move DB to $prefix/var/run

Merge branch 'master' of gitorious.org:emesinae/emesinae

xen-devel: Move DB to prefix/var/run.

THis will let al the core directories be root owned.

TODO: Taint mode

bugs.pl: Remove misleading title search box (still TBD)

TODO: Make things nicer for search engines

bug.pl: Handle lack of id paramter

CGI: Limit the amount of P{OST data we accept.

Bug.pm: Ensure severities are valid before passing them to SQL

Spotted by Tim Deegan

receive.pl: Define $id earlier in case of early error

Update test config for deployment on test system

Move test configuration under configs/examples

Build: Allow .config to specify local configuration paths.

Tidy

control.pl: Handle ControlAllow case-insensitively

(second attempt)

bugs.pl: Sanitise title HTML

bug.pl: Sanitise HTML in bug title.

Revert "control.pl: Handle ControlAllow case-inseensitively"

This reverts commit da3b0722525a2fbe4ab4981ebba26136b2960622.

control.txt: Document which commands are privileged

TODO: Few more suggestions

control.pl: Parse message ids while looking them up

control.pl: Handle ControlAllow case-inseensitively

TODO: Way to reference the root mail of a thread

Fix spelling of "Wherever"

Allow configuration of control replies to the list

Disable for bugs.xenproject.org for now

Tidy

Install control.txt in webroot and reference it.

bugs.xenproject.org: Send control replies to sender

I'm a little bit worried about Joe Jobs hear, but lets see how it goes.

bugs.xenproject.org: Control address is xen@

Specify only local part for control & owner address in config

Use $c{ControlAddress} in receive.pl so that the control address can actually
be changed.

Better document some config keys.

bugs: make list name a link

Config for xen-devel tracker, up to cronjob

Config for xen-devel tracker, up to apache configuration

use suffix .cgi for cgi scripts

At least bug.pl appears to be blacklisted in our content filter. As well as
filing a bug there workaround it.

Alloc configuration of cgi path

Config for xen-devel tracker, up to mail processing

README: Start a list of dependencies

control: Try not to encourage people to report issues^Wbugs to -owner.

receive: downcase maildrop address for comparison.

Even with removing the downcasing of the local part it seems to happen. Exim I
suppose.

sendmail: Needs IO::Handle

control: Fix syntax error

Make it possible to build then install as a different user

Clean Emesinae/Paths.pm

Update TODO

Improve error mail when rejecting message

make tidy

Fiddle with who rpelies go to, especially failed processing.

Numerical sorting in bug lists

Rationalise tests.

First cut at outgoing mail spooling

Need to setup a proper MUA to take this any further.

Also improved test cases.

Improve handling of messages with no message-id

TODO: Update

test: update

bug: Hide control replies

control: set msgtype and improve handling of missing headers

Add a msgtype field to db.

TODO: consideration of replies to control messages.

Improve test cases, add script to run entire test.

createdb.sh: look for sql in same location as script

control.pl: improve References header on reply

If the original message didn't have a references header but did have an
in-reply-to then fabricate a references header.

control.pl: Footer contains modified as well as new bugs

Move stuff to db/ and config/ subdirs

Fix handling of not present bugs

Add test mail corpus.

control.pl: Queue reply

Include example config in tidy

Tweak

Optionally Archive mails are receive time

Tidy

bug.pl: handle attachments (with link to current non-existent message.pl)

More TODO items