Formé par le chanteur & guitariste Wayne Dwyer connu pour sont travail avec des groupes de Melbourne comme Sea Wolf, Captain Trips et Wizard Sleeve. Il est rejoint par Chris Phillips, Evan Harris et George Larin. Vulvagun sort en juin 2011 l'album "Cold Moon Over Babylon" via BlueFreya.