Легенда гласит, что няня Виктории постоянно напевала песни Blondie, малышку зацепило, и с самых ранних лет она занималась исключительно музыкой. В 2005 году она присоединилась к девичьему трио Dead Disco, которое держалось во многом на вокальных данных Виктории. Тремя годами позже началось сольное творчество Хескет. Девушка посмотрела фильм «Калигула» про древнеримского императора, чье имя в переводе с латыни на английский означает Little Boots, и решила назвать новый проект именно так.