Après quelques singles et remixes, notamment pour le label International Deejay Gigolo Records, The Penelopes sort son premier album en 2007, " The Arrogance Of Simplicity " sur Citizen Records, label fondé et dirigé par Vitalic, qui qualifie le duo d’OVNI de la scène électronique.
Ce premier album comprend entre autres diverses collaborations : musicales, avec la chanteuse Dierdre Dubois du groupe Evoka (le single Demian, dont le titre fait référence au roman d’Hermann Hesse), Samy Birnbach du groupe Minimal Compact ou encore THE HACKER, remixeur. Mais aussi littéraires, avec l’écrivain Chloé Delaume qui dédie un texte au duo.
En 2008, ce premier album est ré-édité sous le titre " Choose : Arrogance, Simplicity or Both " avec en bonus des morceaux inédits, des reprises (de Devo, Arcade Fire, Elli et Jacno), un titre enregistré en live, un remix de Black Strobe, ainsi que le vidéo clip de Demian réalisé par Cyrille de Vignemont.
Suite à ce premier album, le groupe sera récompensé par les Qwartz Electronic Music Awards de la Meilleure Découverte 2007, prix des musiques électroniques et actuelles, et élu parmi les meilleures révélations 2007 par les lecteurs de Trax Magazine. Depuis ils ont sorti un nouvel album, « Never Live Another Yesterday », à l’été 2012, et ont accompagné The Human League pour une tournée qui les a amenés jusque sur la scène du Royal Albert Hall.
Ils travaillent actuellement à l'élaboration d'un nouvel album, "A Collection of Dance Songs for Loners", à savoir, une collection de chansons dansantes pour gens seuls, et qui, éventuellement, ont une voiture.