Fondé par Luke Ewald et Brendan Lukens au lycée, Modern Baseball se présente à ses débuts comme un duo acoustique, avant l'arrivée de Ian Farmer à la basse et Sean Huber à la batterie. Tirant son nom d'un livre possédé par l'un des membres du combo, le quatuor sort la première année un EP the Nameless Ranger, puis un premier album Sports chez Lame-O Records. Rapidement, Modern Baseball sort un split avec leurs comparses de Marietta, puis son second opus You're Gonna Miss It All chez Run For Cover en 2014, avant de tourner avec Foxing ou Somsos. Leur troisième effort est sorti en mai 2016, sous le nom de Holy Ghost.