Os Cave Story são uma banda nascida nas Caldas da Rainha, terra mitológica onde acontece tudo e nada ao mesmo tempo. Formados em 2013, lançaram um conjunto de demos que chamou a atenção de vários promotores e festivais nacionais e internacionais como a FatCat Records e o Reverence Valada.

Em 2014, editaram o single Richman, um tributo apaixonado a Jonathan Richman e uma versão do tema Helicopter Spies dos Swell Maps, que o próprio Jowe Head (Swell Maps, Television Personalities) questionou se não seria um bootleg esquecido no qual ele estaria a tocar.

E, ainda no final de 2014, lançaram o seu primeiro EP online. Spider Tracks é um conjunto de faixas gravadas em momentos diferentes ao longo de um ano que, em comum, têm apenas o facto de terem reunido na mesma sala as mesmas pessoas.