Elymar começou a sua carreira como cantor nos bares e churrascarias ainda na adolescência, e se tornou conhecido ao vencer concursos de calouros nos programas do Chacrinha e Flávio Cavalcanti. Antes de adquirir seu próprio estilo o cantor imitava o seu ídolo, Cauby Peixoto.

As primeiras gravações do cantor aconteceu em 1972 e, ao longo do tempo, colecionou mais de 50 discos lançados. O cantor também atuou e interpretou alguns papéis em musicais no teatro. Chegou a se apresentar na TV, mas decidiu se dedicar exclusivamente à música no decorrer da carreira.

Em 1985 fez show no Canecão, a maior casa de shows do Rio de Janeiro, deslanchando sua carreira. Em 1994, em virtude da morte do piloto de fórmula 1, o brasileiro Ayrton Senna, compôs a canção “Guerreiros Não Morrem Jamais” para homenagear o atleta.

Da década de 90 até os anos 2000 o artista foi celebrado quatro vezes por várias escolas de samba no Carnaval brasileiro. Entre elas, a escola de samba Império da Tijuca com o enredo "Elymar Superpopular", em 1998.

Já, no ano seguinte, a escola de samba paulista Camisa Verde e Branco também prestou sua homenagem ao cantor com o tema "Escancarando o coração verde e branco: Elymar mais popular", sendo a primeira escola de samba de São Paulo a homenageá-lo. Em 2000, foi um dos destaques da história de 500 anos do Brasil na escola Acadêmicos do Tucuruvi, também paulista.