Seguramente ese dolor se deba a que cuando haces biceps tiras de espalda, lo que significa que doblas la espalda y/o haces fuerza con ella, es un problema muy común entre los que empiezan en el gym.
Prueba a hacer biceps con algun respalda o apoyado en alguna pared para asi no curvar la espalda.