Joe Cocker nació el 20 de mayo de 1944 en el número 38 de la calle Tasker Road en Crookes, Sheffield. Fue el hijo menor de Harold Cocker, funcionario público, y de Madge Lee. Según diferentes historias familiares, Cocker recibió el apodo de Joe por jugar a un juego infantil llamado «Cowboy Joe» o por un limpiador local llamado Joe.
Las principales influencias musicales de Cocker durante su adolescencia fueron Ray Charles y Lonnie Donegan. La primera experiencia de Cocker cantando en público tuvo lugar a los doce años cuando su hermano mayor, Victor, lo invitó al escenario a cantar durante un concierto de su grupo de skiffle. En 1960, junto a tres amigos, Cocker formó su primer grupo, The Cavaliers. Después de un año, el grupo se rompió y Cocker abandonó la escuela para trabajar de aprendiz en el East Midlands Gas Board, al mismo tiempo que persiguió de forma simultánea una carrera musical.