'It Serve You Right To Suffer' foi gravado na cidade de Nova York no final de 1965 e lançado em 1966. Os singles que definem a carreira de Hooker geralmente eram gravados sem muita banda de apoio - a recusa de Hooker em restringir seu blues a estruturas como uma única tonalidade, tempo ou ritmo afastava a maioria dos potenciais companheiros de banda - mas o produtor Bob Thiele teve uma ideia radical: ele juntou Hooker com o melhor dos músicos de jazz da Impulse!. O resultado é um artefato que apresenta um raro diálogo cultural; o Delta Bluesman dirigindo o carro com o jazzman bebop.