'It Serve You Right To Suffer' fue grabado en la ciudad de Nueva York a finales de 1965 y lanzado en 1966. Los sencillos que definen la carrera de Hooker generalmente se grababan sin mucho acompañamiento—la negativa de Hooker a limitar su blues a estructuras como una única tonalidad, tempo o ritmo ahuyentó a la mayoría de los posibles compañeros de banda—pero el productor Bob Thiele tuvo una idea radical: emparejó a Hooker con lo mejor de los músicos de jazz de Impulse!. El resultado es un artefacto que presenta un raro diálogo cultural; el Delta Bluesman conduciendo el automóvil con el jazzman bebop.