'It Serve You Right To Suffer' werd eind 1965 in New York City opgenomen en in 1966 uitgebracht. De carrièrebepalende singles van Hooker werden over het algemeen zonder veel begeleidingsband opgenomen - Hookers weigering om zijn blues te beperken tot structuren zoals een enkele toonsoort, tempo of ritme zorgde ervoor dat de meeste potentiële bandleden afgeschrikt werden - maar producent Bob Thiele had een radicale idee: hij koppelde Hooker aan de crème de la crème van de Impulse! jazzmuzikanten. Het resultaat is een artefact dat een zeldzame culturele dialoog bevat; de Delta Bluesman die in de auto rijdt met de bebop-jazzman.