'It Serve You Right To Suffer' è stato registrato a New York City alla fine del 1965 ed è stato pubblicato nel 1966. I singoli che hanno definito la carriera di Hooker erano generalmente registrati senza molti musicisti di accompagnamento - il rifiuto di Hooker di limitare il suo blues a strutture come una sola tonalità, tempo o ritmo ha spaventato la maggior parte dei potenziali compagni di band - ma il produttore Bob Thiele aveva un'idea radicale: ha accoppiato Hooker con il meglio dei musicisti jazz di Impulse!. Il risultato è un artefatto che presenta un raro dialogo culturale; il Delta Bluesman che guida in auto con il jazzman bebop.