Nathanel se consacre au violon, laissant tout derrière lui, y compris sa femme Naomie, qu’il promet de retrouver douze ans plus tard. Celle-ci s’engage comme servante chez le fils du cambiste, que l’amour déçu transforme en véritable tortionnaire.
Pendant ce temps, Nathanel rencontre en chemin un mendiant qui deviendra son imprésario, une aubergiste, un joueur d’orgue de barbarie et un cortège de « fans ». L’auberge où il séjourne est peuplée d’Esprits, caricature des hommes de lettres vivant hors du monde et du sensible. Se heurtant au « monde du showbiz », le violoniste se retrouve dans une situation de servitude identique à celle de sa bien aimée sacrifiée, avec laquelle il tente enfin de renouer.

L’Auberge des esprits est autant un drame amoureux qu’une satire de l’intellectualisme et de l’industrie musicale. Mais Alterman, en y développant la figure du violoniste errant, retrouve la thématique centrale de son premier recueil de poésie, Etoiles dehors, celle du chemin. C’est la couleur du conte qui l’emporte, portée par le personnage central du Joueur d’orgue de barbarie. Cette œuvre est très philosophique, interrogeant le sens du sacrifice dans une société où il y a toujours une dette à honorer et mettant à l’épreuve le fait même de s’adresser à quelqu’un. Pourtant, les esprits de l’époque furent surtout marqués par ses chansons populaires, composées par Gary Bertini, interprétées par les artisans de la rue et par l’aubergiste.