Le Livre des Baltimore raconte l'histoire croisée des membres de la famille Goldman, dont les choix de vie de chacun d'entre eux les ont menés vers deux directions opposées:

Les Goldman-de-Montclair, dont est issu Marcus Goldman, le narrateur de La Vérité sur l'Affaire Harry Quebert, sont une famille de la classe moyenne, habitant une petite maison à Montclair, dans le New Jersey.
Les Goldman-de-Baltimore sont une famille prospère à qui tout sourit, vivant dans une luxueuse maison d'une banlieue riche de Baltimore, à qui Marcus vouait une admiration sans borne.
Au gré des souvenirs de sa jeunesse, Marcus revient sur la vie et le destin des Goldman-de-Baltimore et la fascination qu'il éprouva jadis pour cette famille de l'Amérique huppée, entre les vacances à Miami, la maison de vacances dans les Hamptons et les frasques dans les écoles privées. Mais les années passent et le vernis des Baltimore s'effrite jusqu'au jour où un drame vient tout bouleverser. Et cette question qui hante Marcus depuis : qu'est-il vraiment arrivé aux Goldman-de-Baltimore ?