A fita se passa nos anos 40, contando a história real do jornalista Joseph Mitchell, que se interessa pela figura do vagabundo Joe Gould. Este diz estar escrevendo o maior livro já feito, chamado "A História Oral de Nossos Tempos", registrando conversas com habitantes de Nova York. Os dois virarão amigos e os segredos de suas vidas, aos poucos serão revelados.