O barão de Vila Flor era João Manoel de Souza, filho de Antônio Manoel de Souza e de d. Mauricéia Diniz de Souza, nascido na Freguesia de Campos dos Goitacazes (campos). Tinha como avós paternos Manoel de Souza Lobo e d. Francisca de Oliveira, naturais de Vila de São Tirso (Portugal), e como avós maternos o desembargador Manoel Carlos da Silva Gusmão, procurador da Coroa no Rio de Janeiro, e d. Rosa de Aguiar Falcão de Gusmão, sendo também sobrinho do general José Manoel Carlos da Silva Gusmão e da Exma. baronesa de Abadia. Desposou d. Maria Balbina de Siqueira e Souza, mais tarde baronesa de Vila Flor, filha legítima de d. Antônio José de Siqueira e Silva e de d. Ana Balbina Chaves de Siqueira, neta por parte materna do Visconde de Itabapoana. No ano de 1850, o futuro barão de Vila Flor, por falecimento dos seus pais, recebeu por herança a Fazenda de São Benedito (ainda hoje existente), no 1.° distrito de São Fidélis, fazenda que possuía uma fábrica de açúcar, beneficiamento de café, jornal e banda de música. Por volta de 1886, o barão de Vila Flor e sua esposa deliberaram libertar todos os seus escravos, antecipando-se à Lei áurea. O barão de Vila Flor, pela amizade que o ligava ao Imperador D. Pedro II, conseguiu elevar a "Freguezia" de São Fidélis à condição de Vila com a Câmara de Vereadores, em 19 de abril de 1850, recebendo ainda os títulos de comendador da Ordem de Cristo e de tenente-coronel-comandante do Batalhão de Infantaria número 15 da Província do Rio de Janeiro. O barão de Vila Flor residia na praça principal, que recebera mais tarde o seu nome, no casarão onde está instalado o Museu de São Fidélis.