Sem herdeiros diretos, dono de uma boa fortuna e, quem sabe, com algum peso na consciência, ainda em vida, o homem começou a dedicar-se à filantropia. Quando morreu, deixou em testamento uma série de instruções sobre o que deveria ser feito ao seu dinheiro. As duas principais causas beneficiárias foram a construção do primeiro hospital psiquiátrico em Portugal, o Hospital do Conde de Ferreira que ainda hoje existe; e, o ensino. Confiante que a educação contribuiria para o progresso das comunidades, deixou fundos no valor de 144 000 000 réis para que se construíssem escolas primárias nas vilas e sedes de concelho de todo o país, embora com requisitos muito específicos. Todas estas escolas deveriam ser gratuitas e abertas a ambos os sexos. Tinham de incluir casa para o Professor e ter a mesma planta e linhas arquitetónicas. A fachada principal teria um pequeno frontão e um sino. Em muitos dos lugares onde foram construídas estas escolas, foi mesmo a primeira e única oportunidade que muitas crianças tiveram para aprender a ler e a escrever. A inscrição de 24 de março de 1866 que ainda hoje se vê por cima da porta de entrada de alguns destes edifícios, corresponde à data da morte do Conde de Ferreira.