Inicialmente denominada Popula Póvoa, o nome da freguesia é algo dúbio se tivermos em conta a realidade actual. Póvoa de Rio de Moinhos terá sido terra de muitos moinhos, por certo, mas que com o tempo foram desaparecendo. Ao longo dos séculos, e enquanto os moinhos abundaram, a freguesia assumiria especial preponderância nas actividades ligadas à moagem e às pescas. A toponímia local é reveladora da antiguidade do povoamento da região e território, onde se encontra; o topónimo “Póvoa”, deriva do baixo-latim “popula” e do português arcaico “povoo”, que tem o sentido de “terra entregue para ser povoada”.

S. Lourenço de Póvoa de Rio de Moinhos é terra muito antiga, habitada desde tempos imemoriais. Não há muitos vestígios dessa época, porque não resistiram à erosão do tempo, mas decerto que o que se passou no concelho se aplica por inteiro a esta freguesia. Os primeiros vestígios de sedentarização em Castelo Branco remontam ao quarto milénio a.C. Foi sensivelmente a partir dessa altura que começaram a chegar à Península Ibérica povos de origem mediterrânica, que introduziram a agricultura e a pastorícia na orla marítima e em algumas regiões do interior.

Ao mesmo tempo, desenvolve-se em todo o País o megalitismo - uma cultura marcada pela construção de grandes monumentos funerários, nos quais realizavam cerimónias religiosas e sepultavam os seus mortos. Mais que monumentos, os megálitos eram templos. Corporizaram a vida social e económica daqueles povos. São a primeira manifestação material do Neolítico na Europa. Ainda hoje, em algumas regiões do "velho continente", como a Escócia ou a Irlanda, continuam a surgir dolmens e antas, alinhamentos e cromeleques. Um fenómeno que se deu em vários locais e em tempos diferentes.

Apesar o seu povoamento remontar ao período pré-romano, como o atestam alguns vestígios que há alguns anos foram encontrados na sua área, a freguesia encontrava-se despovoada aquando da Reconquista Cristã. Para repovoar um território que poderia ter uma importante função defensiva para o futuro de Portugal, D. Afonso III doou-o à Ordem dos Templários, que doravante procuraram trazer população para terras até então incultas.

Das origens ou raízes da Freguesia de Cafede, pouca coisa se sabe. Pela história, sabemos que a zona da Beira, onde nos situamos, assistiu à passagem de diversos povos, entre eles: os Celtas, Lusitanos, Romanos, Visigodos e Árabes. Todos esses povos deixaram marcas da sua passagem. Os celtas, povo de civilização agrária, deixaram assinalada a sua estada em nomes de pessoas, lugares e divindades.

Os lusitanos legaram-nos, igualmente, vários topónimos como “Herminius”, - Serra da Estrela — e, acima de tudo, Viriato, o 1º herói português.

Os romanos quando ocuparam a península, cerca de 200 anos antes de Cristo, vieram encontrar nesta região os lusitanos, um povo já devidamente organizado e aguerrido que, durante mais de dois séculos, fez frente às suas hostes. Aqueles, senhores de uma cultura e civilizações muito mais avançadas, foram difundindo a sua cultura entre o povo que com eles coabitou durante cerca de 500 anos da sua permanência. Além da divulgação da sua língua promoveram o desenvolvimento da agricultura e das artes. Foram eles que, entre outras invenções, introduziram na Península o uso do tijolo, do adobe e da telha, na construção.

Os árabes, “outro povo que durante mais de sete séculos coabitou com os rudes habitantes da região, transmitiram-lhe os primores requintados da sua civilização”. Entre outras marcas fortes da sua cultura, que ainda hoje perduram, deixaram-nos, vários topónimos e dois dispositivos de elevação de água: a nora e a picota ou burra, também designada por “cegonha” em algumas regiões (tais dispositivos ainda hoje continuam a ser usados).

A região de Caféde parece ter sido habitada antes da nacionalidade, mas foi destruída. É a partir do século XII, devido à ação dos Templários que se procedeu ao seu repovoamento. Na vizinhança desta povoação e espalhados por todo o seu aro, existem várias lagariças e sepulturas cavadas nas rochas, e foram encontrados diversos artefactos de pedra polida, como certifica Francisco Tavares Proença “Júnior” que diz: “Aparecem nas proximidades desta povoação bastantes instrumentos de pedra polida. Não longe há restos de três pequenas estações romanas, a uma das quais me referi em 1903. Também ali encontrei 31 sepulturas abertas na rocha. Do aro desta povoação depositei no museu de Castelo Branco 29 machados de pedra polida”.

Crê-se que a atual povoação com o nome de Caféde, é mencionada pela primeira vez no reinado de D. Sancho I, quando da doação da Açafa aos Templários por aquele monarca.