Situada sobre un outeiro o seu nome xa denota un pasado prerromano. A fortificación parece ser que xa existía no século XII como punto de vixilancia do camiño de entrada a estas terras. Os restos da construción medieval dos séculos XIV e XV que vemos hoxe, sufriu destrucións e reconstrucións ao longo da súa existencia. Obtivo no ano 1949 a protección xenérica de castelos españois e no 1994 foi declarada Ben de Interese Cultural ca categoría de monumento. Nese ano foi doada ao Concello do Barco.

Esta fortificación  pertenceu na primeira metade do século XIV ao Señorío de Lemos. Despois cambiou de mans e tivo como unha das súas donas á señora de Valdeorras, Juana de Castro, que casou en 1447 con Juan Pimentel o señor do Bolo, Milmanda e Allariz. A súa filla María Pimentel casa co primeiro Conde de Ribadavia, Bernardino Pérez Sarmiento,  e partir de aí o castelo pasa a mans deste condado e sobre todo coa creación do Morgado dos Sarmiento. Os condes de Ribadavia residían gran parte do ano nesta fortaleza e María Pimentel faleceu nela.

Co paso do tempo tamén foi cárcere no século XVIII e quedou abandonada no século XIX. Xa no 2012 o Concello do Barco empezou a súa rehabilitación. Nos estudos iniciais descubríronse restos dun asentamento castrexo con aparición de cerámica e outros restos que van desde a época prerromana ata o século IV.  As cabanas circulares quedaron marcadas solo de xeito testemuñal no chan da entrada da torre.

A torre que se visita na actualidade conta con alxibe de recollida de auga na parte baixa e unha escaleira de acceso á parte alta para poder divisar todo o val no que se asenta o concello barquense e a súa contorna.