A Casa Grande de Viloira foi construída no ano 1637. É un gran edificio de planta rectangular con tres alturas, e dous patios no seu interior, un deles rodeado por unha galería pechada e o outro dando acubillo a unha capela. Chama a atención ás súas paredes amarelas e a pedra vermella típica da zona para columnas, linteis e marcos de portas.

A construción da Casa Grande segue a estrutura habitual dun pazo galego, cunha fachada principal na que loce, na zona central, un escudo de armas no que se ve a imaxe dun león atado a unha árbore como imaxe central. Este escudo pode verse dende a Praza Otero Pedrayo de Viloira que no seu día formaba parte do conxunto do pazo onde estaban as cortes e a horta.

En 1757 aparecen como propietarios a familia Quiroga, Don José Nicolás de Quiroga. Avanzando no tempo é Manuel Quiroga quen casa coa segunda filla do marqués de Nava e entón incorpora ao apelido Quiroga o de Velarde. Froito deste matrimonio nacen dous fillos, sendo un deles: Don José Quiroga e Velarde, conde de San Martiño de Quiroga e pai de Elena Quiroga de Abarca, novelista que pasou a súa infancia neste pazo.  Esta novelista gañou o premio Nadal e foi a segunda muller que ocupou unha cadeira na RAE no 1994. Ten unha rúa coa seu nome entre a casa grande o río Sil e converteuse en filla adoptiva do Barco e Valdeorresa Ilustre polo Instituto de Estudos Valdeorreses (IEV).