La Ermita de San Felices se localiza en lo alto de los riscos de Bilibio que conforman las conchas de Haro, junto a los riscos de Buradón. Estos riscos han sido un lugar especial de culto desde antiguo, desarrollándose varios centros religiosos en las inmediaciones como en la Cueva de Páceta (Álava), o el Monasterio de Herrera (Herrera, La Rioja).

El castro de Bilibio estaba ya habitado desde la I Edad del Hierro (s. VII-V a.C.), además hay algunas evidencias de contacto con los romanos como restos de terra sigilata hispánica (cerámica) en los restos de algunas fortificaciones, algunas referencias a “Baelibio” en la cercana ermita de San Bartolomé (Angostina, Álava), y la existencia de una vía romana en las cercanías de Bilibio que comunicaba el valle del Ebro riojano con el burgalés.

Según la tradición San Felices (s VI d.C.) se retiró a orar a los riscos de Bilibio, durante este periodo como anacoreta acudió a el San Millán, para que le iniciara en los misterios como anacoreta en el año 493. Finalmente, San Felices muere en el año 520, y sería enterrado en una de las cuevas del propio monte, donde reposó hasta que, en el 1090, sus restos fueron trasladados al monasterio de San Millán y se conservaran algunas de sus reliquias en la iglesia de Santo Tomás en Haro. En la propia Haro se erigió la primera ermita consagrada a San Millán, pero la actual se construyó en el 1710 justo donde se situaba el primer lugar de reposo del anacoreta.
Referencias: Mayoral, Mª P. Pascual, et al. La cueva de Páceta: Castro Bilibio (La Rioja)–¿Un oratorio rupestre? Antigüedad y cristianismo, 2006, no 23, p. 719-737. Bodegas, Pablo Díaz. En torno a la traslación de San Felices de Bilibio, patrono de Haro. Berceo, 1992, no 123, p.31-47