Obispo titular de Canopus, “in partibus infidelium”, vacante el Obispado de Montevideo en mayo de 1881 por fallecimiento de Monseñor Vera, Yéregui ejerció interinamente el gobierno eclesiástico hasta que Roma le confirió la investidura como 2° Obispo de la diócesis. Figuraba en la terna de propuesta oficial como tercer candidato, después de los presbíteros Estrazulas y Conde, pero mereció la preferencia de la Corte Romana, y fué preconizado jefe de la iglesia uruguaya por el Obispo de Buenos Aires.
Nueve años alcanzó a desempeñar su cargo, mostrando ser hombre de tendencias moderadas y de carácter conciliador, al cual si en alguna circunstancia se le halla en directivas de lucha, lo hizo conforme a normas impuestas por la política del grupo combativo que encabezaba el presbítero Mariano Soler, heredero de las tendencias ultramontanas de Monseñor Vera.
Sacerdote sin mayor calidad intelectual que lo distinguiera, pero de profunda moral, conocedor, muy. compenetrado, de las debilidades y las miserias humanas, Monseñor. Yéregui fué calificado con acierto por quien lo calificó “un limpio de corazón”.
Su existencia tuvo fin en Montevideo el 19 de febrero de 1890, victimado por una rápida dolencia.
