En 1839 fué solicitado por los agentes de Rosas, quienes le ofrecieron en cambio de su vuelta, restituirle sus bienes confiscados, y reponerlo en el empleo de Fiscal. Pero Agrelo resistió, á pesar de su excesiva pobreza, y continuó viviendo con los exiguos recursos que le proporcionaba el ejercicio de su profesión.
Hacia 1841 comenzó á decaer rápidamente la integridad de sus facultades mentales, y desde entonces hasta el día de su fallecimiento permaneció en el más deplorable estado de melancolía y abatimiento. Agrelo murió en Montevideo, en medio de la mayor miseria é ignorado hasta de sus mismos amigos, el 23 de julio de 1846.
Agrelo había escrito mucho sobre su vida pública y sobre los sucesos que presenció, ó en los cuales tuvo alguna participación: en los últimos años de su trabajosa existencia, determinó modificar la redaccion de esos recuerdos creyendo que la primera forma era imperfecta por haber