Hola David,
Este foro te podría ayudar con los pasos para deshabilitar la federacion con office 365., una vez hecho esto, puedes proceder con las desinstalacion normal del adfs.
http://davidmtechblog.blogspot.com/2015/08/office-365-disable-federation-adfs.html
Pablo Andres Jimenez M
MCSA- Windows Server 2012 - 2016
Thank´s and best regards.