La forma más sencilla es remover el perfil de Outlook desde Windows.
Abre control Panel, Correo, Mostrar Perfiles, Remover Perfil XXXX
Vuelve a abrir Outlook te indicará que no tiene perfil configurado, ahí volverás a colocar los datos de configuración del servicio de Exchange.
Con respecto a la segunda, puedes intentar revisar con el proveedor del software como desinstalarlo, o en su defecto borrarlo con algun programa de terceros como lo es CCleaner