Hola Mikent,
Puedes borrarlo de la manera que mencionas, pero problablemente te force a borrar los public folder individualmente antes de poder eliminar la base de datos de public folder
Te dejo la URL del articulo de Technet que te muestra el procedimiento para eliminar un public folder database: http://technet.microsoft.com/en-us/library/dd876883(v=exchg.141).aspx
Saludos cordiales | Exchange Trainer | MCDST-MCTS-MCITP-MCSA-MCT