弊社での同じ事象が発生していますので、情報を追記いたします。
OSVer2004だけでなく、20H2でも同様です。
状況的には「ネットワークドライブの割り当て」を実施している端末のみエクスプローラーが極端に重い、フリーズする事象です。
ネットワークドライブを外せばある程度は回復しますが、外すにもGUI操作(右クリックなど)をアクションするとフリーズします。
そのためコマンドでネットワークドライブ割り当て解除いたしました。
検証は出来ていないですが、ネットワークドライブ先のサーバがダウンしているものが含まれている場合、フリーズする可能性が高そうです。
何か参考になれば。