Você pode adicionar uma verificação antes de executar o resto do script para verificar se o usuário pertence a um determinado grupo:
Import-Module ActiveDirectory
$today = Get-Date -UFormat "%d/%m/%Y %R"
$groupName = "GroupName"
Import-CSV "C:\script\desativar.csv" |
ForEach {
$user = Get-ADUser -Identity $_.samaccountname
if ($user.MemberOf -notcontains (Get-ADGroup -Identity $groupName)) {
$user | where -Property Enabled -eq $true `
| Set-ADUser -replace @{description="Desabilitado por script em: $today"}
$user | where -Property Enabled -eq $true `
| Move-ADObject -TargetPath "OU=Desabilitados,DC=daniel,DC=infra" -PassThru `
| Disable-ADAccount
}
}