Guilherme, boa tarde.
Seguinte este sintoma é do LockDownMode, vou explicar para você:
Todo firewall eficiente necessita de um modo de proteção automática quando sofre algum tipo de invasão, sei que no seu caso não é invasão mas quando estoura o limite o ISA 2004 e 2006 interpreta desta maneira,
assim o próprio ISA Lock(fecha) Down (Cai), e depois de um tempo ele volta automaticamente.
Hoje na empresa que administro tenho mais de 20 firewall com o ISA Server e todos estavam com este sintomas, entrei em contato com a equipe da Microsoft, segue as alterações que você deverá fazer.
Primeiro você precisa executar o script que desabila o LockDownMode só para você entender melhor quando o ISA entra neste modo ele para o servico de Firewall, e uma das intruções do script é evitar que isto aconteça.
No site da microsoft tem o Script, basta copiar e salvar em .vbs e rodar no seu servidor ISA.
http://technet.microsoft.com/en-us/library/cc302466.aspx
Segundo você precisa criar 2 chaves de registro para aumentar o limite de conexões simultaneas, segue o local onde deverá criar as chaves e o valores:
KLM\SYSTEM\CurrentControlSet\Services\Fweng\Parameters
SynAttackHalfOpenEnable =2000 (Decimal)
SynAttackHalfOpenDisable=1500 (Decimal)
Espero que te ajude.
No meu caso após fazer isto na minha infratura nunca mais tive este problema.
Não esqueça de marcar caso tenha sido util.
