Это может быть что-нибудь из этих ошибок:
http://support.microsoft.com/kb/2523307
http://support.microsoft.com/kb/2533983
http://support.microsoft.com/kb/2273487
А еще рекомендуется не использовать максимальное сжатие для таких подключений:
http://social.technet.microsoft.com/Forums/en/winserverTS/thread/87fc497a-27fd-4a76-ab59-ea5fe01c9091
Слава России!
В моём случае первые 3 ссылки я даже не пробовал. Отключил компрессию в групповых политиках по ссылке
http://social.technet.microsoft.com/Forums/en/winserverTS/thread/87fc497a-27fd-4a76-ab59-ea5fe01c9091 и всё стало стабильно работать
