O SQL Server usa a memória como sua área de atuação. É na memória que acontecem as transações.
Ele usa um recurso chamado VAS que tem a capacidade de alocar até 8TB RAM se for em ambiente 64 Bits, 7Tb se for Itanium e 4GB se for 32 bits.
Por isso, quanto mais memória você tem, mais ele pega pra ele.
Para resolver isso, vá nas propriedades da instância e na opção Memory, altere o Max Server memory para um valor aceitável pelo seu servidor.
Para um server com 12 GB, use 10 GB como limite. Assim:
sp_configure 'Show Advanced Options', 1
go
RECONFIGURE WITH OVERRIDE
go
sp_configure 'Max server memory (MB)', 10000;
go
RECONFIGURE WITH OVERRIDE
go
Robson Brandão