Olá Fabricio,
Faça o seguinte,
Copie estas linhas e salve como sqlmemorylimit.sql em c:\
USE master
EXEC sp_configure 'show advanced options', 1
RECONFIGURE WITH OVERRIDE
USE master
EXEC sp_configure 'max server memory (MB)', 256
RECONFIGURE WITH OVERRIDE
USE master
EXEC sp_configure 'show advanced options', 0
RECONFIGURE WITH OVERRIDE
Abra o prompt e execute
osql -E -S servername\instancia -i c:\sqlmemorylimit.sql
Ele vai setar seu MSDE para usar 256 MB.
Dê um restart no serviço e veja se deu diferença.
Se for útil, classifique.
Abraços