Olá Fabio.
Esse comportamento é comum, pois a configuração do Max server memory limita a área de memória do buffer pool, usado pelo SQL Server. Outros componentes, como extended store procedures, objetos COM, não usam essa área de memória, por isso que ele consome
a área não alocada.
Mais informações podem ser obtidas no artigo:
http://support.microsoft.com/kb/321363/pt-br
Espero que tenha ajudado.
Att,
Angelo Máximo
MCSA | MTA | MCITP | MCT | CCSQLA
sqlmax@outlook.com
http://angmaximo.wordpress.com/
Se a resposta foi útil, não esqueça de classificá-la.