Windows Server 2003 から Windows Server 2016 へのアップグレードインストールはできません。新規に仮想マシンを作成して、Windows Server 2016をインストールすることをお勧めします。
その点をご理解いただいた上で、
VMware 仮想マシンのゲスト OS の指定が「Windows Server 2003 Standard Edition」や「Windows Server 2003 Enterprise Edition」の場合、ご質問の状況でストップすると思います。「Windows Server 2003 x64 Standard Edition」や「Windows Server 2003 x64 Enterprise Edition」の場合、DVD からの Windows セットアップの起動は可能です。ゲスト OS
の指定を「Windows Server 2016」に変更しても同様です。ただし、そこからアップグレードはできず、クリーンインストールしかできません。仮想マシンの C ドライブの内容や C ドライブを含むディスクのパーティションがどうなってもいいのであれば、クリーンインストールを進めることは可能だと思います。
また、Windows Server 2016 の最小メモリ要件は 512 MB ですが、Windows セットアップは 800 MB 以上ないとうまく動作しないと思います。
なお、物理/仮想関係なく、Windows Server 2003 が x64 (64ビット)であれば、Windows Server 2003 x64 → Windows Server 2008 または 2008 R2 → Windows Server 2012 または 2012 R2 → Windows Server 2016 の順番にアップグレードできる可能性はあります。Windows Server2003 が x86 (32ビット)の場合は、後継バージョンの x64 (64ビット)にアップグレードすることはできません。