自作のプログラムはイベントレシーバという事で宜しいですか?
ご認識通り、deactivateをせずにソリューションを取り消しした場合、イベントレシーバが残ってしまう事があり、まさにその現象が発生していると考えられます。
正常な状態に戻す方法ですが、新しくライブラリを作成した方が良いと思いますが、SPListにそのものずばり、EventReceiversというプロパティがあるので、プログラム(もしくはPowershellのスクリプト)から、このプロパティを回して対象のイベントレシーバを削除すれば、元の状態に戻せると思います。