パブリック サイトに限らず、SharePoint Online の(単純なデータではなく)アプリケーションのそのままのバックアップ/リストアは、標準の機能でやるのは限りなく無理に近いようです。
できるだけ完全な形での保全が必要であれば、費用うんうんを言わずサードパーティのソリューションを利用しましょう。
※パブリックサイトをコピーするとして、今まで公開していたサイトですからいずれどこかに何らかの形で再度公開することになるかと思います。そうであれば、最終的な移行先に合わせて必要なデータや設定を保全すべきでしょう(SharePoint サイトの形でコピーしても、結局そのまま公開できる訳ではない)。
hebikuzure