原因はエクスプローラーのShift+右クリックメニューから呼び出されるのがHKEY_CLASSES_ROOT\Microsoft.PowerShellScript.1\Shell\0\Commandに登録されていて、それが以下のようになっています。
"C:\Windows\System32\WindowsPowerShell\v1.0\powershell.exe" "-Command" "if((Get-ExecutionPolicy ) -ne 'AllSigned') { Set-ExecutionPolicy -Scope Process Bypass }; & '%1'"
最後の'%1'の部分にファイルパスが展開されるのですが、アポストロフィーがパスに含まれていると文字囲みとして見なされてしまうためにおかしくなるのでしょう。
暫定的の対処なら、'%1'を""%1""すると実行できるようになります。
そこを変更したくないならメニューに専用の項目を追加してやるのも手かもしれません。
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\Microsoft.PowerShellScript.1\Shell\OpenApostrophes]
[HKEY_CLASSES_ROOT\Microsoft.PowerShellScript.1\Shell\OpenApostrophes\Command]
@="\"C:\\Windows\\System32\\WindowsPowerShell\\v1.0\\powershell.exe\" \"-Command\" \"if((Get-ExecutionPolicy ) -ne 'AllSigned') { Set-ExecutionPolicy -Scope Process Bypass }; & \"\"%1\"\"\""
個別に明示されていない限りgekkaがフォーラムに投稿したコードにはフォーラム使用条件に基づき「MICROSOFT LIMITED PUBLIC LICENSE」が適用されます。(かなり自由に使ってOK!)