ボタンにフォーカスした状態でスペースキーを押すと Click イベントが発生する訳なので、
フォーカスさせない様に設定してあげてはどうでしょう。
Button.focusEnabled を false に設定して試してみて下さい。