はじめまして。
overLayFLash.jsを書きましたむらけんです。
ちょっと状況がいまいち把握できませんが、サンプルでFlaも配っていますので、そちらのセッティングを参考にしていただけますでしょうか。
IE,FireFox,safariで確認済みではありますが、それぞれ挙動が少しずつ違います。

また、Flashがウィンドウで開いてしまうということですが、anchorタグの要素がうまく取れていない可能性もあります。htmlの方も、再度ご確認ください。