showModalDialogでsubmitする際に、勝手に新規ウィンドウを立ち上がらなくするためには

回避策は
隠しフレームを作成して、そこに向かってサブミットする。

1.showModalDialogで開いた画面に、
iflameでwidth="0" height="0" name="hoge" あたりを指定して隠しフレームを作る。

2.submitするformに対して、taget="hoge"を指定する。

リンクなどからonclick経由などでjavascriptでsubmitする場合は、
リンクにtagetを指定するのではなく、formに指定するのを間違えないようにする。