浮気してるでしょなんて言い方は良くないと思うので(まぁ事実してる側にも問題はありますが)「俺に何か話す事ない?」という風に聞いてみるのはどうでしょう。そこで誤魔化されたら見切りをつけて別れるべきですね。浮気されているのと別れてしまうのはどちらが辛いんですか?