地球にやさしい中古

既婚の男性と関係を持ってしまいました。
前の職場で知り合い、3年ほど音信不通でしたが、今年に入って突然電話があり去年結婚したと報告を受け、その時はお祝いの言葉と軽い会話をしました。
その後数回内容のないメールがありましたが、先月飲みに誘われ、勝手に安心して飲みにいきました。
が、飲み過ぎて一夜を共にしてしまいました。
こんなことは初めてで、しかも奥さんがいる人と…。
飲みに行ったこと一夜を共にしたことを凄く後悔しました。
何より奥さんに対して何てことをしてしまったのかと思い、彼にもう会わないと言いました。
ところが、彼は昔ずっと好きだった、今でも引きずっていると言い、奥さんと離婚すると言っています。
本当かは分からないけど、奥さんの宗教のことやセックスレス等でもともと上手くいっておらず、私と会ったことでやっぱり好きだという気持ちを確認したから、離婚して私と付き合いたいと言っています。
現在、もう両親を含めて話は進んでいるようで、（私とのことは話していないようです）今はお互いの荷物をそれぞれの実家へ運んでいる段階のようです。
正直この展開に動揺しています。
私はもし彼が離婚しても付き合うとか今の段階では考えられないと伝えているし、彼がマンションの前まで会いにきても会うことを拒否しています。
彼が結婚している以上これ以上距離が縮まるのはいけないと思っています。
ですが、心の中ではもう少し彼の事を知りたいと思っているのも事実です。
本当は会いたいと思う気持ちがあることも事実です。
メールや電話があればダメだと分かりつつ対応してしまっている自分が情けないです。
彼の言葉をどこまで信じていいのか分からないし、私自身人として最低なことをしてしまったので、この気持ちは押し殺して今後彼とは一切会わない方がいいとも思います。
何だか冷静な判断ができなくなっていますので、厳しい言葉でも構いません。
アドバイスお願いします。