難しいというか、話を避け続けるんじゃないでしょうか？
とりあえず、家裁で、調停をし、彼が考えざるを得なくする方が、いずれ早いのでは。
あるいは、調停を申し立てたとたん、彼が、話をするようになるかもしれません。

応じる義務などとはいうものはそもそもありませんし、あなたが拒否する限り夫が離婚を成立させるためには離婚訴訟で勝訴する必要があります。離婚訴訟で離婚の判決を得るためには法的な離婚原因ありと認定される必要がありますが記載のような事情で簡単に認められるものではありません．細かい事情にもよりますが不貞により不仲となったと主張立証可能なら夫は有責配偶者となるところ、有責配偶者からの離婚請求は原則裁判所は認めません(そのような趣旨の最高裁判例があります)。
したがって、ネットにて一概に言えるものではありませんが夫の有責性の立証が可能なら、とことん夫の請求を拒否し続ければ離婚は成立しない可能性が高いでしょう。

調停は欠席し続ければいずれ不成立となり、夫が離婚訴訟を起こせば上記のとおり不貞の立証がポイントになるでしょう。欠席するのが良いかは微妙なところですが、不貞のある程度確実な証拠があるなら無視して特に問題はないと思います。私見としては出席のうえ、あなたの意向や言い分くらいは伝えておいたほうが良いとは思いますし、調停委員を通じてあなたの意思が堅いことや判例により離婚成立が厳しいことが夫に伝われば少なくとも早期の離婚は諦めるかもしれません（証拠の有無・内容など手の内まで明らかにする必要はありませんが）。
以上の点は具体的な証拠の内容や事実関係がどのようなものか確認しないと正確なところは分かりませんので、より具体的なところはお近くの弁護士や相談会等で直接相談されることをおすすめします。

婚姻費用について。当事者間で金額の合意がない場合は、裁判所の算定表を基に決めることが多いので、まずは算定表を参照してみてください。インターネットで裁判所、算定表、などと検索するとすぐに出てくるはずです（もしくは大型の書店で法律家向けの書籍を探す）。算定表では、双方の収入、お子さんの年齢、人数により大体の金額が出るようになっています。
算定表を確認し、２０万円という金額が過大なら、算定表上の合理的な金額だけ支払うなり、相手が調停を申し立てるのを待ってみるなり、することになるかと思います。
調停では基本的に上記算定表を基準に決めたいと主張すれば、双方合意があったという場合を除けば、まず算定表ベースで話しが進みます。その場合でも、事情によっては算定表以下の金額しか支払わないという主張も一応考えられます（従前の経緯からすでに十分な金額を支払い済みであるとか）。このあたりは細かい事情にもよるので、直接弁護士に相談してみた方が良いかなとは思います。
また、カードについては、もしまだならすぐに妻が使えないようにしてください。放置しておくと、黙示的に使用を同意していたなどといわれかねませんので。
さらに、婚姻費用は離婚するまでは発生するとされていますので、相談者にとって、婚姻関係を継続する意思がないなら、離婚調停を申し立てることが考えられます。妻が離婚に応じないなら、さらに離婚訴訟を行う必要がありますが、婚姻期間が短いので、相対的に短い別居期間で離婚が認められる可能性があります（調停や訴訟をしているうちに別居期間が数ヶ月、１年以上とたっていく。）。離婚の意思が明確なら、それを客観的に明らかにするためにも離婚調停を起こすことが考えられます。

以上、前記のとおり細かい事情によるところもあるので、より詳しく、正確には、一度お近くの弁護士に直接相談してみることも検討してみてください。

＞1度、離婚調停の申し立てをしたのですが、離婚の方向でまとまったので取り下げました。
⇒過ぎたことではありますが、真実離婚の話がまとまっていたなら調停で離婚を成立させておくべきでした。

調停で、また離婚方向で話が進めばよいですが、夫が離婚を拒否したり、条件がまとまらない場合が問題です。すでに夫が相手に慰謝料請求しているということや、なんやか離婚に至らなかったことを踏まえると、夫が何の条件も出さずにすぐ離婚に応じるという可能性は低いのではと予想します。具体的には相談者に対する慰謝料等を検討しているのではと思います。
そうなった場合に夫の言い分が通るかは、夫の持っている証拠や相談者のいう「浮気」の内容によることになります。肉体関係はなくとも、親密さの度合い等によっては慰謝料が認められることがあります。また、万一不貞が立証されそうだとすると、相談者が有責配偶者となり夫が応じない限り離婚請求をしても棄却される可能性が出てきます。

離婚を考える以上、どこかの時点で別居することにはなるのでしょうが、早期離婚が成立するかは、夫の離婚に対する現在の考えや希望条件の有無・内容にかかってくるだろうということになります。調停を申し立てたということですので、そのあたりの夫の考えを調停で確認し、対応を考えていくことになるでしょう。

届いた書面類をよく読み、申立人の記載した内容については、あなたの言い分や時系列での背景事情を整理しなおしておくことでしょうか。必要に応じて書面等の資料を提出することもあります。
調停の内容や申立人の請求・主張によるところです。対応に混乱されているようですし、至急、届いたものを一式持参し、弁護士と面談での相談を受けられるべきです。

実際の写真を拝見しないと正確にはわかりませんが、どちらかの自宅に宿泊しているということであれば不貞が認定できる可能性はあると思います。

あくまで一般論としてですが、セックスレスが何年続けば離婚原因になるといった基準があるわけではありませんし、一方がのぞんでいるのに他方が歩み寄らない等の事情も必要になってくるでしょう。

＞今でも上下関係があり、社長と呼んでいます。不機嫌がすごく、会社でも、出掛けた先でも他に人が居てもお構い無しに不機嫌になり言い方もひどく、最近は恐怖で目も合わせられません。しかし、不倫等は無いと思いますし、代表なので朝帰りや女性と連絡を取っていても仕事だ、と言われます。離婚も切り出しましたが、不機嫌になるだけで話になりません。
子供も欲しかったのですが、セックスも5年以上結婚してから一度もありません。
むしろ、上記の様な事情を総合すると民法770条5号の事情がある、というような主張を展開していくほかないように思います。これらの点と夫婦の実際の生活状況によっては離婚が認められる可能性はあるでしょう。

＞相手が完全に有無も言わずに離婚出来る事はありますか？
離婚訴訟では民法770条各号の離婚原因があると認められれば当事者の意思に関わらず離婚を成立できます。しかし、まずは離婚調停から始める必要があります。

また、相当な期間別居することで婚姻の破綻が認められることがありますし、離婚調停をするにしても同居のままだと進めにくい事案のように思いますので離婚を前提とした別居を始めることも検討した方がよいかもしれません。

このあたりのより詳細な点については、お近くの弁護士に直接相談されたほうが良い部分もあるでしょう。