難しいというか、話を避け続けるんじゃないでしょうか？
とりあえず、家裁で、調停をし、彼が考えざるを得なくする方が、いずれ早いのでは。
あるいは、調停を申し立てたとたん、彼が、話をするようになるかもしれません。

実際の写真を拝見しないと正確にはわかりませんが、どちらかの自宅に宿泊しているということであれば不貞が認定できる可能性はあると思います。

あくまで一般論としてですが、セックスレスが何年続けば離婚原因になるといった基準があるわけではありませんし、一方がのぞんでいるのに他方が歩み寄らない等の事情も必要になってくるでしょう。

＞今でも上下関係があり、社長と呼んでいます。不機嫌がすごく、会社でも、出掛けた先でも他に人が居てもお構い無しに不機嫌になり言い方もひどく、最近は恐怖で目も合わせられません。しかし、不倫等は無いと思いますし、代表なので朝帰りや女性と連絡を取っていても仕事だ、と言われます。離婚も切り出しましたが、不機嫌になるだけで話になりません。
子供も欲しかったのですが、セックスも5年以上結婚してから一度もありません。
むしろ、上記の様な事情を総合すると民法770条5号の事情がある、というような主張を展開していくほかないように思います。これらの点と夫婦の実際の生活状況によっては離婚が認められる可能性はあるでしょう。

＞相手が完全に有無も言わずに離婚出来る事はありますか？
離婚訴訟では民法770条各号の離婚原因があると認められれば当事者の意思に関わらず離婚を成立できます。しかし、まずは離婚調停から始める必要があります。

また、相当な期間別居することで婚姻の破綻が認められることがありますし、離婚調停をするにしても同居のままだと進めにくい事案のように思いますので離婚を前提とした別居を始めることも検討した方がよいかもしれません。

このあたりのより詳細な点については、お近くの弁護士に直接相談されたほうが良い部分もあるでしょう。

申立書の記載は、あくまで申立人の希望としてのものですので、相手方たる相談者に別の希望や意見があれば、相談者の主張として申し立てられた調停で主張すればよいです。調停は最終的には当事者双方の合意が形成できるのかに尽きますので、合意が成立する限り、申立書の記載にのみ拘束されるわけではありません。
相談者から何も言わなくても、調停員という人たちから、相談者は離婚に応じる気持ちはあるのかや、そうだとして、年金分割等の希望はあるのか、といったことは聞かれるはずです。事前に相談者の希望を書面で出してもよいですし、調停の期日で相談者からご自身の希望を述べても、どちらでも構いません。弁護士をつけておらず、調停の勝手がわからないなら、まずは期日に出向き、口頭で希望を述べるで構いません。調停員が申立人に相談者の希望を伝えてくれますので。

＞1度、離婚調停の申し立てをしたのですが、離婚の方向でまとまったので取り下げました。
⇒過ぎたことではありますが、真実離婚の話がまとまっていたなら調停で離婚を成立させておくべきでした。

調停で、また離婚方向で話が進めばよいですが、夫が離婚を拒否したり、条件がまとまらない場合が問題です。すでに夫が相手に慰謝料請求しているということや、なんやか離婚に至らなかったことを踏まえると、夫が何の条件も出さずにすぐ離婚に応じるという可能性は低いのではと予想します。具体的には相談者に対する慰謝料等を検討しているのではと思います。
そうなった場合に夫の言い分が通るかは、夫の持っている証拠や相談者のいう「浮気」の内容によることになります。肉体関係はなくとも、親密さの度合い等によっては慰謝料が認められることがあります。また、万一不貞が立証されそうだとすると、相談者が有責配偶者となり夫が応じない限り離婚請求をしても棄却される可能性が出てきます。

離婚を考える以上、どこかの時点で別居することにはなるのでしょうが、早期離婚が成立するかは、夫の離婚に対する現在の考えや希望条件の有無・内容にかかってくるだろうということになります。調停を申し立てたということですので、そのあたりの夫の考えを調停で確認し、対応を考えていくことになるでしょう。

購入額全額を相談者のお母様から贈与されたのだとすると、自宅は相談者の特有財産として財産分与の対象外とする考え方はありえます。一方で共有名義にしていることや、夫への貸付としていることが全額贈与という点と矛盾する可能性もあるところで、貸付なのか贈与なのか含めそのあたりの詳しい事実の確認が必須の事案のように思います（なお、貸付なのであれば、母から夫への返還請求は考えられます。これも書面の内容等にもよりますが）。
結論としては上記のような経緯の確認をしたうえで方針を固めるべきかと思いますので、資料を持参して弁護士に直接相談されることをおすすめいたします。

応じる義務などとはいうものはそもそもありませんし、あなたが拒否する限り夫が離婚を成立させるためには離婚訴訟で勝訴する必要があります。離婚訴訟で離婚の判決を得るためには法的な離婚原因ありと認定される必要がありますが記載のような事情で簡単に認められるものではありません．細かい事情にもよりますが不貞により不仲となったと主張立証可能なら夫は有責配偶者となるところ、有責配偶者からの離婚請求は原則裁判所は認めません(そのような趣旨の最高裁判例があります)。
したがって、ネットにて一概に言えるものではありませんが夫の有責性の立証が可能なら、とことん夫の請求を拒否し続ければ離婚は成立しない可能性が高いでしょう。

調停は欠席し続ければいずれ不成立となり、夫が離婚訴訟を起こせば上記のとおり不貞の立証がポイントになるでしょう。欠席するのが良いかは微妙なところですが、不貞のある程度確実な証拠があるなら無視して特に問題はないと思います。私見としては出席のうえ、あなたの意向や言い分くらいは伝えておいたほうが良いとは思いますし、調停委員を通じてあなたの意思が堅いことや判例により離婚成立が厳しいことが夫に伝われば少なくとも早期の離婚は諦めるかもしれません（証拠の有無・内容など手の内まで明らかにする必要はありませんが）。
以上の点は具体的な証拠の内容や事実関係がどのようなものか確認しないと正確なところは分かりませんので、より具体的なところはお近くの弁護士や相談会等で直接相談されることをおすすめします。