「生活費」というのは，実務上使われる用語である「婚姻費用」のことだと思われますが，
婚姻費用は通常，別居している夫婦において問題となります。同居中の夫婦でも，あり得なくはないですが，通常は別居している夫婦が前提となります。

次に，仮に，あなたたち夫婦が別居しているとして，どちらが婚姻費用を支払う義務を負うかというと，
それは，双方の収入の多寡，子がいるなら子がどちらと共に生活しているか，ということで決まります。
婚姻費用の支払義務というのは，夫婦間の「扶助義務」つまり助け合う義務をベースにしており，配偶者に対し，自分と同じレベルの生活を維持させる義務があるため，収入が高い方が低い方に支払うことになるからです。またお子さんがいれば，計算の仕方も変わります。

以上を前提に，あなたがつき８万円を夫に支払う義務があるかどうか，考えてみてください。

夫とは同居中ということでしょうか。
夫と全く話ができないのであれば，家庭裁判所に「婚姻費用分担調停」を申し立てたらいかがですか。
この調停は，通常は別居中の夫婦を対象としますが，同居中であっても全く生活費をもらえていないのであれば，夫婦がお互いに負う「生活保持義務」が果たされていないことになるので，同居中であっても申し立てる意義はあると思います。
調停の中で，調停委員から夫を説得してもらったらいかがでしょうか。

１　離婚
　　離婚をするには，⑴離婚届を提出する協議離婚，と⑵調停離婚があります。
　　お二人の間で，離婚すること及び離婚の条件につき合意ができるなら，協議離婚でよいですが，それらにつき合意ができないのであれば，離婚調停を申し立て，家庭裁判所で調停手続を進めることになります。
２　慰藉料
　　離婚の主たる原因が夫の不貞なのだとしたら，不貞発覚から３年以内に請求すべきです。
　　ただ，十分な証拠の有無により，最終的に請求が認められるか否かが異なります。
３　自宅の住宅ローン
　　ローン債務者が負担することになります。夫のみがローン債務者で，あなたとお子さんが自宅の居住を継続する場合，夫の未払いのリスクがあります。そのため，自宅については，十分に協議すべきです。
４　親権
　　争いとなった場合，娘さんが出生した後，どちらが主に面倒を見てきたか，娘さんの発育や世話の仕方に問題がなかったか，子どもの年齢といった観点から判断されることになります。

あなたが知りたいことに回答できているか分かりませんが，ご質問に対し上記のとおり回答します。

まず，夫との協議又は調停により離婚可能かどうかと考えた場合に，夫に離婚意思があるか，そもそも意思表示が十分に行えるのかという点が問題になるように思います。
夫は，高次脳機能障害とのことですが，判断能力及びコミュニケーション能力はどの程度でしょうか。

次に，夫に判断能力があり，意思表示が可能だとして，夫が離婚に反対した場合，最終的には離婚訴訟で争うことになるのですが，その際，夫が離婚によってどうなってしまうのかが問題になるように思います。要介護状態の夫を打ち棄てて離婚することに問題がないか，ということです。
離婚後，夫はどのように生活していくことになるのでしょうか。例えばどこか施設に入るなど，あなたの介護を要せず暮らしていくようにできますか。

現時点で離婚が難しい場合，とにかく別居する，という選択もあると思いますが，そうなったときに，夫がどのように生活していくのかというのがやはり問題になるように思います。

あなたが夫を「怒らせちゃう」ことがあるにしても，暴力はよくないです。
暴力を受けたら，必ず，写真を撮り，日記をつけておいてください。できれば，夫が暴れたりあなたに暴言を吐いているところを録音してください。そういうのが積み重ねれば，あなたが離婚したいと思ったときに，慰謝料請求することができます。

不貞によりお子さんへの悪影響があったかどうかによりますが，不貞をしたからといって親権者になれないわけではありません。
不貞の頻度，相手と会っていた時間帯によりお子さんの監護に支障が生じていたり，お子さんが不貞相手とあなたとの逢瀬を見てしまったりしたら，親権の判断においてマイナスに働きますが，不貞はしていたものの，お子さんに知られることもなく，監護にも支障がなく，お子さんにとって「よいお母さん」であれば，不貞の事実は大きく影響しないと考えます。

親権より問題なのは，離婚できるかどうかではないかと思います。
夫は，あなたの不貞発覚後もあなたに性交渉を求めているところからしても，あなたに執着しているように思えます。そうだとすると，離婚には応じないのではないでしょうか。その場合，有責配偶者からの離婚請求として，通常の離婚請求より，認められるための条件が重くなります。

それでも離婚したいのであれば，まずはお子さんを連れて別居する，具体的には，ご実家に転居することから始めたらいかがでしょうか。

慰謝料を発生させない形がご希望であれば，セックスフレンドの存在は是が非でも隠し通す必要があります。
ご自身の行動，所持物などを点検し，奥様に疑われないよう，証拠をつかまれないようチェックすべきでしょう。
「妻が離婚をちらつかせてくる」とのことですが，奥様は，どのような理由で離婚を求めているのでしょうか。
また，奥様から出された離婚の条件などはあるのでしょうか。
もう少し具体的な事情をお聞かせいただかなければ，対策が検討できません。