夫が他の女性と電話して「一緒に住みたい」などと言っているのであれば，それを録音しておいた方がいいと思います。
今後，夫から正式に離婚請求がされた場合に証拠として使えます。

夫が離婚を拒否しているとなると，少なくともしばらくの間，離婚は難しいでしょうね。

別居については，物理的に，娘さんを連れて別居してしまえば可能です。
夫が，娘さんを取り返そうとして，「子の監護者の指定，引渡し」を求めても，家裁は監護権者をあなたと指定する可能性が高いです。不貞と，子の監護者に父母いずれが適切かの判断は，直接関連していないからです。あなたがこれまで主に娘さんの世話をしてきて，特段その世話に問題がないのであれば，家裁はあなたを監護権者とするでしょう。
そうであれば，娘さんを夫にとられる心配がないので，別居は可能ではないかということです。

夫が他に取る手段といえば，あまり聞かないですが，「同居を求める審判」を申し立てることは考えられるかもしれません。離婚していない以上，夫婦には同居の義務があるからです。
仮に，そのような申立てがあった場合，不貞をした挙句出ていった，というのではさすがに印象がよくないので，「価値観の違い」が大きく一緒に生活することが困難だったというのを，なるべく証拠を付して，主張していく方がいいでしょうね。同居を求める審判は，私は体験したことがないので，裁判所がどう扱うのかは何とも言えませんが，夫婦の同居義務はともかくとして，同居したくないと言っている妻を無理やり夫と住めということは言い難いように思います。

最後に，離婚請求についてですが，ネットで調べればすぐにわかると思いますが，有責配偶者からの離婚請求の要件が３つあります。一つ言えることは，別居が前提ということです。
親権については，あなたが娘さんを連れて別居しているのであれば，問題なく親権も取れるでしょう。

・今後の相手とのやり取りについて
　養育費増額や面会交流について改めて話し合いをしたい場合は，（あなたご自身又は代理人に依頼して）直接のやり取りをするか，新しく調停を申し立てるかのいずれかによると思われます。
・今まで依頼していた弁護士さんについて
　依頼した当初に，委任契約書を取り交わしていると思いますので，その契約内容をご確認ください。
　委任の範囲の解釈の問題だと思います。
　契約の範囲が，例えば「離婚訴訟の第1審終了まで」，とされているのであれば，第1審終了により当該委任契約における受任弁護士の役割は終了したと考えられます。そのため，続けて養育費や面会交流について相手方と協議することをお願いしたい，ということであれば，その弁護士さんのおっしゃるとおり，別の委任契約を締結する必要があります。
　

あなたが夫を「怒らせちゃう」ことがあるにしても，暴力はよくないです。
暴力を受けたら，必ず，写真を撮り，日記をつけておいてください。できれば，夫が暴れたりあなたに暴言を吐いているところを録音してください。そういうのが積み重ねれば，あなたが離婚したいと思ったときに，慰謝料請求することができます。

養育費をもらう前提として，あなたが離婚後，子を養育する立場＝親権者，監護権者となる必要があります。
夫が親権を争ってきた場合，絶対にあなたが親権者となれるかというと，そうではないだろうと思います。
親権者を裁判所が指定する場合，これまでの主たる監護者はどちらか，主たる監護者による監護は適切なものであったか，現在の監護状況はどのようなものか，子の年齢，監護補助者の存在といった点から判断することになります。
離婚に際して母親が親権者となるケースが多いのは，一般に，母親の方が子と接する時間が多く，かつ，実際に面倒を見ていることも多いからです。母親であれば当然親権者となるわけではありません。
もちろん，お子さんが小さい場合，事実上，母親であること自体が有利に働くこともあるのですが，あなたの相談内容からすると，実際の監護の内容，状況等は不明ですが，おそらく夫の方がお子さんと接する時間が長いであろうことから，あなたが母親である，というだけで親権者監護権者となれるかというと疑問に思いました。それなりに対策しないと，確実に親権者，監護権者になるとはいえないだろうということです。

次に，あなたが親権者，監護権者になったとして，夫から養育費をとれるか，という点ですが，夫が無職無収入（試算無し）の状態が続けば，事実上，養育費の回収はできないということになります。お金がないところからは取れないからです。

養育費を支払わせたい，ということが目的であるならば，まずは，夫に社会復帰をしてもらう必要があります。

以上のとおり，夫が争ってきた場合に，そもそもあなたが親権者，監護権者となれるのかという点で疑問があるので，仮に，あなたが離婚を決意するのであれば，お子さんの親権，監護権を獲得するために，十分な準備，証拠収集が必要かと思います。

慰謝料を発生させない形がご希望であれば，セックスフレンドの存在は是が非でも隠し通す必要があります。
ご自身の行動，所持物などを点検し，奥様に疑われないよう，証拠をつかまれないようチェックすべきでしょう。
「妻が離婚をちらつかせてくる」とのことですが，奥様は，どのような理由で離婚を求めているのでしょうか。
また，奥様から出された離婚の条件などはあるのでしょうか。
もう少し具体的な事情をお聞かせいただかなければ，対策が検討できません。

「生活費」というのは，実務上使われる用語である「婚姻費用」のことだと思われますが，
婚姻費用は通常，別居している夫婦において問題となります。同居中の夫婦でも，あり得なくはないですが，通常は別居している夫婦が前提となります。

次に，仮に，あなたたち夫婦が別居しているとして，どちらが婚姻費用を支払う義務を負うかというと，
それは，双方の収入の多寡，子がいるなら子がどちらと共に生活しているか，ということで決まります。
婚姻費用の支払義務というのは，夫婦間の「扶助義務」つまり助け合う義務をベースにしており，配偶者に対し，自分と同じレベルの生活を維持させる義務があるため，収入が高い方が低い方に支払うことになるからです。またお子さんがいれば，計算の仕方も変わります。

以上を前提に，あなたがつき８万円を夫に支払う義務があるかどうか，考えてみてください。