夫が他の女性と電話して「一緒に住みたい」などと言っているのであれば，それを録音しておいた方がいいと思います。
今後，夫から正式に離婚請求がされた場合に証拠として使えます。

夫が離婚を拒否しているとなると，少なくともしばらくの間，離婚は難しいでしょうね。

別居については，物理的に，娘さんを連れて別居してしまえば可能です。
夫が，娘さんを取り返そうとして，「子の監護者の指定，引渡し」を求めても，家裁は監護権者をあなたと指定する可能性が高いです。不貞と，子の監護者に父母いずれが適切かの判断は，直接関連していないからです。あなたがこれまで主に娘さんの世話をしてきて，特段その世話に問題がないのであれば，家裁はあなたを監護権者とするでしょう。
そうであれば，娘さんを夫にとられる心配がないので，別居は可能ではないかということです。

夫が他に取る手段といえば，あまり聞かないですが，「同居を求める審判」を申し立てることは考えられるかもしれません。離婚していない以上，夫婦には同居の義務があるからです。
仮に，そのような申立てがあった場合，不貞をした挙句出ていった，というのではさすがに印象がよくないので，「価値観の違い」が大きく一緒に生活することが困難だったというのを，なるべく証拠を付して，主張していく方がいいでしょうね。同居を求める審判は，私は体験したことがないので，裁判所がどう扱うのかは何とも言えませんが，夫婦の同居義務はともかくとして，同居したくないと言っている妻を無理やり夫と住めということは言い難いように思います。

最後に，離婚請求についてですが，ネットで調べればすぐにわかると思いますが，有責配偶者からの離婚請求の要件が３つあります。一つ言えることは，別居が前提ということです。
親権については，あなたが娘さんを連れて別居しているのであれば，問題なく親権も取れるでしょう。

財産分与は，個別の財産を一つずつ分けていくのではなく，全体を計算し，トータルがプラスであれば等分する，という方法を採ります。
具体的には，あなた名義のプラスの財産（不動産，預金など）と奥様名義のプラスの財産を合算し，そこからあなた名義のマイナスの財産（住宅ローンなどの債務）と奥様名義のマイナスの財産を引いて，プラスが残るようなら，プラスの分を２分の１で分けるように財産が多い方から預金などで調整する，トータルがマイナスであれば，財産分与はしない，ということになります。
　
トータルがプラスの場合を前提に話をすると，自宅不動産のうち，奥様の特有財産（共有財産に該当しない。奥様のお母様からの贈与）部分をどのように評価するのかが問題となるでしょう。
考え方ですが，不動産取得費用のうち，奥様の特有財産部分の割合を算出したうえで，現在の自宅不動産の価値（又は売却額）から残ローン額を控除した残金に，上記特有財産割合を乗じたものが奥様の特有財産となります。
例えば，４０００万円で自宅を取得し，そのうち１０００万円を奥様のお母様の贈与金で賄った場合，特有財産割合は２５％となります。現在の自宅の査定額または売却額が３０００万円で，住宅ローンが１０００万円残っているのであれば，自宅の価値は２０００万円となりますので，奥様の特有財産部分は５００万円分と算出できます。

より具体的な相談をされたい場合はご連絡ください。

モラハラにあたります。大変ですね。
あなたたち夫婦の実態は分かりませんが，仮に，あなたが適切でない行動をとっていたとしても，正座して謝罪などを求めるのは度が過ぎています。
夫の罵声の録音をお勧めします。

親権については，お子さんが生まれてから面倒を見てきたのはあなたでしょうから，お子さんの生育に特段問題がなければ，あなたがお子さんを連れて別居した後離婚したとしても，親権を奪われることはないと思われます。

慰謝料の金額が１００万円が相当か否かについてですが，お話の内容からすると，「離婚せざるを得なくなったこと」に対する慰謝料，ということですよね。
一般的にそれが妥当かどうかより，あなたのお気持ちが１００万円で納得できるかどうかで考えた方がいいのではないでしょうか。

そもそも，あなたに離婚する意思がないなら離婚に応じる必要はないのではないでしょうか。
別居が続けば，いずれは離婚せざるを得なくなるのはたしかですが，今すぐ応じる必要はないでしょう。
犬，猫の飼育代が不安であれば，今すぐ離婚するよりも，夫に生活費(婚姻費用)を求め，離婚しなければならなくなるまでの間，しっかりお金を支払ってもらったらいかがでしょうか。もちろん，離婚するまでの間になります。
他方で，離婚した後犬猫の「養育費」をもらうことはできません。人間の子ではないからです。
養育費ではなく，合意で，今後かかるであろう飼育代の半分を支払ってもらうということは考えられますが，夫が応じなければ，そのような合意はできません。人間の子と違って，養育費の支払を強制することもできません。

ところで，なぜ，夫が請求に離婚を求めてくるのか，思い当たることはありますか？
例えば，夫に疑わしい女性関係はありますか(夫に女性関係について直接尋ねるべきではないので，ご注意ください)。
あなたの話をうかがう限りだと，何故，夫が突然離婚を求めるようになったのか，有無を言わさず実家に帰ったのかまるでわからないため，女性関係かなと思いました。

離婚調停において，そのような経緯を説明して，夫名義の負債は夫固有のものであり，共有財産である夫名義の生命保険の解約返戻金から返済した分は，「本来共有財産であったもの」として計算すべきだ，と主張することになるでしょう。
夫は生活のために借りた，と言いはっているようですが，それなら，借入の際の明細を提出しろ，とか，借りたお金をどのように使ったのか金額と使途を明らかにせよ，といった釈明を求めるべきでしょうね。

夫がその点を争ってくると，調停では決着がつかないかもしれません。

１　財産分与
　　夫名義のプラスの資産（預金，不動産，車など）と妻名義のプラスの資産を合算し，そこから，夫名義のマイナスの資産（ローン，家族のためにした借金等）と妻名義のマイナスの資産を引いて，トータルでプラスになれば，財産分与を行い，マイナスであれば，分与はしません。お互いの資産はお互いのままです。トータルがマイナスであっても借金を二人で分け合うことはしないです。
２　養育費
　　当事者間で合意ができない場合は，夫の収入とあなたの収入から適正な養育費額を決めるのが一般的です。
　　お金にだらしない夫に口頭で約束してもらっても不安でしょうから，公正証書にするか，または，家庭裁判所で離婚調停を申し立て，調停条項で養育費額を決める方がよいでしょう。