まず，夫との協議又は調停により離婚可能かどうかと考えた場合に，夫に離婚意思があるか，そもそも意思表示が十分に行えるのかという点が問題になるように思います。
夫は，高次脳機能障害とのことですが，判断能力及びコミュニケーション能力はどの程度でしょうか。

次に，夫に判断能力があり，意思表示が可能だとして，夫が離婚に反対した場合，最終的には離婚訴訟で争うことになるのですが，その際，夫が離婚によってどうなってしまうのかが問題になるように思います。要介護状態の夫を打ち棄てて離婚することに問題がないか，ということです。
離婚後，夫はどのように生活していくことになるのでしょうか。例えばどこか施設に入るなど，あなたの介護を要せず暮らしていくようにできますか。

現時点で離婚が難しい場合，とにかく別居する，という選択もあると思いますが，そうなったときに，夫がどのように生活していくのかというのがやはり問題になるように思います。

養育費をもらう前提として，あなたが離婚後，子を養育する立場＝親権者，監護権者となる必要があります。
夫が親権を争ってきた場合，絶対にあなたが親権者となれるかというと，そうではないだろうと思います。
親権者を裁判所が指定する場合，これまでの主たる監護者はどちらか，主たる監護者による監護は適切なものであったか，現在の監護状況はどのようなものか，子の年齢，監護補助者の存在といった点から判断することになります。
離婚に際して母親が親権者となるケースが多いのは，一般に，母親の方が子と接する時間が多く，かつ，実際に面倒を見ていることも多いからです。母親であれば当然親権者となるわけではありません。
もちろん，お子さんが小さい場合，事実上，母親であること自体が有利に働くこともあるのですが，あなたの相談内容からすると，実際の監護の内容，状況等は不明ですが，おそらく夫の方がお子さんと接する時間が長いであろうことから，あなたが母親である，というだけで親権者監護権者となれるかというと疑問に思いました。それなりに対策しないと，確実に親権者，監護権者になるとはいえないだろうということです。

次に，あなたが親権者，監護権者になったとして，夫から養育費をとれるか，という点ですが，夫が無職無収入（試算無し）の状態が続けば，事実上，養育費の回収はできないということになります。お金がないところからは取れないからです。

養育費を支払わせたい，ということが目的であるならば，まずは，夫に社会復帰をしてもらう必要があります。

以上のとおり，夫が争ってきた場合に，そもそもあなたが親権者，監護権者となれるのかという点で疑問があるので，仮に，あなたが離婚を決意するのであれば，お子さんの親権，監護権を獲得するために，十分な準備，証拠収集が必要かと思います。

不貞によりお子さんへの悪影響があったかどうかによりますが，不貞をしたからといって親権者になれないわけではありません。
不貞の頻度，相手と会っていた時間帯によりお子さんの監護に支障が生じていたり，お子さんが不貞相手とあなたとの逢瀬を見てしまったりしたら，親権の判断においてマイナスに働きますが，不貞はしていたものの，お子さんに知られることもなく，監護にも支障がなく，お子さんにとって「よいお母さん」であれば，不貞の事実は大きく影響しないと考えます。

親権より問題なのは，離婚できるかどうかではないかと思います。
夫は，あなたの不貞発覚後もあなたに性交渉を求めているところからしても，あなたに執着しているように思えます。そうだとすると，離婚には応じないのではないでしょうか。その場合，有責配偶者からの離婚請求として，通常の離婚請求より，認められるための条件が重くなります。

それでも離婚したいのであれば，まずはお子さんを連れて別居する，具体的には，ご実家に転居することから始めたらいかがでしょうか。

夫が離婚を拒否しているとなると，少なくともしばらくの間，離婚は難しいでしょうね。

別居については，物理的に，娘さんを連れて別居してしまえば可能です。
夫が，娘さんを取り返そうとして，「子の監護者の指定，引渡し」を求めても，家裁は監護権者をあなたと指定する可能性が高いです。不貞と，子の監護者に父母いずれが適切かの判断は，直接関連していないからです。あなたがこれまで主に娘さんの世話をしてきて，特段その世話に問題がないのであれば，家裁はあなたを監護権者とするでしょう。
そうであれば，娘さんを夫にとられる心配がないので，別居は可能ではないかということです。

夫が他に取る手段といえば，あまり聞かないですが，「同居を求める審判」を申し立てることは考えられるかもしれません。離婚していない以上，夫婦には同居の義務があるからです。
仮に，そのような申立てがあった場合，不貞をした挙句出ていった，というのではさすがに印象がよくないので，「価値観の違い」が大きく一緒に生活することが困難だったというのを，なるべく証拠を付して，主張していく方がいいでしょうね。同居を求める審判は，私は体験したことがないので，裁判所がどう扱うのかは何とも言えませんが，夫婦の同居義務はともかくとして，同居したくないと言っている妻を無理やり夫と住めということは言い難いように思います。

最後に，離婚請求についてですが，ネットで調べればすぐにわかると思いますが，有責配偶者からの離婚請求の要件が３つあります。一つ言えることは，別居が前提ということです。
親権については，あなたが娘さんを連れて別居しているのであれば，問題なく親権も取れるでしょう。

１　離婚
　　離婚をするには，⑴離婚届を提出する協議離婚，と⑵調停離婚があります。
　　お二人の間で，離婚すること及び離婚の条件につき合意ができるなら，協議離婚でよいですが，それらにつき合意ができないのであれば，離婚調停を申し立て，家庭裁判所で調停手続を進めることになります。
２　慰藉料
　　離婚の主たる原因が夫の不貞なのだとしたら，不貞発覚から３年以内に請求すべきです。
　　ただ，十分な証拠の有無により，最終的に請求が認められるか否かが異なります。
３　自宅の住宅ローン
　　ローン債務者が負担することになります。夫のみがローン債務者で，あなたとお子さんが自宅の居住を継続する場合，夫の未払いのリスクがあります。そのため，自宅については，十分に協議すべきです。
４　親権
　　争いとなった場合，娘さんが出生した後，どちらが主に面倒を見てきたか，娘さんの発育や世話の仕方に問題がなかったか，子どもの年齢といった観点から判断されることになります。

あなたが知りたいことに回答できているか分かりませんが，ご質問に対し上記のとおり回答します。

１　財産分与
　　夫名義のプラスの資産（預金，不動産，車など）と妻名義のプラスの資産を合算し，そこから，夫名義のマイナスの資産（ローン，家族のためにした借金等）と妻名義のマイナスの資産を引いて，トータルでプラスになれば，財産分与を行い，マイナスであれば，分与はしません。お互いの資産はお互いのままです。トータルがマイナスであっても借金を二人で分け合うことはしないです。
２　養育費
　　当事者間で合意ができない場合は，夫の収入とあなたの収入から適正な養育費額を決めるのが一般的です。
　　お金にだらしない夫に口頭で約束してもらっても不安でしょうから，公正証書にするか，または，家庭裁判所で離婚調停を申し立て，調停条項で養育費額を決める方がよいでしょう。

慰謝料の金額が１００万円が相当か否かについてですが，お話の内容からすると，「離婚せざるを得なくなったこと」に対する慰謝料，ということですよね。
一般的にそれが妥当かどうかより，あなたのお気持ちが１００万円で納得できるかどうかで考えた方がいいのではないでしょうか。

そもそも，あなたに離婚する意思がないなら離婚に応じる必要はないのではないでしょうか。
別居が続けば，いずれは離婚せざるを得なくなるのはたしかですが，今すぐ応じる必要はないでしょう。
犬，猫の飼育代が不安であれば，今すぐ離婚するよりも，夫に生活費(婚姻費用)を求め，離婚しなければならなくなるまでの間，しっかりお金を支払ってもらったらいかがでしょうか。もちろん，離婚するまでの間になります。
他方で，離婚した後犬猫の「養育費」をもらうことはできません。人間の子ではないからです。
養育費ではなく，合意で，今後かかるであろう飼育代の半分を支払ってもらうということは考えられますが，夫が応じなければ，そのような合意はできません。人間の子と違って，養育費の支払を強制することもできません。

ところで，なぜ，夫が請求に離婚を求めてくるのか，思い当たることはありますか？
例えば，夫に疑わしい女性関係はありますか(夫に女性関係について直接尋ねるべきではないので，ご注意ください)。
あなたの話をうかがう限りだと，何故，夫が突然離婚を求めるようになったのか，有無を言わさず実家に帰ったのかまるでわからないため，女性関係かなと思いました。