離婚協議書の内容自体について，元配偶者との間で合意していたのであれば，離婚協議書にサインがないことを理由に合意が無効になるわけではありません。
但し，元配偶者が，「合意した覚えはない。」と言い出した場合，離婚協議書にサインがないので，合意の存在を証明できない，合意したという証拠がない，ということです。

ではどうすればよいかというと，家庭裁判所に，「離婚後の紛争調整調停」を申し立て，元配偶者と合意した内容について，もう一度元配偶者と話し合い，家庭裁判所に書面を作成してもらう，というのがよいと思います。

もちろん，元配偶者が応じないということは考えられますが，あなたが直接元配偶者に対して，離婚協議書へのサインを求めるよりは，家庭裁判所を通じて話し合いを求めた方がうまくいく可能性が高まるのではないでしょうか。

奥様が離婚を同意しない理由は何でしょうか。条件次第では離婚に応じるのかどうかによっても交渉方法が異なるように思います。
ただ，なんにしても，別居を先行しないと奥様と離婚の話をするのは困難なように見受けられます。

気になる点ですが，別居後，お子さんは，どちらが監護されるのでしょうか。
「適切な養育費で合意し」との記載があることからすると，奥様がお子さんを監護して，あなただけが別居するということでしょうか。率直に申し上げて，奥様にお子さんたちを任せるのは危険なように思います。
仮に，あなたがお子さんを連れて別居に踏み切るということであれば，別居後に奥さんから子の引渡しを求められる可能性を考慮し，別居前に，あらかじめ然るべき準備をしておくべきだと思います。準備，というのは，奥様がお子さんに対して「心理的虐待」などをしている証拠の収集，ということです。
また，あなたがお子さんを連れて別居をするご意向があるのであれば，具体的に，どのようにお子さんたちを監護していくのか，予定を立てておくべきでしょう。

「夫婦の貯金１４０万円」をあなたがもらい，車を夫に渡す，というのは，「財産分与」の問題です。
財産分与は，婚姻後，夫婦が経済的に協力して取得した財産を離婚に際して清算する制度なので，夫に渡す車の価値が１４０万円（時価。ローンがないこと前提）以上であれば，あなたが１４０万円の預金を取得しても何ら問題はありません。
他方，車にあまり価値がない場合は，下記の慰謝料の点を強く主張し，財産分与＋慰謝料として預金プラスαをもらうことになります。

慰謝料については，「決定的な証拠はない」とのことですが，相手の女性が誓約書をあなたに送付し，慰謝料２０万円を振込んだということですので，その誓約書に，あなたの夫とその女性が不貞行為を行ったことと認め，慰謝料を支払う旨の記載があれば，夫に対する「証拠」となります。
不貞行為は，配偶者に対する他方配偶者（本件では，夫）と不貞相手との共同不法行為なので，あなたは，相手の女性にも夫にも慰謝料を請求することは可能です。ただし，夫と相手女性の責任は，「連帯」しているので，女性から十分な額の慰謝料をとってしまった後に，夫から重ねて慰謝料をとることはできません。
もっとも，今回，あなたは，女性から２０万円しか得ていないということなので，夫に対し，さらに慰謝料請求をすることは可能です。
慰謝料の相場としては，２００万円くらいと思ってください。あなたは，女性から２０万円を得ているので，夫には１８０万円程度を請求することは可能ということです。

ご自身で解決するのが難しければ，弁護士に相談，依頼するのも一つの考えです。

まず，奥様に渡している「カード」を使用できないように，金融機関又はカード会社に紛失の届出をすべきではないかと思います。
そのうえで，適正な金額を「婚姻費用」＝妻子の生活費として奥様に渡し，離婚を求めていく方がいいと思います。
婚姻費用算定にあたっては，あなたが妻子が居住する自宅のローンを支払っている場合は，その点も考慮に入れる必要があります。

とにかく，このままでは，「収入以上に」支出が多い状態が続き，いずれあなたが支払不能に陥ることになるでしょう。
早く手を打った方がよいと思います。

ご自宅については，離婚を求めつつ，退去を求めることになるでしょう。

離婚できるのであれば，離婚を先行した方がいいです。
生活保護を受給するには，役所の生活支援課に，生活保護の「申請」に行くことになりますが，その際に，資産がないことを示す必要があるので，（離婚後であれば）あなた名義の預金通帳を全て持参すべきです。また，糖尿病で働くのが困難なことを示すために診断書を取得した方がいいと思います。

夫が有責配偶者といえるか，という点については，別居の経緯や夫が離婚を希望する理由によるのではないかと思います。
また，DVはどこまで証拠があるのでしょうか。生活費はもらっていますか。
身体の関係を伴わない「LINEだけの浮気」だけで有責配偶者というのは難しいです。

何より，夫が有責配偶者といえたとしても，それがあなたの理想の解決である「離婚せず一緒に住んで子育てがしたい」に結びつかないように思います。離婚しないとしても，すでに夫が別居を強行しており，夫の父母も同居再開を促してはいないからです。
お気持ちを害するかもしれませんが，現実的な対応としては，離婚をせず，夫に婚姻費用（要は生活費）を請求するのがよいように思います。

婚姻期間はどれくらいでしたか？
一般的に，別居を３年以上継続すれば，婚姻関係破綻が認定されやすくなり，仮に，離婚裁判となっても，離婚請求が認められやすくなると言われております。

もっとも，婚姻期間が短い場合は，婚姻関係破綻の認定までに３年を要しないとも考えられております。

要は，あなたたちの婚姻期間が短い場合は，すでに１年別居しているとのことですので，埒が明かない夫との話を続けるより，家庭裁判所に離婚調停を申し立て，調停が不成立となるなら裁判にした方がいいのではないか，ということです。

夫がいう「清算」については，その必要があるのかもよく分かりませんし，清算をしても離婚に応じてくれる保証がないようなので，気にしなくていいと思います。