一度、成立した合意を破棄することは容易ではありませんが、これを取消・無効とする法理もあります。
これについては、合意書を作成した際の具体的な事情が重要になってきます。
このあたりは、実際にお話をうかがってみないと何とも言えないところですので、弁護士への直接相談をオススメします。

お困りのことと存じます。

一般的には、不貞相手から慰謝料をもらっているからといって、離婚が出来なくなる、離婚慰謝料が全くもらえなくなるわけではありません。
ご安心ください。
ただ、不貞相手からもらった慰謝料の分、夫からもらう慰謝料が減額されるということはあり得ます。

この点については個別の事情によってくるところも多く、また、離婚となると決める事項も多くなってきます。
そのため、離婚問題に精通した弁護士に相談されることをオススメします。

不貞の証拠収集方法としてメジャーなものは、ご認識のとおり、探偵業者の利用になります。
ただ、探偵業者に費やした費用を慰謝料に上乗せ出来るわけではないので、注意が必要です。
一般に慰謝料は(獲得できたとしても)100〜200の間に収まることが多いので、費用を抑える必要があります。

そのほか、配偶者と不貞相手とのLINEのやり取りであるとか、ラブホテル・不貞相手宅に停められた車(ナンバー)の写真等から、不貞の事実を立証することも多いです。
これらの証拠は、探偵業者を利用することなく、ご自身で収集される方も多い印象です。

GPSの位置情報も証拠となることが多いですが、お持ちのものについて、職場とラブホテルが近接しているというのは、やや気がかりです。
また、それだけですと、不貞相手を特定することが出来ないので、同人への責任追及が出来ません。

ところで、法的権利としては、相手方本人に対する金銭請求(慰謝料請求)が基本となります。
残念ながら、必ずしも不貞に社会的制裁が課されるとは限りません。

また、必ずしも不貞を行った配偶者が親権を剥奪されるというわけでもありません。

西村法律事務所と申します。
一般的に不貞の慰謝料は離婚をするかどうかで大きく異なると言われています。
離婚をする場合→１５０万円〜２００万円
離婚をしない場合→１００万円前後

もっとも、以上については目安であり、個別の事情や交渉により実際に得られる金額はこれと異なることもよくあります。

弁護士費用については自由化されており、事務所によって異なって参ります。
弊所でも直接腰を据えてお話を聞いた上でご案内しておりますが、以下、交渉の場合の目安の金額です。
着手金：２２万円
報酬金：取れた金額の１７．６％

なお、離婚について、不貞をした配偶者は「有責配偶者」と言われ、基本的には離婚の請求が認められないこととされています。
離婚をするかしないかの主導権は相談者様にあることとなろうと思われます。

まずは当面の生活費を確保することを考えることがよろしいかと存じます。
現時点で夫側からの生活費の支払が保証されていれば結構ですが、
この点に不安があるようであれば、婚姻費用の分担調停の申立を検討されるのがよろしいでしょう。

生活の安定を少しでも図った上で、今後、離婚するかを検討されるのが良いです。
離婚にあたっての検討事項は多岐に渡りますので、経験のある弁護士への直接相談をオススメします。

お困りのことと存じます。
「謝罪」ということに関して言えば、法的にそれを実現することは困難なので、相手方が任意に謝罪を申し出ているようであれば、受けることも価値があることです。
今のところ、相手方も一応の反省はしているのではないかと思います。

ただ、あまり話し合いに時間を掛け過ぎてしまうと、相手方の反省も冷めてしまい、本題の賠償金の話が進まなくなってしまうことも懸念されます。

面談に当たっては、先んじて具体的な賠償額を提示できるように、予め弁護士に相談をしておくことも有用と存じます。
また、場合によっては、予め示談書の書式を用意してから、面談に臨むこともあり得ます。
弊所では、面談相談の上、示談書案の作成のご依頼も承っております。

不倫の慰謝料については、離婚をする場合としない場合で差がつくことが多いです。
一般的には
離婚をしない場合は１００万円前後
離婚をする場合は１５０万円〜２００万円程度
と言われますが、個別の事案によっても異なります。

ダブル不倫の場合でも金額に大きく差は生じませんが、
ご懸念のとおり、相手方の夫に知れてしまうと、こちらの夫が訴えられて、家計としてはプラスマイナス0ということもあります。
ただ、これは法的な相殺とは異なり、あくまで結果的にそうなることもあるというだけです。
最悪のパターンとして、相手方夫婦が離婚して相手方妻が無資力であると、こちらだけが慰謝料を取り逃してしまうこともあり得ます。
家計で見ればマイナスということになります。

以上より、ダブル不倫の場合の交渉・法的措置は慎重に行う必要がありますので、弁護士へのご相談・ご依頼をオススメします。