親権が父での離婚が不本意なら、この回答を見てすぐに役所に離婚届の不受理届を出してください(具体的なやり方が不明なら最寄りの役所で良いので電話して今すぐに届出の出し方を聞いてください。)。夫が離婚届を未提出なら、不受理届を出すことで夫を親権者とする離婚の成立をひとまず防止できますので。
万一、提出済みであった場合、後からの親権者変更は基本的に難しいと思ってください。合意により親権を父としている以上、後からの変更は、父に虐待とか、よほどの不適格な事情がないと原則は親権者変更は通りません。
繰り返しになりますが、とにかく、まずは離婚届が出されているかの勝負になりますので、この回答を見たら、上記のとおりすぐに役所に電話した上で不受理届提出の動きをしてください。

親権は成年に達するまでの子に対する概念ですので、お子様二人はすでに親権に服することなく、自身で居所等の判断ができることになります。相談者と一緒に暮らすのかどうかは、お子様方それぞの判断で行う、というのが理屈になります。
婚姻時、相談者が姓を変えている場合、現在の戸籍の筆頭者は夫で、離婚する場合、相談者は新たな戸籍を作るか、元の戸籍に戻ることになります。お子様二人は、そのまま夫筆頭者の戸籍に残ることになります。
子が相談者と同じ戸籍に記載されるためには、子が家庭裁判所に氏の変更許可の審判を申し立て、相談者と同じ氏（姓）になる必要があります。成年しているので、これはお子様方ご自身の判断で、お子様方それぞれが自分で申し立て手続きも行うことになります。
なお、同じ戸籍にのるかということは親子関係そのものとは一切関係がありませんので、別の姓のまま相談者と同居しようが、それはお子様方の自由となります。日本社会では、未だに戸籍の記載や氏（姓）に特別な価値を見いだす人が多くあるように思いますが、戸籍は実際には行政が管理する住民の帳簿のようなもので、戦前と異なり、「同じ」戸籍ということに法的な意味や価値はなにもありません。
「跡取り」のような仕組みも制度も存在していません。
まとめると、夫の希望はともかく、相談者の経済力といった事情とは無関係に、成年している以上お子様自身が、居所も、戸籍も選択可能ですし、お子様本人が決めるべき、ということです（未成年者の場合は親権者が子本人に代わり決められる）。
ちなみに、戸籍が異なろうと親子関係があることに変わりはありませんので、夫が子に何かを継がせたいなら、それもまた戸籍とは無関係にやればよいだけということになります。

本当に弁護士が作成に関与したのでしょうか、ちょっと疑わしいですね。
署名してしまった弱みはあるかもしれませんが、面会交流は夫のためではなく子のために行うものです。相手の一方的な都合に合わせる必要はありません。元々無理な要求の書面なら無効にできる可能性もあります。
いずれにせよ、その書面だけを根拠に夫の要望に応じるべきではありません。当事者同士での協議が難しそうなら家庭裁判所面会交流調停を行胃、その中であるべき面会交流の実施方法について協議するのも一考です。
良くも悪くも裁判所は一方の都合だけに従った一方的な面会交流の実施には共感しないでしょう。

ごく一般論として、不貞と親権者の判断とは別といわれます（不貞にかまけて子どもを配偶者に任せていたとか、育児放棄していたといったようなケースは別）。
相談者の場合は、これまでの育児を主として担ってきたということのようですから、むしろ、離婚後の住居や生活設計、子育ての環境の構築や今後の計画といったところを隙無くしっかりと準備できれば親権を取れると思います。
しかし、そういった見立てや計画を立てずに突発的に離婚や別居という動きをしてしまうと揚げ足を取られる可能性があるので慎重に動く必要はあります。

まずは、具体的に妻がどのような生活をしているかを客観的な記録に残すことかとが重要です。
その上で、主にお子さんたちの世話や関係機関との連絡などを相談者が行っているとすれば、相談者が監護者や親権者と指定される可能性は高まるでしょう。
さらに、妻と協議の見込みがない・協議がうまくいかない、ということであれば、お子さんたちを連れて別居するなど妻から離れる選択肢もとらざるを得ないかもしれません。
そのあたり、具体的にどう進めていくのがよいかについては、お近くの弁護士に直接相談されるのがよいかと思います。

父か母かでは親権は決まるわけではありませんが、これまでのお子さんの監護を担ってきたのが相談者なのであれば、その点では相談者が有利です。
より盤石にするには、別居や離婚後のお子さんの監護をどのようにするのかをできうる限り具体的に計画、実行していくことです。離婚するとなれば、当然別居することになりますから、別居後の住居や仕事、監護補助者の有無等について検討しておく必要があります。

＞子どもを私に預けてアパートで寝泊まりしています
これは現在の話しではないのですか。ご相談者のもとにお子さんがいるなら引渡請求は不要です。早急に十分な監護態勢を準備し、妻からの監護者指定及び子の引渡し請求に備えるべきです。
もし今は妻の元にいるということなら、逆に相談者の側から監護者指定及び子の引渡しの手続を取る必要があるかと思います。その場合、妻の従前の監護がどのようなものだったのか、時系列でまとめて直接弁護士に相談されることも検討されるべきかと思います。