不貞とは要は肉体関係をもつこと、広くとっても肉体関係に類するような行為を指しますから、単に飲食のパーティをする限りでそれを不貞ということはありません。ただ、あまりに親密な様子が見て取れたり宿泊が伴うなどすると、外部からみて不貞を疑われるということはありえます。

ごく一般論として、不貞と親権者の判断とは別といわれます（不貞にかまけて子どもを配偶者に任せていたとか、育児放棄していたといったようなケースは別）。
相談者の場合は、これまでの育児を主として担ってきたということのようですから、むしろ、離婚後の住居や生活設計、子育ての環境の構築や今後の計画といったところを隙無くしっかりと準備できれば親権を取れると思います。
しかし、そういった見立てや計画を立てずに突発的に離婚や別居という動きをしてしまうと揚げ足を取られる可能性があるので慎重に動く必要はあります。

＞子どもを私に預けてアパートで寝泊まりしています
これは現在の話しではないのですか。ご相談者のもとにお子さんがいるなら引渡請求は不要です。早急に十分な監護態勢を準備し、妻からの監護者指定及び子の引渡し請求に備えるべきです。
もし今は妻の元にいるということなら、逆に相談者の側から監護者指定及び子の引渡しの手続を取る必要があるかと思います。その場合、妻の従前の監護がどのようなものだったのか、時系列でまとめて直接弁護士に相談されることも検討されるべきかと思います。

モラハラがどのような内容なのか次第でもありますので、イコールあなたに有利になるかは何ともいえません。もちろん、夫が欲しいと言ったからといって、それだけで夫の親権が認められるわけでもありません。いずれにせよ、家庭内のことについて、後から証拠を出すことは難しいので証拠という意味だけでなく備忘としてもメモや日記は残しておいた方がよろしいでしょう。

親権や監護権は、それまでどちらが中心に子育てをしてきたのか、その内容、別居後や離婚後にどうやって監護していくのか、手伝ってくれる人の有無（監護補助者）等など、あらゆる事情から総合考慮されます。
出産後、あなたが中心に子育てをしてきた（子どもと多く接してきた）のであれば、あなたが有利と考えるのが一般的でしょう。

本当に弁護士が作成に関与したのでしょうか、ちょっと疑わしいですね。
署名してしまった弱みはあるかもしれませんが、面会交流は夫のためではなく子のために行うものです。相手の一方的な都合に合わせる必要はありません。元々無理な要求の書面なら無効にできる可能性もあります。
いずれにせよ、その書面だけを根拠に夫の要望に応じるべきではありません。当事者同士での協議が難しそうなら家庭裁判所面会交流調停を行胃、その中であるべき面会交流の実施方法について協議するのも一考です。
良くも悪くも裁判所は一方の都合だけに従った一方的な面会交流の実施には共感しないでしょう。

夫婦の協議で親権を分けることは可能といえば可能ですが、相談者が望まないなら裁判所の手続で決めることになり、その場合は通常親権を分けることはしません。
お子さんのうち１５歳以上の子がいて、その子が夫と暮らすことを強く希望した場合や、元々別居しており夫婦それぞれが子を監護していた場合等には、分離されることがありえます。
協議離婚で夫が５人とも相談者が親権者となることに同意してくれれば、もちろん可能です。争いがある場合、やはり裁判所の手続内で決めていくことになります。その場合、どちらが親権者となるかは、種々の事情の総合考慮となります。例をあげると、従前主として監護していたのはどちらか、その監護内容はどのようなものだったか、別居・離婚後の監護はどのようなものになるのか・その計画や予定、年齢によっては子自身の希望、等です。経済力はあまり関係ありません。他方からの養育費や公的扶助で賄えるからです。

まだ面会交流の内容について合意ができているわけではないようですから、拒絶が直ちに問題になるとか違法になるという評価まではされないでしょう。現実的な対応としては、面会交流の回数や方法などのあなたの希望を夫に伝えてみてはいかがでしょうか。あなたの要望のとおりであれば面会交流を実施しても良いのであれば、提案しているわけですから不当に拒絶していることにはなりませんし、その段階ではいわば協議中の段階ということです。
それでも合意に至らなければ家庭裁判所で面会交流調停の中で話し合うことも検討することになります（多くの場合は面会したい側、今回だと夫が申し立ててくるものではありますが）。
当事者同士での合意や調停・審判で決まったにもかかわらず不当に拒絶を伝えつづけた場合は慰謝料請求されるおそれがあります。
また、今後親権争いになった際に面会交流に寛容かという点はひとつの考慮要素にはなります。この点も拒絶したから直ちに不利になるというものではありませんし、実施を前提に協議している分にはあなたの提案がよほど不合理でない限り問題にはならないでしょう。あくまで一要素として考慮される可能性はある、というところです。