不貞とは要は肉体関係をもつこと、広くとっても肉体関係に類するような行為を指しますから、単に飲食のパーティをする限りでそれを不貞ということはありません。ただ、あまりに親密な様子が見て取れたり宿泊が伴うなどすると、外部からみて不貞を疑われるということはありえます。

現行法上、離婚後の親権者は必ず父母のどちらかになります。あなたが親権者となれば、むしろ当然にあなたと息子さんが一緒に暮らすことになります。
離婚時に夫が同意すればあなたが親権者になれますし、もし同意なき場合は調停や訴訟等で決めていくことになりますが、高校生ということで息子さん本人の意思は必ず確認されますし、相当程度考慮されます。

まだ面会交流の内容について合意ができているわけではないようですから、拒絶が直ちに問題になるとか違法になるという評価まではされないでしょう。現実的な対応としては、面会交流の回数や方法などのあなたの希望を夫に伝えてみてはいかがでしょうか。あなたの要望のとおりであれば面会交流を実施しても良いのであれば、提案しているわけですから不当に拒絶していることにはなりませんし、その段階ではいわば協議中の段階ということです。
それでも合意に至らなければ家庭裁判所で面会交流調停の中で話し合うことも検討することになります（多くの場合は面会したい側、今回だと夫が申し立ててくるものではありますが）。
当事者同士での合意や調停・審判で決まったにもかかわらず不当に拒絶を伝えつづけた場合は慰謝料請求されるおそれがあります。
また、今後親権争いになった際に面会交流に寛容かという点はひとつの考慮要素にはなります。この点も拒絶したから直ちに不利になるというものではありませんし、実施を前提に協議している分にはあなたの提案がよほど不合理でない限り問題にはならないでしょう。あくまで一要素として考慮される可能性はある、というところです。

本当に弁護士が作成に関与したのでしょうか、ちょっと疑わしいですね。
署名してしまった弱みはあるかもしれませんが、面会交流は夫のためではなく子のために行うものです。相手の一方的な都合に合わせる必要はありません。元々無理な要求の書面なら無効にできる可能性もあります。
いずれにせよ、その書面だけを根拠に夫の要望に応じるべきではありません。当事者同士での協議が難しそうなら家庭裁判所面会交流調停を行胃、その中であるべき面会交流の実施方法について協議するのも一考です。
良くも悪くも裁判所は一方の都合だけに従った一方的な面会交流の実施には共感しないでしょう。

親権は離婚時に決めるものなので、離婚調停や離婚訴訟の中できめていくことになります。ただし、相手方が監護する状況が継続しその監護に大きな問題がないとなれば親権判断の場面でそのことが相手に有利に働きえますので、親権を希望するなら離婚前に監護者指定及び子の引渡しの審判（あわせて審判前の保全処分の申立）を行い、離婚前に子の引渡しを実現しておくべきです。監護者や親権を得られるかは、お子さんの年齢、別居前の監護を主として行っていたのは誰か、具体的な生活状況の内容、別居後及び今後の監護の予定（監護補助者の有無等）によります。

父か母かでは親権は決まるわけではありませんが、これまでのお子さんの監護を担ってきたのが相談者なのであれば、その点では相談者が有利です。
より盤石にするには、別居や離婚後のお子さんの監護をどのようにするのかをできうる限り具体的に計画、実行していくことです。離婚するとなれば、当然別居することになりますから、別居後の住居や仕事、監護補助者の有無等について検討しておく必要があります。

夫婦の協議で親権を分けることは可能といえば可能ですが、相談者が望まないなら裁判所の手続で決めることになり、その場合は通常親権を分けることはしません。
お子さんのうち１５歳以上の子がいて、その子が夫と暮らすことを強く希望した場合や、元々別居しており夫婦それぞれが子を監護していた場合等には、分離されることがありえます。
協議離婚で夫が５人とも相談者が親権者となることに同意してくれれば、もちろん可能です。争いがある場合、やはり裁判所の手続内で決めていくことになります。その場合、どちらが親権者となるかは、種々の事情の総合考慮となります。例をあげると、従前主として監護していたのはどちらか、その監護内容はどのようなものだったか、別居・離婚後の監護はどのようなものになるのか・その計画や予定、年齢によっては子自身の希望、等です。経済力はあまり関係ありません。他方からの養育費や公的扶助で賄えるからです。