Во первых, семье или человеку в данном контесте значения не имеет. Они "оба" доверили тебе свою судьбу.
А во-вторых, нужно добавить еще много-много разных "если", для того, чтобы эти самые похождения не классифицировались как измена.
Как я уже говорил, если партнер по браку знает или, хотя бы догадывается о них - ни о какой "безобидности" речи идти не может. Более того, часто достаточно того, чтобы об этих похождениях знал кто-то третий, абсолютно левый человек со стороны, чтобы твоей половине потом пришлось ломать голову над его многозначительными взглядами. И это тоже вред.
Я уже молчу про то, занимаясь любовью на стороне невероятно сложно избежать того, чтобы часть твоего внимания также не ушла на сторону. Поэтому, повторюсь, речь тут может идти только об очень и очень отдельных частных случаях.

Все это по больщому счету демагогия.

Но прикольно...