I wouldn't say it's wrong, but it sounds strange to me. I would rather say "Δεν μπορώ να σε προσθέσω στην ομάδα με το ζόρι / χωρίς να τους ρωτήσω", or "Δεν θα ήταν σωστό να αναγκάσω την ομάδα να σε δεχτεί". Let's see what others think.
(Btw, check the spelling of "ανθρώπους").