Лишение родительских прав

Мы с бывшим мужем не живем больше 3 лет,кроме алиментов ничем не помогает,даже здоровьем не интересуется.Сейчас я вышла замуж второй раз и бывший муж узнав об этом настаивает,чтобы я отказалась от алиментов.Он обратился в органы опеки сказав,что я не даю ему видиться с сыном ,мы с органами поговорили и решили,что он будет забирать ребенка из дет.сада 2 раза в неделю,но он не разу его не забрал.Скажите пожалуйста,могу ли я на основании этого лишить его родительских прав?