Pues o borrando su número o "Ajustes > Ajustes Chat > Bloqueado > +" eso es para bloquearlo, le das al + se te abre la lista, seleccionas al contacto en cuestión y Aceptar.
Eso es lo único que se puede hacer, porque no se puede borrar así de la lista pero no de la Agenda de Contactos.