Oui, en le notifiant par écrit à mon employeur. Attention néanmoins aux conséquences pour le collaborateur élu par ses collègues qui ne sera pas en mesure de les représenter.