בלי להכנס לסינטקס אותו אני לא מכיר
אני יכול רק להמליץ לך לשים את קטע הקוד שמוציא Exception בתוך בלוק של try וכאשר תתפוס את הException, תוכל לקבוע האם באמת מדובר בבעיה או לא. לפי תיעוד של מיקרוסופט, ישנה מתודה בשם Stop של TcpListener. אני מניח שתצטרך להשתמש בה בין היתר.