Могу высказать предположение, что программа криво работает, и после закрытия остается висеть в памяти, загружая процессор, или не сама программа, а скажем драйвер. Что бы это проверить нажмите Ctrl+Shift+Esc откроется окно диспетчера задач Windows (конечно если у вас XP или 2000). Там на закладке "Быстродействие" Вы можете посмотреть загруженность процессора. Если она ровна 100% или близка к этому значению то скорей всего я прав и программа остается в памяти или оставляет драйвер.
Как сделать, что бы этого не происходило не смогу сказать так, как слишком много факторов на это влияет (самое простое обновить программу или переставить Windows)
А, что бы не перегружать постоянно компьютер надо после закрытия программы вызвать диспетчер задач и в нем на закладке "Процессы" найти нужный процесс (обычно это 'имя_запускаемого_файла . exe') и его завершить.