Как найти утечку тепла?

Странный вопрос. Вы ж уже нашли место где сквозит. Чего вы еще хотите? Герметизируйте это место. Снимите подоконник и заделайте все щели.