Можно загубить это примыкание?

да, примыкание, потому что зависимое слово "загубить" стоит в начальной форме и не может грамматически присоединиться к главному слову. Они соединены только по смыслу, а это и есть примыкание