Как сделать, чтобы видео открывалось в отдельном окне поверх окна браузера?

Зависит от браузера, который ты используешь.

Если Google Chrome, то есть специальное расширение для этого: https://chrome.googl­e.com/webstore/detail­/floating-for-youtube­-exte/egncdnniomonjgp­jbapalkckojhkfddk?hl=­ru

А если FireFox, то можно использовать это: https://addons.mozil­la.org/en-US/firefox/­addon/youtube-popout-­player/

Ну а так, могу ещё сказать, что в Yandex.Browser данная функция предустановлена по умолчанию и если не охота завариваться с установкой расширений, то вполне себе можно использовать и его.