Как проверить, существует ли выпуклый четырёхугольник?

По определению:

Четырехугольник называется выпуклым, если он расположен в одной полуплоскости относительно прямой, содержащей любую его сторону

Следовательно, вам достаточно приложить линейку или провести (наложить) прямую через отрезок каждой(!) стороны, чтобы понять, является ли четырехугольник выпуклым, т.е не рассекает ли эта прямая прямоугольник на части.

Это единственное определение и условие.

Про углы можно сказать, что любой внутренний угол должен быть меньше 180°

Из других свойств: диагонали (от противоположных вершин) у выпуклого прямоугольника пересекаются.

Наконец, выпуклый четырехугольник всегда можно вписать в окружность, проходящую через все вершины.