Вы ищете выпуклый корпус точек. Есть много жизнеспособных алгоритмов для поиска корпуса; видеть Википедия, Например.
Найдите, какие точки являются вершинами многоугольника
Вопрос
У меня есть точки многоугольника, некоторые точки находятся внутри многоугольника, а некоторые точки являются вершинами этого многоугольника. Как я могу узнать, сколько вершин у этого многоугольника и какие точки являются вершинами?
Решение
Не связан с StackOverflow