Estás buscando el casco convexo de los puntos. Hay muchos algoritmos viables para encontrar el casco; ver Wikipedia, por ejemplo.
Encuentra qué puntos son vértices de polígono
Pregunta
Tengo puntos de polígono, algunos de los puntos están dentro del polígono y algunos puntos son los vértices de este polígono. ¿Cómo puedo saber cuántos vértices tiene este polígono y qué puntos son los vértices?
Solución
Licenciado bajo: CC-BY-SA con atribución
No afiliado a StackOverflow