¿Cuál es la definición informática de entropía?
https://stackoverflow.com/questions/510412
-
21-08-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPregunta
Recientemente comencé un curso sobre compresión de datos en mi universidad.Sin embargo, encuentro bastante ambiguo el uso del término "entropía" tal como se aplica a la informática.Por lo que puedo decir, se traduce aproximadamente como "aleatoriedad" de un sistema o estructura.
¿Cuál es la definición correcta de "entropía" en informática?
Solución
La entropía puede significar cosas diferentes:
En la computación, la entropía es el aleatoriedad recogida por un operativo sistema o aplicación para su uso en La criptografía u otros usos que requerir datos aleatorios. esta aleatoriedad a menudo se obtiene de hardware fuentes, ya sea los preexistentes tales como los movimientos del ratón o especialmente generadores proporcionado aleatoriedad.
En teoría de la información, la entropía es una medida de la incertidumbre asociada con una variable aleatoria. El término por sí mismo en este contexto se refiere generalmente a la entropía de Shannon, que cuantifica, en el sentido de una valor esperado, la información contenida en un mensaje, por lo general en unidades tales como bits. De manera equivalente, la La entropía de Shannon es una medida de la contenido medio de información es uno falta cuando uno no sabe el valor de la variable aleatoria
entropía en la compresión de datos
La entropía en la compresión de datos puede denotar la aleatoriedad de los datos que usted está inputing al algoritmo de compresión. Cuanto más la entropía, cuanto menor sea la relación de compresión. Eso significa que el más aleatorio el texto es, el menor puede comprimirlo.
entropía de Shannon representa una límite absoluto en la mejor posible compresión sin pérdida de cualquier la comunicación: el tratamiento de los mensajes para ser codificado como una secuencia de independiente e idénticamente distribuidos al azar las variables, fuente de Shannon de codificación teorema demuestra que, en el límite, el longitud media de los más cortos posible representación para codificar el mensajes en un alfabeto dado es su entropía dividido por el logaritmo de el número de símbolos en el objetivo alfabeto.
Otros consejos
Mi definición favorita, con un enfoque más práctico, se encuentra en el capítulo 1 del libro excelente El programador pragmático: Del Viajero en el tiempo a la Maestra por Andrew Hunt y David Thomas:
Software Entropy
Si bien el desarrollo de software es inmune desde casi todas las leyes físicas, la entropía nos golpea duro. La entropía es un término de la la física que se refiere a la cantidad de "Desorden" en un sistema. Desafortunadamente, las leyes de la termodinámica garantía que la entropía del universo tiende hacia un máximo. cuando el trastorno aumenta en software, programadores llamarlo "pudrición del software."
Hay muchos factores que pueden contribuir a la putrefacción de software. la mayor parte una importante parece ser la psicología, o la cultura, en el trabajo en una proyecto. Incluso si usted es un equipo de uno, la psicología de su proyecto puede ser una cosa muy delicada. A pesar de la mejor de los planes y las mejores personas, una proyecto aún puede experimentar la ruina y decaimiento durante su vida útil. Sin embargo, hay son otros proyectos que, a pesar enormes dificultades y constante contratiempos, luchar con éxito la naturaleza de tendencia hacia el desorden y logran salido bastante bien.
...
...
Una ventana rota.
Una ventana rota, no se repara de cualquier longitud de tiempo sustancial, infunde en los habitantes de la la construcción de un sentido de abandono-a sentido de que los poderes fácticos no lo hacen se preocupan por el edificio. Así que otra ventana se rompe. La gente empieza tirar basura. aparece graffiti. Grave daños estructurales comienza. en un espacio relativamente corto de tiempo, la edificio se daña más allá de la el deseo del propietario para solucionarlo, y el sensación de abandono se convierte en realidad.
La "teoría de la ventana rota" tiene los departamentos de policía en Nueva inspirados York y otras grandes ciudades se agrieten abajo en las cosas pequeñas con el fin de mantener fuera las cosas grandes. Funciona: mantener en la parte superior de las ventanas rotas, graffiti y otras infracciones pequeñas ha reducido el nivel de delito grave.
Consejo 4
No vivo con las ventanas rotas
No deje de "ventanas rotas" (mal diseños, decisiones equivocadas, o pobres código) sin reparar. Fijar cada uno tan pronto como se descubra. Si hay tiempo suficiente para solucionarlo adecuadamente, a continuación, subir hacia arriba. Tal vez sea posible comentario el código infractor, o mostrará un mensaje de "no se han aplicado", o datos ficticios sustitutos en lugar. Tomar algunas medidas para prevenir más daños y para demostrar que estás en la cima de la situación.
Texto tomado de: http://pragprog.com/the-pragmatic- programador / extractos / software de entropía
(fuente: mit.edu)
La noción teórica de entropía de la información es una generalización de la noción física.Hay muchas formas de describir la entropía.Es una medida de la aleatoriedad de una variable aleatoria.También es una medida de la cantidad de información que contiene una variable aleatoria o un proceso estocástico.También es un límite inferior en la cantidad que se puede comprimir un mensaje.Y finalmente es el número promedio de preguntas sí/no que deben hacerse sobre una entidad aleatoria para determinar su valor.
Ecuación de entropía en una aplicación de muestra para cálculo de probabilidad:
Es la suma sobre todos los valores de un RV de la probabilidad de ese valor tiempos del registro de ese problema (es decirp(x)logp(x)).Esta ecuación puede derivarse de los primeros principios de las propiedades de la información.
Siempre encontré entropía en el sentido de la entropía de Shannon.
http://en.wikipedia.org/wiki/Information_entropy :
En teoría de la información, la entropía es una medida de la incertidumbre asociada con una variable aleatoria. El término por sí mismo en este contexto se refiere generalmente a la entropía de Shannon, que cuantifica, en el sentido de un valor esperado, la información contenida en un mensaje, por lo general en unidades tales como bits. De manera equivalente, la entropía de Shannon es una medida del contenido de la información promedio de una falta cuando uno no sabe el valor de la variable aleatoria.
En términos de compresión y teoría de la información, la entropía de una fuente es la cantidad promedio de información (en bits) que los símbolos de la fuente pueden transmitir.Hablando informalmente, cuanto más improbable es un símbolo, más sorpresa trae su aparición.
Si su fuente tiene dos símbolos, diga A y B, y son igualmente probables, entonces cada símbolo transmite la misma cantidad de información (un bit).Una fuente con cuatro símbolos igualmente probables transmite dos bits por símbolo.
Para un ejemplo más interesante, si su fuente tiene tres símbolos, A, B, y C, donde los dos primeros tienen el doble de probabilidades que el tercero, entonces el tercero es más sorprendente pero también menos probable.Hay una entropía neta de 1,52 para esta fuente, como se calcula a continuación.
La entropía se calcula como la "sorpresa promedio", donde la "sorpresa" de cada símbolo es su probabilidad multiplicada por el logaritmo binario negativo de la probabilidad:
binary
symbol weight probability log surprise
A 2 0.4 -1.32 0.53
B 2 0.4 -1.32 0.53
C 1 0.2 -2.32 0.46
total 5 1.0 1.52
El negativo del registro binario se utiliza (por supuesto) porque los registros de valores entre 0 y 1 (exclusivos) son negativos.
Aquí hay una gran explicación alternativa para entropía en la teoría de la información.
La entropía es una medida de incertidumbre involucrada en la toma de una predicción .
También podemos describir cómo la entropía como sorprendido estaríamos si conseguimos un resultado después de hacer nuestra predicción inicial.
digamos que tenemos una moneda doblada que nos da una ventaja del 99% del tiempo y una cola 1% de las veces. Puesto que sólo hay un uno por ciento de posibilidades de obtener una cruz, que estaría muy sorprendido si conseguimos realmente una cola. Por otra parte, no va a ser demasiado sorprendente si se tiene una cabeza, como ya tenemos una probabilidad del 99 por ciento de obtener una cara.
Vamos a suponer que tenemos una función llamada Surprise(x) que nos daría la cantidad de sorpresa para cada resultado; entonces podemos promediar la cantidad de sorpresa en una distribución de probabilidad. Esta cantidad promedio de sorpresa también podría ser utilizado como una medida de lo incierto que somos. Esta incertidumbre se llama entropía .
definición super simple
La palabra entropía se puede definir en una frase:
"La cantidad de información necesaria para describir un sistema."
Imagine por ejemplo la expansión del universo: Desde el principio, se recogió toda la materia en un pequeño punto antes de la gran explosión, por lo que podría haber descrito el sistema con "toda la materia está dentro de un punto." Aunque en la actualidad significativamente más información es necesaria para describir el sistema (el Universo, que es), uno necesitaría para describir todas las posiciones planetarias, su movimiento, lo que está en ellos, etc ..
En términos de teoría de la información, la definición también funciona: por ejemplo: Los más letras que se agregan a una contraseña (el sistema), cuanta más información se necesita para describir la contraseña. A continuación, se puede medir en unidades diferentes, por ejemplo bits o caracteres, como
"Hola" = 5 caracteres entropía = 40 bits de entropía (si charsize es de 8 bits).
De esto también viene que cuanta más información que usted tiene más formas de organizar esa información. Si usted tiene 40 bits hay 2 ^ 40 maneras diferentes que se pueden arreglar. Si estamos hablando de contraseñas aquí, entonces los arreglos más posibles de la información (bits) cuanto más tiempo se va a tomar el agrietamiento (con la fuerza bruta o ataques de diccionario).
En palabras más simples, la entropía define aleatoriedad. Es más como lo impredecible que es algo. En palabras más técnicas, “En informática, la entropía es la aleatoriedad recogido por un sistema operativo o una aplicación para su uso en la criptografía o para otros usos que requieren datos aleatorios. Esta aleatoriedad es a menudo obtiene de fuentes de hardware, ya sea los preexistentes, tales como los movimientos del ratón o proporcionado especialmente generadores de aleatoriedad.”Tal como se define por Wikipedia.
Ahora uno puede concluir fácilmente el significado de la entropía con respecto a un archivo como la medición de la cantidad de los bytes desordenadas están en un archivo. Hay diversas unidades utilizadas para la definición de la entropía como Nat, Shannon o Hartley. Así, la unidad más común usado es Shannon. El rango de valores de entropía de un archivo debe entrar en según el algoritmo de Shannon es de 0 a 8. Por lo tanto, cuando el valor de entropía es cero, se puede decir que el resultado es cierto. En cambio, cuando el valor de entropía es 8, el resultado es más impredecible que podría ser. La fórmula propuesta por Shannon para medir la aleatoriedad en el resultado de los acontecimientos es:
Entropy = ∑ pi log(1/pi)
donde i es el caso con probabilidad pi .
Esta ecuación siempre resultará en entre 0 a 8.
Para obtener más información, vaya a través del enlace: https: //www.talentcookie.com/2016/02/file-entropy-in-malware-analysis/
entropía se refiere al grado en que un software se forma de nuevo de vez en cuando basándose en los requisitos del cliente, por tanto, el coste para la remodelación para satisfacer reqrments cliente se convierte en máximo.
La entropía es como un código hash para los investigadores de virus también. Menos entropía que se obtiene, que significaría que es probable encriptada o código que se podría potencialmente ser un virus comprimido.
A binario estándar tendría una entropía más alta que un uno comprimido o cifrado.
La entropía tiene muchos significados típicamente en Ciencias de la Computación. Depende del contexto. En la seguridad de entropía significa la cantidad de randomality colocar, por ejemplo, cuando se genera una clave privada muchas aplicaciones piden que mover el ratón alrededor para generar entropía. Esto genera entropía tomando el elemento "humano" de randomality y lo añade al proceso hashing de generar la clave.
Ahora también hay una defnición de la ingeniería de software de la entropía. Esta definición representa fuera del código de fecha o código que ha tenido muchos desarrolladores de escribirlo. Normalmente se utiliza en referencia a cuando está cerca de la hora de refactorizar su proyecto de software. "El código de este proyecto tiene una enorme cantidad de entropía debido a que muchos de los individuos que mantenían que no están en el proyecto actualmente".
Aquí está un tercer ejemplo de uso que recordaba demasiado. En el tema de recocido simulado (por lo que la informática se refiere), la entropía se describe como la cantidad de caries ha sucedido durante la evaluación del algoritmo.
supongo que para responder a su pregunta, sin embargo, no hay una definición concreta de la palabra 'entropía' a excepción de las que se pueden encontrar en un diccionario. Cómo tiende la informática para aplicar ese término depende del contexto del término que se utiliza y para qué se está aplicando a.
Es fácil hacer una gran cosa de entropía. A mi juicio, es una muy concepto simple y útil .
Básicamente se cuantifica lo que, en promedio, usted aprenderá de un evento, como lanzar una moneda, teniendo una instrucción de salto, o la indexación de una matriz.
Como una operación de comparación en el medio de un algoritmo de búsqueda tiene una cierta probabilidad P de tomar una de las ramas, y 1-P de tomar el otro.
Supongamos que P es un medio, como lo es en una búsqueda binaria. A continuación, si se toma esa rama, ya sabes 1 poco más que antes, porque log (2/1), de base 2, es 1. Por otro lado, si se toma la otra rama también se aprende de 1 bit.
Para obtener la cantidad media de información que aprenderá, multiplicar lo que se aprende en los primeros tiempos de la rama de la probabilidad de tomar esa rama, además de lo que se aprende en la segunda rama veces la probabilidad de esa rama.
1/2 veces 1 bit, además de 1/2 veces de 1 bit, es un medio poco más medio bit, o total de 1 bit de la entropía. Eso es lo que puede esperar a aprender por medio de esa decisión.
Por otro lado, supongamos que está haciendo búsqueda lineal en una tabla de 1024 entradas.
En la primera prueba ==, la probabilidad de que SÍ es 1/1024, por lo que la entropía de SI en el que la decisión es
1/1024 times log(1024/1)
o 1/1024 * 10 = aproximadamente 1/100 bit.
Así que si la respuesta es sí, se aprende 10 bits, pero la posibilidad de que es de aproximadamente 1 de cada mil.
Por otro lado, el NO es mucho más probable. Es entropía es
1023/1024 * log(1024/1023)
o aproximadamente 1 veces aproximadamente cero = aproximadamente cero.
Añadir los dos juntos, y en promedio usted aprenderá acerca de 1/100 de un poco en esa decisión.
Es por eso que la búsqueda lineal es lento. La entropía (cuánto puede esperar aprender) en cada decisión es demasiado pequeño, ya que vas a tener que aprender 10 bits para encontrar la entrada de la tabla.
La entropía en informática se refiere comúnmente a la forma aleatoria es una cadena de bits. La siguiente pregunta es acerca de hacer que precisa:
En palabras sencillas si conoce las probabilidades de los símbolos en el langauge, se puede calcular el contenido medio de la información de símbolo en el idioma.
o
La entropía de un idioma es una medida del contenido de información de un símbolo de la media en el idioma
Considere una moneda;
Hay dos símbolos, cada uno con una probabilidad de 1/2 así entropía se calcula como
h = - (1/2 * log1 / 2 + 1/2 * log1 / 2) = 1
He oído a gente mal uso de las definiciones termodinámicas de entropía w.r.t CS.
por ejemplo. La entropía es, sin duda en aumento en este sistema.
Cuando lo que quieren decir es que este código es cada vez peor!
