Armas De Destrucción Matemática: Cómo El Big Data Aumenta La Desigualdad Y Amenaza La Democracia — Cathy O’Neil / Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy by Cathy O’Neil

Armas de Destrucción Matemática (WMD, por sus siglas en inglés) está escrito por un matemático cuya experiencia como profesor universitario de matemática, una cuantía para un fondo de cobertura y un científico de datos la hace única para estudiar y evaluar el uso generalizado de modelos matemáticos en una multitud. de situaciones. O’Neil analiza una variedad de problemas de datos en su libro, incluida la forma en que se desarrollan y mantienen los modelos, si los modelos pueden o deben usarse para evaluar ciertas situaciones y los posibles impactos negativos del uso incorrecto de los modelos matemáticos.
O’Neil presenta argumentos sólidos para la transparencia en cualquier algoritmo utilizado. Los modelos deben entenderse completamente, reevaluarse con frecuencia y los resultados deben cuestionarse para que los resultados sean útiles y objetivos. O’Neil también enfatiza que las buenas herramientas de modelado deben tener cuidado en la exclusión o inclusión de puntos de datos externos para que sean efectivos. Brinda numerosos ejemplos de cómo, sin saberlo, nos vemos afectados, sin saberlo, por las herramientas de recopilación de datos / modelos. Desde los anuncios que vemos en los feeds de las redes sociales y los resultados de una búsqueda en Internet hasta las aplicaciones de seguros en línea, todos estamos impactados por la recopilación y el modelado de datos generalizados.
“Los modelos son opiniones incrustadas en las matemáticas”.
Algunos de los argumentos de imparcialidad de O’Neil no se exploran de manera imparcial. Muchos de sus argumentos son unilaterales. Su exploración de la industria de seguros de automóviles es un buen ejemplo. Ella discute la determinación de la tasa de seguro basada en estadísticas del crimen donde se reside. Ella argumenta que justo significa que todos pagan la misma tarifa. ¿Significa eso que alguien en un área de baja criminalidad debería pagar una tasa de seguro más alta solo para lograr la igualdad / imparcialidad con alguien que vive en un vecindario de alta criminalidad? ¿O está argumentando que todos deberían pagar la tarifa más baja (que en mi opinión es más una cuestión social o de negocios que una pregunta de modelo matemático)?
Fue interesante conocer el uso extensivo de modelos en el sistema de justicia penal y las evaluaciones de los maestros; O’Neil tiene algunos puntos válidos con respecto a las ventajas y desventajas del uso de algoritmos en esas situaciones. Encontré que su discusión sobre el modelado en las admisiones universitarias fue particularmente interesante.
“Los modelos matemáticos mal concebidos ahora abarcan la economía, desde la publicidad hasta las cárceles”.
La indignación de O’Neil en ciertas situaciones es más que evidente a lo largo de su libro. Me hubiera gustado más que Destrucción de Armas de Matemáticas si se hubiera limitado a una discusión directa de los modelos matemáticos en lugar de usar su libro como una caja de jabón para sus opiniones sobre política, sociedad y sobre los “males” de los ricos.
Las armas de destrucción matemática seguramente serán atractivas para los fanáticos de las matemáticas, los fanáticos de la conspiración y cualquier persona que cuestione la veracidad del análisis estadístico. Si bien no siempre es una presentación imparcial, O’Neil le da a sus lectores mucha información para pensar.

O’Neil comienza explicando qué es un modelo matemático y por qué llegó a desconfiar de muchos de ellos, incluso aquellos destinados a eliminar los prejuicios humanos y hacer que la vida sea más justa. En los siguientes ocho capítulos, ella discute diferentes tipos de modelos, cómo se desarrollaron y por qué tienen defectos. O’Neil aborda: los procesos de clasificación y admisión de la universidad / universidad, la publicidad en línea depredadora, las ramificaciones del uso de “predictores de puntos calientes” para los delitos molestos, las pruebas y los algoritmos que protegen a los posibles empleados, los abusos del software de programación, las trampas del valor agregado modelos en educación, problemas con los puntajes electrónicos y mal uso de los puntajes FICO, datos de comportamiento y precios de seguros, y microtargeting en campañas electorales.
La idea de que el uso de algoritmos para reemplazar el juicio humano pone en desventaja a los pobres y conduce a brechas más amplias de oportunidades entre los privilegiados y los desfavorecidos es un tema corriente. Era consciente de la existencia de la mayoría de estos algoritmos y podía imaginar sus deficiencias, pero el libro me iluminó en algunos puntos, como el desastre del software de programación o los “programas de optimización” en trabajos de servicio de bajo nivel, el uso de puntajes de crédito de las compañías de seguros y la opacidad del “aprendizaje automático” para que incluso los desarrolladores no sepan por qué los algos están haciendo lo que están haciendo. Algunos “WMDs”, como los llama O’Neil, pueden ser inexactos o irrelevantes para su propósito, mientras que otros son precisos pero son mal utilizados en la estimación de O’Neil.
Los modelos matemáticos que producen resultados inexactos parecen tener uno de los dos defectos principales: utilizan proxies para representar algunos datos que no tienen, o carecen de comentarios que mejoren su precisión. Esto es claro y alarmantemente común. Aunque me doy cuenta de que O’Neil tiene la intención de hacer que el libro sea fácil de entender, hace un uso excesivo de la palabra “injusto” sin definirlo. Y algunas de sus críticas parecen fallar: el VAM contradice la estadística más antigua y más segura en educación, que el profesor no importa en el dominio de las habilidades básicas. Las universidades pueden preocuparse por las clasificaciones, pero estudio tras estudio ha demostrado que la universidad a la que asistes solo importa para un puñado de profesiones. Algunos algos son mejoras con respecto a lo que vino antes, incluso si son problemáticos.
O’Neil hace algunos buenos puntos, y está bien calificada para hacerlo, habiendo trabajado como científica de datos en ambos lados del problema del riesgo financiero, así como para empresas de nueva creación y en el servicio público. Sería útil que más personas estuvieran al tanto de los modelos y las máquinas que tienen un impacto tan profundo en sus vidas. Pero sentí que la autora debería haber sido más precisa con algunas de sus críticas y más detallada al explicar los modelos que criticaba. Y si el modelo fue una mejora con respecto a lo que vino antes, ella realmente necesita presentar una alternativa, como con el modelo de reincidencia. La ética de Big Data es compleja: algunos modelos causan problemas, porque son muy precisos (por ejemplo, microtargeting), mientras que otros crean dificultades, porque no lo son.

En cuanto al contenido, la autora de la obra desgrana a lo largo del libro hasta qué punto el big data y la aplicación de criterio cuantitativos en distintos campos de nuestra sociedad puede convertirse en un arma de doble filo. Bajo la apariencia de veracidad de los números y los datos se esconden sesgos que pueden contribuir a perpetuar, a criterio de la autora, la discriminación y la desigualdad social. A ese sesgo discriminatorio tras los datos es lo que ella llama Armas de destrucción matemática (ADM), y muestra diferentes ejemplos donde se ha observado una aplicación deficiente del big data: la evaluación del profesorado, la concesión de créditos, el sistema de rankings universitario, la aplicación en el sistema de justicia penal, la obtención de empleo, etc.
La redacción de la obra está elaborada con un estilo cercano y sencillo de leer, y no se entromete en exceso en aportar detalles técnicos que por deformación profesional podría ofrecer, probablemente porque no es su propósito con este libro.
El único contra que le pongo es que quizá la hipótesis de la que parte (que existen aplicaciones de big data que pueden generar discriminación de diversos tipos) le lleva a ser demasiado concluyente en algunos momentos, estableciendo correlaciones que no resultan tan evidentes como la autora considera, o no suficientemente demostradas.
Por lo demás, el propósito del libro no es demonizar el big data, sino más bien hacer un llamamiento a la prudencia en su uso.
Se trata de un manual que examina muy principalmente la influencia de esos medios en la política y los negocios, metiéndose en un terreno de tipo predominantemente sociológico y que además se centra sobre todo en los problemas que afectan a EEUU. Puede servir para Europa, pero aquí no existen esos enormes ghettos de afroamericanos y latinos o al menos no en tan gran extensión. El libro además, deja ver esto mucho porque la traducción incluye muchos ejemplos de las vida norteamericana y el lenguaje español que se utiliza está lleno de giros latinoamericanos, con referencia a deportes y actividades que en Europa apenas conocemos.

Weapons of Math Destruction (WMD) is written by a mathematician whose experience as a university math professor, a quant for a hedge fund, and a data scientist makes her uniquely qualified to study and assess the wide-spread use of mathematical models in a multitude of situations. O’Neil discusses a variety of data issues in her book, including how models are developed and maintained, whether or not models can or should be used to assess certain situations, and the potential negative impacts of misuse of mathematical models.
O’Neil presents strong arguments for transparency in any algorithms used. The models need to be fully understood, frequently reassessed, and results questioned so that results are useful and objective. O’Neil also emphasizes that good modeling tools should take to care in the exclusion or inclusion of outlying data points in order to be effective. She provides ample examples of how we are unknowingly, and in her opinion unfairly, affected by data collection tools/modeling. From the ads we see in social media feeds and the results of an internet search to online insurance applications, we are all impacted by pervasive data collection and modeling.
“Models are opinions embedded in mathematics.”
Some of O’Neil’s fairness arguments are not unbiasedly explored. Many of her arguments are one-sided. Her exploration of the auto-insurance industry is a good example. She discusses insurance rate determination based on crime statistics where one resides. She makes the argument that fair means everyone pays the same rate. Does that mean that someone in a low crime area should pay a higher insurance rate just to achieve equality/fairness with someone who lives in a high crime neighborhood? Or is she arguing that everyone should pay the lower rate (which in my mind is more a social or business question rather than a mathematical modeling question)?
It was interesting to learn of the extensive use of modeling in the criminal justice system and teacher evaluations; O’Neil has some valid points regarding the trade-offs of using algorithms in those situations. I found her discussion of modeling in college admissions to be particularly interesting.
“Ill-conceived mathematical models now micromanage the economy, from advertising to prisons.”
O’Neil’s indignation at certain situations is more than apparent throughout her book. I would have appreciated Weapons of Math Destruction more had she stuck to a straightforward discussion of the mathematical models instead of using her book as a soapbox for her opinions on politics, society and on the “evils” of the affluent.
Weapons of Math Destruction will surely appeal to math geeks, conspiracy freaks and anyone who questions the veracity of statistical analysis. While not always an unbiased presentation, O’Neil does give her readers plenty food for thought.

O’Neil begins by explaining what a mathematical model is and why she came to distrust so many of them, even those intended to eliminate human biases and make life more fair. In the following eight chapters, she discusses different types of models, how they were developed, and why they are flawed. O’Neil addresses: college/university ranking and admission processes, predatory online advertising, the ramifications of using “hot spot predictors” for nuisance crimes, tests and algorithms that screen prospective employees, the abuses of scheduling software, the pitfalls of value-added models in education, problems with e-scores and misuse of FICO scores, behavioral data and insurance prices, and microtargeting in election campaigns.
The idea that the use of algorithms to replace human judgment disadvantages the poor and leads to wider gaps in opportunity between the privileged and underprivileged is a running theme. I was aware of the existence of most of these algorithms and could imagine their shortcomings, but the book did enlighten me on a few points, such as the disaster of scheduling software or “optimization programs” in low-level service jobs, the use of credit scores by insurance companies, and the opacity of “machine learning” so that even the developers don’t know why the algos are doing what they’re doing. Some “WMDs”, as O’Neil calls them, may be inaccurate or irrelevant to their purpose, while others are accurate but are misused in O’Neil’s estimation.
Mathematical models that produce inaccurate results seem to have one of two major flaws: They utilize proxies to stand in for some data they don’t have, or they lack feedback that would improve their accuracy. This is clear and alarmingly common. While I realize that O’Neil intends to make the book easy to understand, she overuses the word “unfair” without ever defining it. And a few of her criticisms seem to miss the mark: VAMs contradicted the oldest and surest statistic in education –that the teacher doesn’t matter in the mastery of basic skills. Colleges may fret over rankings, but study after study has demonstrated that which college you go to only matters for a handful of professions. Some algos are improvements over what came before, even if they are problematic.
O’Neil makes some good points, and she is well-qualified to make them, having worked as a data scientist on both sides of the financial risk problem as well as for start-ups and in public service. It would be helpful if more people were aware of the models and machines that have such a profound impact on their lives. But I felt that the author should have been more precise with some of her criticisms and more thorough in explaining the models she was criticizing. And if the model was an improvement over what came before, she really needs to present an alternative, such as with the recidivism model. The ethics of Big Data are complex: Some models cause trouble, because they are scarily accurate (e.g. microtargeting), while others create hardship, because they are not.

In terms of content, the author of the work reveals throughout the book to what extent the big data and the application of quantitative criteria in different fields of our society can become a double-edged sword. Under the appearance of truthfulness of numbers and data, there are hidden biases that can contribute to the perpetuation, at the discretion of the author, of discrimination and social inequality. This discriminatory bias behind the data is what she calls Weapons of Mathematical Destruction (ADM), and shows different examples where a poor application of big data has been observed: the evaluation of the teaching staff, the granting of credits, the system of university rankings , the application in the criminal justice system, obtaining employment, etc.
The writing of the work is elaborated with a near and simple style to read, and it does not meddle in excess in contributing technical details that by professional deformation could offer, probably because it is not its purpose with this book.
The only counter that I put is that maybe the hypothesis that part (that there are applications of big data that can generate discrimination of various types) leads to be too conclusive at times, establishing correlations that are not as obvious as the author considered, or not sufficiently demonstrated.
For the rest, the purpose of the book is not to demonize big data, but rather to call for prudence in its use.
It is a manual that mainly examines the influence of these media in politics and business, getting into a predominantly sociological type of terrain and focusing mainly on the problems that affect the US. It can be used for Europe, but there are no such huge ghettos of African-Americans and Latinos here, or at least not in such a large area. The book also lets us see this a lot because the translation includes many examples of American life and the Spanish language that is used is full of Latin American twists, with reference to sports and activities that in Europe we barely know.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.