Tecnología · IA
Revisar datos de entrenamiento - cómo en este ejercicio - caso por caso puede dar una falsa sensación de seguridad: ejemplos aceptables uno a uno, sobre todo si están enmarcados como ficción (datasets generados por IA), pueden enseñar en conjunto una disposición de riesgo.
Eso sugiere que el control tiene que mirar qué conducta enseña el corpus en su agregado, no solo si cada ejemplo es objetable.
Y el trabajo humano se desplaza de ejecutar la prueba a definir qué cuenta como falla y a juzgar si lo que encuentra el agente es relevante.
Por Redacción Adaptant · Anthropic Alignment Science Blog (Balcells Obeso, Qi, MacDiarmid, Hubinger)
Anthropic publicó en su Alignment Science Blog un experimento de red teaming automatizado: un agente Claude, con acceso completo a un monitor de datos de entrenamiento similar a los que la empresa usa en producción, generó miles de datasets de fine-tuning que el monitor no detectaba y que, aplicados a un modelo pequeño de investigación, producían conducta desalineada en evaluaciones controladas, como obstruir un sistema de supervisión o culpar a un colega. La técnica dominante fue encuadrar la conducta como ficción o juego de roles: cada ejemplo, leído por separado, parecía inofensivo. Las condiciones favorecían al atacante: conocía el monitor, no tenía restricciones de realismo y sus datos eran todo el corpus de entrenamiento. Los modelos resultantes no se desplegaron, y el trabajo no describe el comportamiento de modelos en uso. El objetivo declarado es escalar la búsqueda de fallas en los sistemas de seguridad más allá de la capacidad de los equipos humanos. El trabajo humano no desaparece: se desplaza hacia el diseño de las métricas contra las que el agente optimiza, y los autores reconocen que el puntaje más alto no siempre es el hallazgo más informativo.
Seguir leyendo →IA · Negocios · Tecnología
Cory Doctorow retoma su ensayo Metacrap (2001) contra la Web Semántica para la IA agéntica: todo plan que supone que los demás abandonarán sus intereses para servir las prioridades del planificador fracasa. El chatbot único dio paso a enjambres de bots especializados que elevan costos y acumulan errores, y la solución de que todos reorganicen sus sitios para los agentes choca con que la opacidad de precios (vigilancia, drip pricing, cargos ocultos) es una característica buscada: «Ecommerce sites don't want to be legible to automated tools».
Pluralistic · 29 OCT
Transformación · IA · Tecnología
Das Narayandas (Harvard Business School) sostiene que las empresas despliegan IA más rápido de lo que rediseñan su gobernanza, de modo que los sistemas quedan como asesores permanentes: están en el workflow y en los dashboards, pero cuando sistema y humano discrepan, el humano gana en silencio mediante umbrales más bajos, flags y revisiones adicionales. El mecanismo que propone es exposición estructural: la autoridad se delegó al sistema solo en el papel, mientras la rendición de cuentas siguió siendo personal, y anular la recomendación es autoprotección racional incluso cuando la IA rinde mejor. Abre con un banco global no identificado que aprobó a fines de 2022 un sistema de decisiones crediticias rutinarias y seis meses después seguía pasando la mayoría de los expedientes por revisión humana. Contrasta con casos donde la autoridad sí migró (revenue management en aerolíneas, ORION en UPS, Hands off the Wheel en Amazon) porque la gobernanza cambió: scorecards contra el sistema, overrides visibles y sujetos a aprobación, roles rediseñados alrededor de auditar inputs y excepciones. Propone cuatro preguntas previas al escalado (quién pierde discreción, quién gana autoridad, quién explica resultados cuando se sigue al sistema, quién absorbe el riesgo de transición) y un test de adopción: si el sistema se apagara mañana, ¿cambiarían las decisiones? Advierte que con agentes el problema pasa de workarounds a ambigüedad de responsabilidad legal a escala. Es un ensayo prescriptivo basado en casos anonimizados de la consultoría del autor y en casos públicos reinterpretados; sin datos propios.
Harvard Business Review, número de noviembre-diciembre de 2026 · 28 OCT
