Manifiesto para una IA Segura en la Educación (versión en español)

Traducción al español de la versión 0.4.0 del Manifiesto para una IA Segura en la Educación, 8 de octubre de 2024. Para la última versión en inglés, por favor, visita manifesto.safeaieducation.org.

(Nota: se ha usado Claude 3.5 sonnet para la traducción que ha sido revisada por un humano)

Si desea firmar el manifiesto, por favor rellene este formulario.

Índice

Preámbulo

Conclusión

Autores

Firmantes

Cómo citar el Manifiesto para una IA Segura en la Educación

Preámbulo

En el panorama educativo en rápida evolución, la Inteligencia Artificial (IA) ofrece grandes perspectivas para mejorar las experiencias de aprendizaje, agilizar las tareas administrativas y apoyar tanto a estudiantes como a educadores. Sin embargo, con estos avances vienen responsabilidades significativas.

El Manifiesto para una IA Segura en la Educación propone los principios fundamentales que garantizan que la IA se implemente en entornos educativos de manera ética, segura y alineada con los objetivos fundamentales de la educación.

Estos principios se basan en la creencia de que la IA siempre debe estar al servicio de las personas, mejorando las capacidades humanas en lugar de reemplazarlas. La IA debe actuar como una herramienta que empodere a estudiantes, educadores e instituciones para alcanzar su máximo potencial, preservando al mismo tiempo la naturaleza centrada en el ser humano de la educación.

Estos principios pretenden proporcionar un marco para guiar a educadores, instituciones educativas, desarrolladores y proveedores de IA en su proceso de decidir si y cómo se debe utilizar la IA en la educación. Aunque otras consideraciones sobre la IA en la educación son importantes, creemos que estos principios son relevantes y aplicables en este contexto.

La Inteligencia Artificial (IA) es un campo de investigación, no un conjunto específico de tecnologías o incluso un enfoque específico. Este manifiesto concierne principalmente a la generación actual de tecnologías de IA que se están introduciendo en el panorama educativo a mediados de la década de 2020, la mayoría de las cuales se basan en alguna forma de aprendizaje automático y generalmente se denominan IA Generativa. A medida que surjan nuevos avances en las tecnologías de IA, este manifiesto se actualizará para reflejar el nuevo estado del arte.

Los principios del manifiesto han inspirado una Lista de verificación que se puede utilizar para evaluar e integrar herramientas de IA en la educación.

Este es un documento vivo y se actualizará a medida que la comunidad y la tecnología maduren.

Principio 1: Supervisión Humana y Responsabilidad

Las herramientas de IA en la educación deben siempre complementar, no reemplazar, a los educadores humanos. Aunque la IA puede ayudar con tareas administrativas como la calificación o proporcionar retroalimentación, todos los procesos de toma de decisiones deben permanecer bajo supervisión humana. Las decisiones impulsadas por la IA deben ser explicables, y los estudiantes deben tener el derecho de apelar estas decisiones a través de procesos dirigidos por humanos. Esto garantiza la equidad, mantiene el papel de los profesores como mentores y protege la integridad del proceso educativo.

Declaración: Un sistema de IA no puede ser responsable de la educación de los estudiantes. Cualquier decisión tomada por la IA, particularmente aquellas relacionadas con la calificación y evaluación, debe ser transparente y totalmente responsable ante la supervisión humana. Los estudiantes deben conservar el derecho de apelar las decisiones impulsadas por la IA, que deben ser evaluadas y abordadas por educadores humanos. El papel de la IA debe ser mejorar, no disminuir, la conexión humana esencial para la educación.

Principio 2: Garantía de Confidencialidad

Nos comprometemos a salvaguardar la privacidad y confidencialidad de todos los datos de los estudiantes, incluyendo identidades, roles, registros académicos e interacciones. Los sistemas de IA deben ser diseñados e implementados con medidas de seguridad estrictas para proteger la información de los estudiantes. Las instituciones educativas deben ser propietarias y operar la pila tecnológica o exigir un estricto cumplimiento de la privacidad por parte de los proveedores de IA, asegurando que ningún dato sea expuesto a partes no autorizadas.

Declaración: Advertimos contra el uso de herramientas gratuitas que requieren que los estudiantes se registren en servicios de terceros como un componente obligatorio de su educación. Los estudiantes deben mantener el control total sobre sus datos personales, y la institución debe asegurarse de que todas las tecnologías utilizadas en el entorno educativo sean seguras, transparentes y estén bajo el control directo de la institución. Esto evita cualquier compromiso con la privacidad o los derechos de los estudiantes.

Principio 3: Alineación con Estrategias Educativas

Las herramientas de IA deben estar en armonía con las estrategias educativas y la gobernanza de TI de las instituciones a las que sirven. Deben apoyar los objetivos de aprendizaje sin introducir una complejidad indebida o facilitar prácticas no éticas como el engaño o el plagio. La IA debe ser una herramienta que mejore los resultados educativos, no una que complique el proceso de aprendizaje.

Declaración: Reconocemos el riesgo de utilizar herramientas de IA de propósito general que no están diseñadas específicamente para contextos educativos. La complejidad de tales herramientas, junto con el riesgo de su mal uso, socava el proceso educativo y se suma al ruido de fondo que impide un procesamiento cognitivo adecuado. Abogamos por el uso de sistemas de IA que estén adaptados para satisfacer las necesidades y objetivos específicos de las instituciones educativas.

Principio 4: Alineación con Prácticas Didácticas

La implementación de la IA en la educación debe basarse en prácticas didácticas establecidas. Los educadores necesitan tener una comprensión clara de cómo las herramientas de IA se integrarán con su diseño instruccional y objetivos de aprendizaje. La IA debe apoyar las metodologías de enseñanza en lugar de interrumpirlas.

Declaración: Enfatizamos la necesidad de que las herramientas de IA sean adaptables a varios diseños instruccionales. Ya sea a través de interfaces especializadas o configuraciones específicas, la IA debe ser una extensión perfecta del proceso de enseñanza-aprendizaje, proporcionando apoyo sin imponer cargas adicionales a educadores o estudiantes.

Principio 5: Precisión y Explicabilidad

La precisión es primordial en contextos educativos. Los sistemas de IA deben priorizar la entrega de información precisa, explicable y relevante, especialmente dados los riesgos de alucinaciones y errores inherentes a las tecnologías de IA actuales. Estos riesgos pueden mitigarse implementando IA en contextos de aplicación estrechamente definidos y asegurando que las herramientas de IA hagan referencia a sus fuentes, permitiendo a los usuarios verificar la información proporcionada.

Declaración: Fomentamos evaluaciones rigurosas de calidad para las herramientas de IA utilizadas en la educación. La fiabilidad de los sistemas de IA es innegociable, y la evaluación continua es necesaria para mantener la integridad del proceso educativo.

Principio 6: Interfaz y Comportamiento Integral

Los sistemas de IA deben tener interfaces que sean transparentes y fácilmente comprensibles para estudiantes y educadores. El comportamiento de estos sistemas debe comunicar claramente su uso previsto y limitaciones, evitando cualquier pretensión de infalibilidad u omnisciencia. El contenido generado por IA siempre debe estar claramente marcado como tal.

Declaración: Abogamos por herramientas de IA que estén diseñadas con claridad y transparencia en su núcleo. Estas herramientas deben transmitir explícitamente sus limitaciones y evitar presentar información errónea con confianza indebida. Al hacerlo, apoyarán un entorno de aprendizaje donde los estudiantes puedan confiar, pero también evaluar críticamente, las salidas de la IA.

Principio 7: Formación Ética y Transparencia

Los modelos de IA utilizados en la educación deben ser entrenados de manera ética, con un claro compromiso de transparencia con respecto a las fuentes de datos de entrenamiento y las metodologías utilizadas. Es esencial que estos modelos trabajen activamente para minimizar los sesgos y proporcionen transparencia sobre sus procesos de entrenamiento, permitiendo a educadores y estudiantes comprender las limitaciones y consideraciones involucradas en las salidas de la IA.

Declaración: Insistimos en que todas las herramientas de IA en contextos educativos deben ser desarrolladas e implementadas con un compromiso con los estándares éticos. Esto incluye declarar abiertamente las fuentes de datos de entrenamiento, asegurar que los modelos estén diseñados para minimizar los sesgos y proporcionar transparencia sobre las limitaciones potenciales inherentes a los procesos de toma de decisiones de la IA.

Conclusión

La integración de la IA en la educación tiene un gran potencial. Sin embargo, esta integración debe guiarse por principios que prioricen el bienestar, la privacidad y el éxito educativo de los estudiantes. El Manifiesto para una IA Segura en la Educación es un compromiso con estos principios, asegurando que las instituciones y los educadores introduzcan la IA en la educación de una manera que mejore la experiencia educativa sin comprometer los estándares éticos o la integridad educativa.

Autores

Marc Alier Forment, Francisco Garcia Peñalvo, Maria José Casañ Guerrero, Juan Antonio Pereira y Faraón Llorens Largo. Con ideas adicionales de Roberto Rodríguez Echeverría, Ramón Martí, Maria Pilar Almanjano Pablos, Antoni Hernández-Fernández y Jordi Cortadella.

Firmantes

Si desea firmar el manifiesto, por favor rellene este formulario.

Puedes ver la lista de firmantes en la versión en inglés en: Firmantes

Cómo citar el Manifiesto para una IA Segura en la Educación

Estilo APA:

Cita en el texto: (Alier Forment et al., 2024)

Lista de referencias: Alier Forment, M., Garcia Peñalvo, F., Casañ Guerrero, M. J., Pereira, J. A., & Llorens Largo, F. (2024, 8 de octubre). Manifiesto para una IA Segura en la Educación (Versión 0.4.0). Manifiesto para una IA Segura en la Educación. https://manifesto.safeaieducation.org

Estilo MLA:

Cita en el texto: (Alier Forment et al.)

Obras citadas: Alier Forment, Marc, et al. Manifiesto para una IA Segura en la Educación. Versión 0.4.0, 8 oct. 2024, https://manifesto.safeaieducation.org.

Estilo Chicago:

Cita en el texto: (Alier Forment et al. 2024)

Bibliografía: Alier Forment, Marc, Francisco Garcia Peñalvo, Maria José Casañ Guerrero, Juan Antonio Pereira, y Faraón Llorens Largo. Manifiesto para una IA Segura en la Educación. Versión 0.4.0, 8 de octubre de 2024. https://manifesto.safeaieducation.org.