Índice de contenidos
Claves de la noticia
- OpenAI publica MentalHealthBench, un banco abierto de 1.215 conversaciones sintéticas sobre salud mental revisadas con criterios de especialistas.
- El conjunto incluye 105 casos en español y distingue situaciones cotidianas, problemas graves y emergencias; esa selección no refleja la frecuencia real de uso.
- La puntuación mide si una respuesta cumple criterios escritos por expertos, pero no demuestra beneficios clínicos para personas reales.
Una respuesta aparentemente empática puede pasar por alto una señal de riesgo, aconsejar demasiado pronto o ignorar un dato esencial de la conversación. Para examinar esas diferencias, OpenAI ha publicado MentalHealthBench, una evaluación abierta creada con profesionales de salud mental. Su valor está en hacer visibles conductas concretas de los modelos; sus límites importan tanto como sus resultados.
1.215 conversaciones y tres niveles de gravedad
Según el anuncio de OpenAI y el estudio técnico, el banco reúne 1.215 diálogos sintéticos que terminan con una intervención del usuario. Un modelo debe responder teniendo en cuenta el intercambio anterior. Las situaciones abarcan adultos, adolescentes, cuidadores y profesionales, en vez de reducir la prueba a una pregunta médica aislada. La empresa dice que construyó los escenarios a partir de patrones generales de uso obtenidos mediante técnicas que preservan la privacidad; los textos evaluados son conversaciones generadas para el ensayo.
La mezcla del conjunto es deliberada: 53,5 % de casos no agudos, 18,2 % de alta gravedad y 28,3 % de emergencias. Los primeros pueden incluir conflictos personales o estrés; los últimos exigen reconocer una necesidad de apoyo urgente. El propio estudio advierte de que esos porcentajes describen el diseño de la prueba y no la frecuencia de tales conversaciones en ChatGPT. Confundir ambos planos convertiría un reparto editorial de ejemplos en una estadística de usuarios que OpenAI no ha publicado.
El trabajo previo de HealthBench, presentado en mayo de 2025, reunió 5.000 conversaciones de salud general y contó con 262 médicos. MentalHealthBench es más pequeño, pero se centra en una clase de decisiones conversacionales distinta: reconocer el contexto emocional, calibrar la urgencia y preservar la autonomía. Las puntuaciones de los dos bancos no son una serie comparable: cambian los casos, las profesiones que redactan los criterios y el objetivo que se mide.
Cómo se decide si una respuesta ayuda
Más de 80 psicólogos y psiquiatras acreditados de 22 países participaron en la elaboración de las reglas. En cada caso, dos profesionales escribieron criterios de forma independiente y un tercero resolvió desacuerdos. Se mantuvieron los puntos aceptados por al menos dos y no contradichos por el tercero. Los criterios pueden sumar o restar entre uno y diez puntos según la importancia de la conducta en ese contexto. Por ejemplo, una respuesta puede ganar puntos por pedir información necesaria y perderlos por asumir sin base lo que siente la persona.
Después interviene una segunda capa: GPT-5.6 Sol comprueba automáticamente si la respuesta del modelo evaluado satisface esos criterios redactados por clínicos. Los especialistas definen la referencia, pero no puntúan manualmente cada salida de todos los sistemas examinados. Esta distinción permite repetir la evaluación a escala y también introduce un límite: el resultado depende de que el juez automático interprete correctamente cada criterio y cada respuesta. La publicación describe controles metodológicos, pero una cifra final no equivale a una observación clínica directa.
OpenAI presenta resultados de varios modelos y desglosa diez comportamientos, entre ellos búsqueda de contexto, orientación práctica y calibración de urgencia. Ese desglose es más informativo que un único puesto en una clasificación: dos respuestas con una nota global semejante pueden fallar por motivos diferentes. Para un desarrollador, saber si el sistema omitió preguntar por un dato decisivo permite diseñar una prueba o corrección concreta; para un lector, impide interpretar una nota alta como garantía universal de buen consejo.
El alcance real de los casos en español
La figura 2 del estudio enumera 105 conversaciones en español. Dividir 105 entre las 1.215 del conjunto da un 8,6 %, redondeado a una decimal. Este recuento propio usa el número de casos por lengua y el total declarados por los autores; no procede de una muestra independiente de usuarios españoles. La presencia del idioma permite ensayar respuestas en español, pero por sí sola no identifica qué variantes lingüísticas se incluyeron, si los casos reflejan recursos asistenciales de España o cómo rendiría un producto configurado para este país.
También importa el perfil de edad. El estudio señala que un 21,2 % de los diálogos corresponde a adolescentes de 13 a 17 años, cuya edad se comunicó al modelo mediante una instrucción de sistema. Los autores explican que ese método facilita comparar proveedores, aunque quizá no reproduzca todas las protecciones que cada producto aplica en uso real. Por tanto, un resultado de esta prueba no certifica la experiencia completa de un menor en una aplicación concreta.
Expertos y usuarios no piden siempre lo mismo
Un análisis separado reunió a 44 adultos que habían usado IA para apoyo emocional o de salud mental. Se les pidió evaluar respuestas y describir qué consideraban útil, pero solo ante conversaciones no agudas para evitar exponerles a material potencialmente perturbador. Según OpenAI, valoraron especialmente el tono y los próximos pasos prácticos; los profesionales insistieron más en recabar contexto e interpretar con cuidado situaciones ambiguas. Las opiniones de los usuarios complementaron el análisis, aunque no alteraron los criterios clínicos del banco.
La diferencia tiene una consecuencia concreta. Una contestación rápida y amable puede agradar al usuario y, aun así, adelantarse a una conclusión para la que faltan datos; otra puede hacer una pregunta prudente y parecer menos resolutiva. El banco permite comprobar ese choque entre satisfacción inmediata y juicio profesional en un escenario definido. No decide, por sí mismo, qué conversación produce mejores resultados semanas después ni cómo responde una persona vulnerable fuera de la prueba.
MentalHealthBench mide conductas observables en respuestas a casos sintéticos, no mejoras clínicas ni seguridad sostenida en pacientes. Su publicación abre los métodos al examen externo y da a equipos de investigación una lista más precisa de errores que buscar. Para comparar herramientas destinadas a usuarios españoles harán falta, además, resultados separados por lengua y contexto local, validación independiente del juez automático y estudios que sigan el efecto de las respuestas en personas reales. Hasta entonces, la nota del banco describe el ensayo, no una autorización para sustituir atención profesional.
