Seis personas de METR trabajan con equipos, oficinas y herramientas internas de Anthropic, como si fueran empleados. METR publicará sus evaluaciones de riesgo y solo podrán censurarse partes concretas. SecureBio revisa el capítulo de armas químicas y biológicas del último informe de riesgos, y Accenture y Faculty colaboran en pruebas de seguridad. Anthropic pide a los demás laboratorios que hagan lo mismo
A medida que los modelos se han vuelto más potentes, han requerido mayores medidas de seguridad y evaluaciones de riesgo más rigurosas. Queremos rendir cuentas públicamente por las decisiones que tomamos. Sin embargo, no podemos compartir públicamente toda la información relevante para nuestro trabajo de seguridad. Parte de ella podría ser útil para actores maliciosos o es confidencial desde el punto de vista comercial, como la información sobre computación o entrenamiento. Por ello, estamos otorgando a evaluadores externos un acceso profundo a nuestra información y les estamos pidiendo que compartan evidencia y conclusiones fundamentadas sobre los riesgos que implica la creación de nuestros modelos. Nuestro objetivo es reducir la brecha entre lo que los evaluadores entienden sobre los sistemas de una empresa de IA de vanguardia y lo que la propia empresa entiende.
Para evaluar los modelos de vanguardia, los evaluadores necesitan lo siguiente:
- Experiencia en la evaluación de las capacidades de los modelos de vanguardia, incluyendo la comprensión de las formas en que las evaluaciones pueden fallar, como por ejemplo la falsificación de la alineación .
- Independencia : no deben poseer acciones de la empresa que están evaluando, ni depender financiera u operativamente de ella.
- Acceso suficiente para evaluar los riesgos de manera efectiva. Además de tener acceso a los modelos más recientes, los evaluadores también necesitan información sobre cómo se entrenaron esos modelos, cómo funcionan nuestras medidas de seguridad y otros aspectos.
- Libertad para publicar observaciones y evaluaciones de un modelo o un proceso.
Aunque la analogía no es exacta, la supervisión bancaria se basa en una lógica similar. Los bancos conocen mejor sus propios riesgos que cualquier tercero, por lo que los reguladores asignan inspectores residentes a los bancos más grandes. Si la asunción de riesgos por parte de un banco pudiera poner en peligro al público, terceros intentan detectarlo con antelación.
Para la industria de la IA, esto representa un paso hacia una supervisión de seguridad sólida . Estamos trabajando con rapidez, colaborando con varios evaluadores y aprendiendo activamente sobre qué tipo de alianzas funcionan. Nos comprometemos a compartir las novedades a medida que avancemos.
¿Qué entendemos por “acceso similar al de un empleado”?
Hemos incorporado a seis empleados de METR con hardware de la empresa, espacio de oficina y acceso a herramientas y sistemas internos que son prácticamente equivalentes a los que tienen acceso nuestros propios equipos de evaluación de riesgos. Salvo en un pequeño número de categorías claramente definidas (por ejemplo, datos sobre clientes, información confidencial entre abogado y cliente o información sobre nuestras arquitecturas de modelos), se anima a los empleados de Anthropic a compartir información con ellos como lo harían con un compañero que trabaje en el riesgo de alineación. 1
METR publicará su análisis de nuestros niveles de riesgo, incidentes o prácticas. Anthropic no puede vetar la publicación, pero podemos exigirles que oculten información si esta se ajusta a categorías específicas y predefinidas como las mencionadas anteriormente. METR tiene la libertad de describir públicamente las omisiones y de indicar si las considera justificadas, siempre y cuando lo haga sin revelar la información oculta.
Nuestra colaboración con METR se limita a un pequeño equipo que opera bajo acuerdos vinculantes. Otros empleados de METR trabajan de forma independiente a dicho equipo, incluidos los investigadores que colaboran con nosotros en otros proyectos. La evaluación integrada permite a un grupo selecto de personas cualificadas que trabajan bajo los estándares de seguridad de Anthropic observar de cerca nuestro funcionamiento. No se trata de una forma para que otras organizaciones obtengan nuestra información, ni la de nuestros clientes y socios.
Nuestras otras colaboraciones con evaluadores
Estamos trabajando en varias otras colaboraciones. Dado que estas colaboraciones aún se encuentran en sus primeras etapas, proporcionamos a estos evaluadores información más limitada y sus derechos de publicación son más restringidos. Nuestro objetivo con estas colaboraciones iniciales es garantizar que nuestros socios protejan la información confidencial y cuenten con los recursos y la experiencia necesarios para evaluar nuestros modelos. A medida que las colaboraciones avancen y generemos confianza, esperamos incorporar plenamente a más evaluadores independientes.
Estamos desarrollando tres niveles de acceso para los evaluadores. Con el tiempo, esperamos contar con varios evaluadores en el tercer nivel, y cada equipo publicará su propio análisis de nuestra postura de riesgo y decisiones clave.
En la primera fase, los evaluadores realizan investigaciones de riesgo de alcance limitado. Nosotros decidimos qué nivel de acceso se les proporciona, y los evaluadores pueden publicar sus conclusiones con nuestra aprobación.
En el segundo nivel, los evaluadores pueden publicar sin nuestra aprobación y tienen acceso a más información. Aun así, podemos exigir la eliminación de categorías específicas de información, aunque los evaluadores pueden publicar su opinión sobre si nuestras censuras estaban justificadas.
El tercer nivel es el acuerdo que hemos descrito con METR, con derechos de acceso y publicación similares a los de un empleado, parecidos a los del segundo nivel.
SecureBio está revisando el capítulo sobre armas químicas y biológicas de nuestro Informe de Riesgos de agosto , tras haber completado y publicado una revisión piloto de nuestro informe de riesgos anterior. Una vez finalizada esta revisión, consideraremos la posibilidad de pasar a proyectos con mayor acceso. 2
Junto con Accenture y Faculty, estamos trabajando para forjar una ambiciosa alianza que incluye la evaluación y el análisis exhaustivo de modelos, la realización de evaluaciones de alineación, la comprobación de las medidas de seguridad de los modelos y el desarrollo de capacidades en todas nuestras organizaciones.
Estamos incorporando evaluadores de forma voluntaria, y creemos que todas las empresas de IA de vanguardia deberían hacer lo mismo.
