https://idp.uoc.edu ARTÍCULO Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial Dr. Guillem Izquierdo Grau Universidad Autónoma de Barcelona Fecha de presentación: octubre 2022 Fecha de aceptación: marzo 2023 Fecha de publicación: octubre 2023 Resumen El pasado 28 de septiembre de 2022, la Comisión Europea publicó la Propuesta de Directiva que debe reemplazar la longeva Directiva 85/374/CEE sobre daños causados por productos defectuosos. Uno de los problemas de la actual directiva que regula esta materia es la dificultad técnica que plantea su aplicabilidad a los daños causados por bienes que incorporan sistemas de inteligencia artificial. Habida cuenta de que solo se aplica a los daños causados por bienes muebles, deja fuera de su ámbito de aplicación los daños causados por un algoritmo. No obstante, el legislador europeo se ha propuesto enderezar esta situación y la Propuesta de Directiva afirma que el software y los sistemas de inteli- gencia artificial son un producto. Además, engloba dentro del concepto de productor al desarrollador o proveedor de sistemas de inteligencia artificial. En el presente trabajo abordaremos el texto de la Propuesta de Directiva y la regulación de uno de los aspectos clave de la nueva regulación: la respon- sabilidad del desarrollador del software o del algoritmo. Palabras clave inteligencia artificial; producto defectuoso; bienes con elementos digitales; desarrollador de algoritmos; proveedor de sistemas de inteligencia artificial; desarrollador de software IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 1 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial Defective software and algorithms: some considerations on the liability of the software or AI system developer Abstract On 28 September 2022, the European Commission published the Proposal for a Directive to replace the long-standing Directive 85/374/EEC on defective products. One of the problems with the current directive regulating this matter is the technical difficulty posed by its applicability to damage caused by goods that incorporate artificial intelligence systems. Given that it only applies to damage caused by movable goods, it leaves damage caused by an algorithm outside its scope of application. However, the European legislator has set out to remedy this situation and the Proposal for a Directive states that software and artificial intelligence systems are a product. Furthermore, it includes the developer or provider of artificial intelligence systems within the concept of producer. In this paper, we will deal with the text of the Proposal for a Directive and the regulation of one of the key aspects of the new regulation: the liability of the software or algorithm developer. Keywords artificial intelligence, defective products, goods with digital elements, algorithm developer, artificial intelligence system developer, software developer IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 2 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial Introducción bilidad de los desarrolladores de software y de sistemas de inteligencia artificial en línea. En particular, el presente El pasado 28 de septiembre de 2022, la Comisión Euro- artículo aborda el supuesto del software o algoritmo libres pea hizo pública la Propuesta de Directiva en materia de y de código abierto suministrados fuera del transcurso de responsabilidad civil por daños causados por productos una actividad comercial. La Propuesta de Directiva opta defectuosos (Comisión Europea, 2022), que debe reem- por excluir de su ámbito de aplicación los daños causados plazar la longeva Directiva 85/374/CEE. La Propuesta de por estos software o algoritmos cuando no se suministren Directiva constituye, por tanto, el documento base que se en el marco de una actividad comercial (vid. considerando discutirá en el Parlamento Europeo y en el Consejo y que n.º 13). No obstante, cuando se suministran a cambio de puede culminar dentro de un par de años con la adopción un precio o de datos en el marco de una actividad em- de una nueva directiva sobre esta materia. Auguramos que presarial quedarán dentro del ámbito de aplicación de la Propuesta de Directiva comentada se verá afectada por la Propuesta de Directiva. Para evitar que los primeros importantes modificaciones realizadas en el texto durante escapen del ámbito de aplicación de la futura directiva, el procedimiento legislativo dada la redacción actual. se propone reconducir aquellos supuestos al caso de los bienes reacondicionados. Sin entrar a valorar otras cuestiones novedosas que in- corpora la Propuesta de Directiva, podemos decir que el texto adoptado sigue unas directrices que ya estableció el legislador europeo en 2019 cuando se adoptó la Direc- 1. Productos, componentes y tiva (UE) 2019/771 relativa a determinados aspectos de los contratos de compraventa de bienes: la concepción servicios relacionados unitaria del bien, a pesar de que actualmente los bienes incorporan elementos digitales y la concentración de la 1.1. Concepto de producto. La consideración responsabilidad (en nuestro caso extracontractual) en el de la inteligencia artificial y el software productor del bien, si bien con algunos matices que se como productos abordarán a lo largo del artículo. La Propuesta de Directiva amplía el grupo de sujetos que El principal motivo por el cual es necesario adoptar una reciben la consideración de productor, incluyendo al pro- nueva directiva en la materia que nos ocupa es la necesi- gramador del software y al desarrollador del sistema de dad de adaptar la nueva regulación a la complejidad de los inteligencia artificial. Por tanto, de acuerdo con este plan- productos que han irrumpido en el mercado: los llamados teamiento, el art. 7 de la Propuesta de Directiva reconoce bienes con elementos digitales, que pueden incorporar que la víctima del daño causado por el producto defec- sistemas de inteligencia artificial. La particularidad de tuoso puede dirigirse contra el productor del componente este tipo de bienes es que podemos distinguir, por un lado, (vid. considerando n.º 40 de la Propuesta de Directiva) y el bien mueble tangible (hardware) y, por otro lado, los ele- no contra el productor del bien globalmente concebido si mentos (contenidos y servicios) digitales.1 Además, en la el daño fuera imputable al software o al sistema de inteli- era digital no todos los productos son tangibles, sino que gencia artificial y si la víctima fuera capaz de identificarlo. se han introducido en el mercado los productos o servi- cios digitales (sistemas operativos, programas de ordena- Es por este motivo que el presente artículo aborda la dor, aplicaciones o sistemas de inteligencia artificial) que regulación actual contenida en la Propuesta de Directiva no necesariamente se encuentran incorporados en un bien relativa al software y al algoritmo como productos y los mueble tangible y que se pueden descargar e incorporar sujetos responsables para profundizar en una problemá- posteriormente en productos fuera del ámbito de control del tica que preocupa al legislador comunitario: la responsa- productor (considerando n.º 12 de la Propuesta de Directiva). 1. Vid. Art. 2.1) y 2) de la Directiva (UE) 2019/770 del Parlamento Europeo y del Consejo, de 20 de mayo de 2019, relativa a determinados aspectos de los contratos de suministro de contenidos y servicios digitales (en adelante, DCSD). IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 3 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial Son conocidos los problemas de encaje de este tipo de Del tenor literal del considerando n.º 12 de la Propuesta bienes dentro de la definición de producto de la aún vi- de Directiva también resulta que el sistema de inteligencia gente Directiva 85/374/CEE (Abbott et al., 2019). Es por artificial o algoritmo tiene la consideración de programa in- ello por lo que la Propuesta de Directiva pretende cerrar formático (software) y, consecuentemente, de producto. Por el debate doctrinal existente e incluir dentro del ámbito de tanto, el legislador europeo cierra uno de los debates (por aplicación de la futura norma el software y los servicios y todos, Chagal-Federkorn, 2019, págs. 61-114) más importantes contenidos digitales. En este sentido, el art. 4.1) de la Pro- que existía en torno a la Directiva 85/374/CEE, que no hacía puesta de Directiva define el concepto de producto de la referencia alguna a esta cuestión, por lo que la reforma es siguiente forma: «cualquier bien mueble, aun cuando esté bienvenida. Se desprende del considerando n.º 12 de la Pro- incorporado a otro bien mueble o a un bien inmueble; por puesta de Directiva que la Comisión Europea está pensando «producto» se entiende también la electricidad, los archi- en programas informáticos que inicialmente pueden presen- vos de fabricación digital y los programas informáticos». tarse incorporados en productos, o bien en programas infor- máticos que son autónomos y que se integran posteriormen- La definición de producto que incorpora la Propuesta de te en el producto. Es decir, lo que a tenor del considerando Directiva está inspirada en la definición contenida en la Di- n.º 12 de la Propuesta de Directiva determina la inclusión de rectiva 85/374/CEE. El elemento nuclear de la nueva defi- los programas informáticos y de los sistemas de inteligencia nición de producto es su carácter mueble, que puede estar artificial dentro del ámbito de aplicación de la Propuesta de incorporado en otro bien mueble o en un bien inmueble. Directiva es su incorporación o interconexión en productos. Hasta aquí, la definición de la Propuesta de Directiva no aporta nada nuevo. Seguidamente, la definición incorpora Por su parte, el considerando n.º 15 de la Propuesta de Di- dos nuevos conceptos inexistentes en la definición de pro- rectiva se refiere a los servicios digitales. Ya hemos dicho ducto de la Directiva 85/374/CEE, además de la electricidad: que la Propuesta de Directiva no prevé una definición de los archivos o copias de fabricación digital (considerando n.º servicios digitales y nos hemos posicionado en el sentido 14 de la Propuesta de Directiva) y el software. que la futura directiva debería referirse tanto a los conte- nidos o servicios digitales por remisión a lo dispuesto en A mi entender, la definición de producto que incorpora el art. 2 de la DCSD. A tenor de lo dispuesto en el consi- la Propuesta de Directiva es confusa porque, juntamente derando n.º 15 de la Propuesta de Directiva para el caso con los bienes muebles, la definición incluye determi- de los servicios digitales, el criterio de la incorporación o nados tipos de bienes que son intangibles. Hubiera sido interconexión en productos tangibles es fundamental para deseable que la definición incluyera, por un lado, los aplicar a este tipo de productos las previsiones de la Pro- bienes muebles, independientemente de que incorporen puesta de Directiva. A pesar de que el considerando n.º 15 elementos digitales o no y, por otro lado, los elementos de la Propuesta de Directiva declare que no debe aplicarse digitales propiamente dichos (contenidos y servicios digi- a los servicios digitales como tales, sí que es necesario tales), destacando la necesidad de que estos se encuen- extender sus efectos a los servicios digitales cuando estos tren incorporados o interconectados con bienes muebles estén incorporados o interconectados con productos, de tangibles, de tal forma que sin ellos el producto no podría tal forma que a falta de aquellos el producto no podría realizar sus funciones. Además, para construir un sistema realizar sus funciones. Por tanto, a mi juicio, el criterio coherente y en armonía con las Directivas sobre la falta de de la incorporación o interconexión del software y de los conformidad de los bienes y de los contenidos o servicios servicios digitales en productos resulta determinante para digitales (es decir, las Directivas (UE) 2019/770 y 2019/771 que la Propuesta de Directiva sea aplicable a los daños [twin directives]), considero que sería deseable que, en causados por productos intangibles. lugar de referirse al software, se hiciera referencia a los servicios digitales y que estos se definieran por remisión a 1.2. ¿El software es un contenido o un servicio lo dispuesto en la Directiva (UE) 2019/770. De esta forma, digital? el uso de los mismos conceptos dotaría de coherencia a A continuación, la Propuesta de Directiva incorpora la la legislación europea en materia de responsabilidad civil definición de archivo de fabricación digital. Este concepto contractual y extracontractual (en el mismo sentido, vid. está explicado en el considerando n.º 14 de la Propuesta de Wendehorst, 2021, págs. 19-21). Directiva. De su tenor literal se desprende que el legislador IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 4 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial europeo está haciendo referencia a los archivos que contie- en que se adoptó la Directiva 85/374/CEE, por lo que nen la información necesaria para producir un bien tangible pienso que la consideración del software como un servicio mediante un dispositivo (por ejemplo, una impresora 3D). conexo o un componente debería abandonarse para que Como se ha adelantado en el epígrafe anterior, a mi juicio el texto fuera acorde con la nueva realidad (Navarro-Mi- hubiera sido más conveniente definir el concepto de pro- chel, 2020, pág. 208). En este sentido, debemos huir de ducto (en lo que al software se refiere) por remisión a lo una interpretación del concepto de componente en clave dispuesto en el art. 2.1) y 2) de la Directiva (UE) 2019/770, de accesoriedad respecto del producto concebido como un que definen lo que debe entenderse por contenido o ser- todo, sino como un integrante de este que conforma el todo. vicio digital. Asimismo, la incorporación de los archivos de fabricación digital de un bien mueble dentro del concepto de producto (considerando n.º 14 de la Propuesta de Direc- 2. Operadores económicos tiva) nos induce a pensar que quizá el legislador europeo responsables también pretende que los contenidos digitales sean consi- derados como productos, habida cuenta de las dificultades 2.1. La responsabilidad del productor. Ideas que existen para diferenciar los conceptos de contenido y generales servicio digitales (Mischau, 2022, págs. 6-13). Por tanto, si la voluntad del legislador fuera considerar los contenidos digi- La Propuesta de Directiva analizada declara la aplicabilidad tales como productos, a mi entender sería oportuno revisar del régimen jurídico que establece, al margen de lo pre- la actual definición de producto de la Propuesta de Directiva venido en la Propuesta de Reglamento sobre inteligencia para que incluya los contenidos digitales por remisión a lo artificial.2 Por tanto, podemos deducir que la voluntad del dispuesto en el art. 2.1) de la Directiva (UE) 2019/770. legislador europeo es regular esta materia de forma unita- ria sin remisiones a otras normas de la Unión Europea. 1.3. ¿El software es un producto, un componente o un servicio conexo? La Propuesta de Directiva dedica su artículo 7.1 a la determi- nación de los sujetos responsables por los daños causados Seguidamente, la Propuesta de Directiva introduce dos nue- por productos defectuosos. A partir de su tenor literal po- vas definiciones referidas a los componentes y a los servicios demos extraer las premisas de las que parte el precepto. En conexos. Asimismo, para comprender ambos conceptos primer lugar, la Propuesta de Directiva concentra la respon- debemos acudir nuevamente a lo dispuesto en el conside- sabilidad del daño en el productor, de la misma forma que la rando n.º 15 de la Propuesta de Directiva, que se refiere a los Directiva 85/374/CEE. A continuación, el precepto remarca servicios digitales como componentes y servicios conexos. que, cuando el daño causado sea provocado por un compo- nente defectuoso, su productor responderá por el mismo Desde mi punto de vista, la consideración de los servicios daño. Se trata de una previsión que no tiene un precedente digitales como componentes o servicios conexos es co- claro en la Directiva 85/374/CEE3 y que, sin duda alguna, es herente con la premisa de la que parte la Propuesta de coherente con la consideración del proveedor del software Directiva, que toma como base la definición de producto o del sistema de inteligencia artificial como productor (con- de la Directiva 85/374/CEE en el sentido de reconocer los siderando n.º 12 de la Propuesta de Directiva). caracteres de movilidad y tangibilidad como elementos fundamentales de la definición. No obstante, esta premisa Por su parte, el art. 11 de la Propuesta de Directiva declara, casa mal con la voluntad de adaptar la legislación sobre siguiendo el mismo esquema que la Directiva 85/374/CEE, responsabilidad por productos defectuosos a la nueva rea- la responsabilidad solidaria de los operadores económicos lidad existente, donde los bienes con elementos digitales responsables. La responsabilidad solidaria de los agentes han ganado peso en el mercado. Actualmente, la impor- intervinientes pretende facilitar la reclamación de respon- tancia del software es mucho mayor que en el momento sabilidad de la víctima, pues sabe que dirigiendo la de- 2. Propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de inteligencia artificial) y se modifican determinados actos legislativos de la Unión COM(2021) 206 final 2021/0106 (COD). 3. El art. 3 de la Directiva 85/374/CEE considera productor también al fabricante de un componente, pero no declara su condición de responsable como lo hace la Propuesta de Directiva analizada. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 5 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial manda contra cualquier operador económico responsable que el concepto de productor engloba al desarrollador según el art. 7 de la Propuesta de Directiva no se incurrirá del software y del sistema de inteligencia artificial que en ningún vicio procesal (litisconsorcio pasivo necesario incorpora el producto. Sin embargo, en el articulado de la o falta de legitimación pasiva) y que, si se cumplen los propuesta no existe ninguna referencia al productor del demás requisitos (prueba del daño, defecto del producto y software, más allá de la previsión en el segundo párrafo nexo causal entre ambos), triunfará su reclamación. del art. 7.1 según el cual el productor de un componente responderá por el daño causado (ya hemos señalado que 2.2. Concepto de productor. Hardware el considerando n.º 15 de la Propuesta de Directiva conci- manufacturer frente a software be el software, incluyendo la inteligencia artificial, como manufacturer un componente o servicio conexo). Una novedad que incorpora la Propuesta de Directiva La consideración del desarrollador del software o del (considerando n.º 12 in fine) es la atribución de la condi- sistema de inteligencia artificial como productor tiene ción de productor al desarrollador del software o del siste- como consecuencia que se incluya dentro del conjunto de ma de inteligencia artificial, sujeto a quien se conoce con sujetos a quienes la Propuesta de Directiva, siguiendo el el nombre de software manufacturer en contraposición al esquema de la Directiva 85/374/CEE, imputa la responsa- productor del bien mueble tangible donde puede incorpo- bilidad. Es decir, para el legislador europeo, en la medida rarse el software, el llamado hardware manufacturer. La que el software y el algoritmo se encuentran generalmen- ampliación del círculo de sujetos que debían considerarse te interconectados o incorporados en un producto, signifi- productores había sido reclamada por la doctrina (Navas ca que el desarrollador del software y el algoritmo podrían Navarro, 2020, pág. 167; Eidenmüller, 2021, pág. 14; Wag- haber intervenido en el proceso de fabricación del bien. La ner, 2021, págs. 90-91) de acuerdo con el planteamiento de incorporación o interconexión del software con el producto considerar el software como producto a la luz de la futura es sumamente relevante, puesto que con independencia de directiva que se adopte en esta materia. la relación contractual existente entre el productor del bien y el del software, quienes fabricaron el producto acabado El art. 3 de la Directiva 85/374/CEE ya consideraba al pro- responderán solidariamente frente a la víctima, en tanto ductor de un componente o de una parte integrante como que ambos elementos se encuentran vinculados. productor, pero la Propuesta de Directiva ha venido a cla- rificar que el desarrollador del software o del sistema de A mi modo de ver las cosas, la responsabilidad solidaria de inteligencia artificial es productor, habida cuenta de que, los productores operará cuando el bien mueble tangible como productor de un software, quedaba fuera del ámbito y el sistema de inteligencia artificial se presenten ante la de aplicación de la Directiva 85/374/CEE. La aclaración es víctima como un todo, es decir, porque ambos componen- bienvenida y, por tanto, la víctima, en virtud del principio tes se encuentran agregados (bundled products) (Wagner, de responsabilidad solidaria que sigue consagrando el art. 2021, pág. 102). En otro orden de cosas nos encontraría- 11 de la Propuesta de Directiva, ante la imposibilidad de mos si el software fuera instalado posteriormente por la determinar a qué productor es imputable el daño causado, víctima o por otro productor fuera del ámbito de control podrá dirigir su demanda contra el desarrollador del sof- del productor original. Por tanto, en la medida que el daño tware o del sistema de inteligencia artificial al amparo de es provocado por un bien que incorpora un sistema de la futura directiva que se adopte en esta materia. inteligencia artificial o algoritmo, tanto el productor del bien como el productor del software serán responsables 2.3. La responsabilidad solidaria del por el daño causado. De ahí que en los supuestos de bie- desarrollador del sistema de inteligencia nes con sistemas de inteligencia artificial incorporados artificial y del productor del bien o interconectados no sea relevante para que prospere la imputación del daño al productor del bien o al desarrolla- Como hemos apuntado anteriormente, la Propuesta de dor del algoritmo, puesto que responderán solidariamente Directiva se limita a declarar en su considerando n.º 12 (Navas Navarro, 2020, pág. 170).4 4. Las comunicaciones M2M permiten que el robot informe al usuario o a la víctima de los defectos existentes. Además, el acceso a la caja negra de este tipo de productos puede facilitar la carga de la prueba de la víctima. Ello puede facilitar la identificación del sujeto responsable. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 6 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial No obstante, a pesar del reconocimiento de la responsa- mente concebido incorpora, por un lado, el bien mueble bilidad solidaria de los productores, existen algunos su- y, por otro lado, el software o el sistema de inteligencia puestos problemáticos: ¿Qué pasa en los casos donde el artificial, a mi modo de ver el desarrollador del software y software manufacturer no forma parte de la organización del sistema de inteligencia artificial no podrían ostentar la del productor del bien? ¿Es un tercero? ¿Pierde la condi- condición de terceros, habida cuenta de que sin el softwa- ción de tercero si el software o el sistema de inteligencia re o el sistema de inteligencia artificial el bien no es capaz artificial se halla incorporado o interconectado con el bien de desarrollar sus funciones propias (considerando n.º 15 mueble? ¿Y si el software o el sistema de inteligencia arti- de la Propuesta de Directiva). Frente a la víctima impera la ficial pueden descargarse libremente de la red? concepción global del producto, independientemente de la relación contractual existente entre el hardware manu- 2.4. ¿El desarrollador del software o algoritmo facturer y el software manufacturer. Esta conclusión viene puede ser un tercero? avalada por lo dispuesto en el considerando n.º 40 de la Propuesta de Directiva, que establece que cuando varios Tradicionalmente, el concepto de tercero se ha explicado operadores económicos sean responsables del mismo en torno a la pertenencia del sujeto a la organización del daño la víctima podrá reclamar su responsabilidad tanto productor. Así, el tercero es un sujeto ajeno al productor, al productor del bien como al productor del componente, pero con su intervención, unida al defecto que afecta al y que ambos responderán directa y solidariamente. producto, agrava el daño sufrido por la víctima. Actual- mente, el desarrollador del software o del sistema de No obstante, en aquellos casos donde el bien se haya inteligencia artificial puede pertenecer a la organización puesto a disposición en el mercado como un producto aca- del productor, pero no tiene que ser así necesariamente bado y sea la víctima o un tercero ajeno a la organización porque puede ser ajeno a su organización. No cabe duda del producto originario y fuera de su control6 quien haya de que, si forma parte de la organización del productor, no instalado un software o un sistema de inteligencia artifi- podrá ser considerado un tercero ni podríamos estar ante cial en el producto, entonces sí que, en este último caso, un supuesto de responsabilidad civil vicaria (Pagallo, 2013, debe considerarse un tercero a los efectos de exonerar la págs. 130-132; Barfield, 2018, págs. 193-203). responsabilidad del productor originario del bien (art. 10.2 de la Propuesta de Directiva). Y es que, en este supuesto, Sin embargo, a los efectos de responder a las preguntas el desarrollador del software o del sistema de inteligencia planteadas, en mi opinión sería útil que durante el pro- artificial no forma parte de la organización del productor cedimiento legislativo se introdujera en la Propuesta de ni tampoco el sistema está incorporado o interconectado Directiva una definición de producto acabado,5 definición en el producto inicialmente. Además, la intervención en el que tampoco incorpora la Directiva 85/374/CEE, a pesar bien instalando el software o el algoritmo se produce con de que en diversos preceptos aparece este concepto. Por posterioridad, después de que el bien haya sido puesto a ejemplo, el art. 3 de la Directiva 85/374/CEE define el disposición en el mercado como un producto acabado. concepto de productor aludiendo al concepto de producto acabado. Sin embargo, la referencia a un producto acaba- De acuerdo con el texto de la Directiva 85/374/CEE, la do ha desaparecido del texto de la Propuesta de Directiva. reclamación contra el tercero debía encauzarse según las normas de Derecho civil de los Estados miembros, habida Un producto acabado es aquel que es puesto a disposición cuenta de que el sujeto responsable no ostentaba la condi- en el mercado sin que requiera ulteriores modificaciones ción de productor. Actualmente, a la vista de lo dispuesto y sin que las actualizaciones puedan alterar dicha condi- en el art. 7 de la Propuesta de Directiva, podría conside- ción. En la medida en que el producto acabado y global- rarse al desarrollador del software como productor de un 5. Encontramos una definición en una Propuesta de Directiva de lege ferenda en European Law Institute (2022). ELI Draft of a Revised Product Liability Directive. 6. También se echa de menos que la Propuesta de Directiva no preste más atención a los bienes reacondicionados. Tan solo encontramos una referencia en el considerando n.º 29, que establece que estaremos ante un nuevo producto si es modificado sustancialmente cuando está fuera del control del productor. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 7 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial bien reacondicionado si el bien mueble ha sido puesto a equipara el desarrollo de una actividad comercial con la disposición en el mercado como un producto acabado y el puesta a disposición de productos informáticos cuando software se ha agregado en el bien posteriormente, fuera estos se suministran a cambio de un precio o de datos per- del control del productor original. De esta forma, la pre- sonales (considerando n.º 13 de la Propuesta de Directiva). tensión indemnizatoria de la víctima podría encauzarse de Lo prevenido en el considerando n.º 13 de la Propuesta de acuerdo con la futura directiva europea en esta materia. Directiva nos recuerda lo dispuesto en el considerando n.º 24 de la DCSD: el pago del programa informático o siste- 2.5. Sistemas de inteligencia artificial open ma de inteligencia artificial puede realizarse a cambio de source. ¿Un posible supuesto de bien un precio o del suministro de datos personales, cuando reacondicionado? estos se suministran con una finalidad que no sea mejorar la seguridad, la compatibilidad o la interoperabilidad del Como venimos diciendo, el software y el algoritmo no software, lo que implica, en este último caso, el carácter necesariamente tienen que presentarse incorporados o oneroso de la contraprestación no monetaria que satisfa- interconectados con un bien mueble tangible, sino que ce el adquiriente del producto.9 pueden instalarse una vez el bien ha sido puesto a dis- posición en el mercado. Un supuesto típico sería el de los No acabamos de entender por qué la Propuesta de Direc- open source software (OSS) (Walsh y Tibbets, 2010, págs. tiva ofrece un tratamiento privilegiado a los software o 9-14). Recientemente, el Comité Especial de Inteligencia sistemas de inteligencia artificial de acceso abierto que Artificial en la Era Digital (AIDA)7 del Parlamento Europeo pueden descargarse gratuitamente cuando su desarrollo publicó un estudio8 (Theben et al., 2021, págs. 12-13) sobre o suministro se produzca al margen de una actividad los retos y los límites de los sistemas de inteligencia arti- empresarial. La Directiva 85/374/CEE se aplica a los daños ficial que apunta a algunos de los problemas relacionados causados por productos defectuosos. No constituye un re- con estos softwares. quisito de aplicabilidad de la directiva que el usuario final del producto haya satisfecho una contraprestación o que el A la luz del texto de la Propuesta de Directiva nos plantea- producto haya sido fabricado en el marco de una actividad mos cuál sería el tratamiento de este tipo de productos. comercial o empresarial (Machnikowski, 2016, págs. 42-43).10 Bajo el pretexto de no perjudicar la innovación, el conside- rando n.º 13 parte de la no aplicación de la futura directiva A mi juicio, no existe una causa atendible que motive tal al software de código abierto que puede descargarse gra- tratamiento favorable de determinados desarrolladores tuitamente de la red, siempre que se desarrolle o sumi- de software o sistemas de inteligencia artificial. En el caso nistre al margen de una actividad comercial. No obstante, del software de código abierto que puede descargarse la Propuesta de Directiva declara que estos productos sí gratuitamente de la red, a pesar de que su proveedor o que se engloban dentro del ámbito de aplicación de la desarrollador no actúe en el marco de una actividad co- Directiva cuando se suministran a cambio de un precio o mercial, igualmente pone a disposición en el mercado un cuando los datos personales del usuario se suministran al producto que puede causar daños a terceros. El desarro- desarrollador del software con otra finalidad que no sea llador o proveedor de este tipo de software o algoritmo no mejorar la seguridad, la compatibilidad o la interoperabi- lo produce por sí mismo, sino que todo el mundo puede lidad del software. La Propuesta de Directiva, por tanto, descargarse su producto a pesar de que se haya desarro- 7. AIDA es la abreviatura en inglés de Artificial Intelligence in a Digital Era. 8. Los sistemas de inteligencia artificial de este tipo de software se basan en el machine-learning. En la medida que el algoritmo tiene que trabajar con los datos de los usuarios existe el riesgo de que algunas organizaciones o individuos se apropien indebidamente de la información para fines ilícitos o ilegítimos que no ampara la licencia. Asimismo, el informe apunta a la necesidad de determinar la responsabilidad resultante de las decisiones del algoritmo que provoquen un daño a los usuarios. 9. Sobre las cuestiones relativas a la consideración de los datos personales como contraprestación en relación con la DCSD y el Reglamento (UE) 2016/679 relativo a la protección de las personas físicas en lo que respecta al tratamiento de datos personales (RGDP), vid. Castillo Parrilla, 2021, págs. 1-20; Cámara Lapuente, 2020, págs. 141-175. 10. A pesar de existir una polémica doctrinal sobre este particular, el Tribunal de Justicia ya se pronunció sobre esta cuestión en el Caso C-203/99, Veedfald v. Arhus Amtskommune. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 8 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial llado gratuitamente y fuera del ámbito de una actividad parían del ámbito de aplicación de la futura directiva y, comercial. Por tanto, la futura directiva debería aplicarse por ende, las pretensiones indemnizatorias de las víctimas a todos los bienes muebles, tangibles e incorporales, como no se tendrían que ventilar de acuerdo con el Derecho in- a los servicios y contenidos digitales, independientemente terno de los Estados miembros. del método de producción de los productos, ya sea indus- trial, artesanal o artístico (Machnikowski, 2016, pág. 43). La opción de considerar el software open source como un producto reacondicionado y de concebir su desarrollador En cuanto a la condición de productor del desarrollador como un productor parte de la posibilidad de que sea de un software o algoritmo open source, considero que factible su identificación dentro de la Unión Europea. Sin tiene relevancia el hecho de que el software o el algorit- embargo, no tiene que ser necesariamente así, y puede mo se encuentren incorporados en el producto acabado. que el proveedor o desarrollador de este tipo de software En este caso, de acuerdo con el planteamiento defendido o algoritmo se encuentre establecido en un tercer estado, en este artículo, el desarrollador del algoritmo tendría fuera de la Unión Europea. En este caso, la víctima podría que ser considerado productor porque su producto se dirigir su demanda contra el importador del producto, ha incorporado en un bien mueble tangible y ha sido pero en el caso que nos ocupa puede que tampoco exista adquirido por el usuario como un producto global y un importador en la Unión Europea porque el producto se acabado. Asimismo, considero que también debería descarga directamente de la red. Ante el problema que tener la consideración de productor en el supuesto de se plantea, la doctrina ha propuesto diferentes soluciones, que sea el productor del bien (hardware manufacturer) como la responsabilidad por cuota de mercado (market quien incorpore el algoritmo open source en el producto share liability) (Navas Navarro, 2020, págs. 170-171) y la o fuera quien indicase al usuario que debe descargarse obligación de prever un operador económico responsable el software open source para que el bien pueda realizar establecido en la Unión para que el software o el algoritmo sus funciones. A mi parecer, estos supuestos no plantean pueda ser puesto en circulación en el mercado europeo, demasiados problemas, habida cuenta de que el produc- en la línea del Reglamento (UE) 2019/1020 del Parlamento to incorpora el software open source cuando es puesto a Europeo y del Consejo, de 20 de junio de 2019, relativo a la disposición en el mercado. vigilancia del mercado y la conformidad de los productos (Wendehorst, 2021, págs. 66-67). Sí que serían más problemáticos los supuestos donde la instalación del software open source la realice un tercero, fuera del ámbito de control del productor originario, y Conclusiones con tal elemento digital el bien se vea alterado sustan- cialmente en cuanto a su funcionalidad, seguridad o inte- La Propuesta de Directiva sobre responsabilidad por roperabilidad. Una interpretación que, a mi juicio, puede daños causados por productos defectuosos prevé que el mantenerse en estos casos es reconducir este supuesto software y el algoritmo sean considerados productos. No al ámbito de los bienes reacondicionados (refurbished obstante, en lugar de usar el término software abogamos goods)11 (Bracquené et al., 2018). De esta forma, después por una reformulación del concepto de producto que utili- de la instalación del software open source realizada por un za la Propuesta de Directiva a la luz de las Directivas (UE) tercero, el bien sería considerado un producto nuevo a los 2019/770 y 2019/771 para armonizar la legislación sobre efectos de la legislación sobre daños causados por pro- responsabilidad contractual y la falta de conformidad de ductos defectuosos y quien responderá como productor los bienes con la legislación de responsabilidad extracon- será el tercero (Staed, 2017, 188-189), ajeno al ámbito de tractual por daños causados por productos defectuosos. control del productor original, que haya realizado la ins- talación del software (considerando n.º 29 y art. 7.4 de la A pesar de que la Propuesta de Directiva se refiere al sof- Propuesta de Directiva). Por tanto, acudiendo al supuesto tware como un componente o servicio conexo, entendemos de los bienes reacondicionados, estos supuestos no esca- que no debe interpretarse este concepto en clave de acce- 11. La doctrina ha definido el reacondicionamiento como el proceso a través del cual un bien usado o defectuoso readquiere las propiedades y características de un bien nuevo a través de procedimientos de clasificación, selección, inspección, desmontaje, limpieza, reprocesado y montaje. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 9 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial soriedad respecto del producto concebido como un todo, La Propuesta de Directiva deja fuera de su ámbito de sino como un integrante de este que conforma el todo. aplicación el software de código abierto que es adquirido gratuitamente de la red (open source software). No com- El desarrollador o proveedor de un software o algoritmo partimos la opción del legislador europeo. Abogamos por puede ostentar la condición de tercero, entendido como considerar al desarrollador o proveedor de un software de un sujeto ajeno a la organización del productor del pro- este tipo como un productor de un bien reacondicionado, ducto y fuera de su control, en función de la relación cuando mediante la instalación del software el producto se que mantenga con el producto acabado que es puesto vea alterado en cuanto a su funcionalidad, seguridad o in- en circulación en el mercado. Si el software o algoritmo teroperabilidad. De esta forma, la pretensión indemnizatoria se encuentra incorporado o interconectado con un bien contra el desarrollador o proveedor de este tipo de software mueble tangible (bundled product), no puede ostentar la no escaparía del ámbito de aplicación de la futura directiva y, condición de tercero, habida cuenta de que el software por tanto, la pretensión indemnizatoria de la víctima podría o algoritmo es necesario para que el bien desarrolle sus conducirse por los cauces de la legislación sobre responsabi- funciones y es adquirido por los usuarios finales como un lidad por daños causados por productos defectuosos. producto acabado que incluye, por un lado, el hardware y, por otro lado, el componente digital. No obstante, el Reconocimientos desarrollador o proveedor del software sí que ostentará la condición de tercero cuando el producto haya sido puesto El presente artículo se publica dentro del marco de las ac- a disposición en el mercado como un producto acabado, tividades del Proyecto I+D+ i Conducción autónoma y se- sin que incluya el componente digital, y posteriormente guridad jurídica del transporte / Autonomous Driving and sea instalado por un tercero o por el propio usuario. Legal Certainty of the Transport . IP. Eliseo Sierra Noguero. Referencias bibliográficas ABBOTT, R.; BORGES, G.; DACORONIA, E.; DEVILLIER, N.; JANKOWSKA-AUGUSTYN, M.; KARNER, E.; KOCH, B. A.; KRAUSOVA, A.; MACHNIKOWSKI, P.; MONTAGNANI, M. L.; MOTZFELDT, M.; PAGALLO, U.; RODRÍGUEZ DE LAS HERAS BALLELL, T.; SPINDLER, G.; WENDEHORST, C. (2019). Liability for Artificial Intelligence and Other Emerging Digital Technologies. Luxemburgo: Comisión Europea. DOI: https://doi.org/10.2838/573689 Disponible en: https://op.europa.eu/en/publication-detail/-/ publication/1c5e30be-1197-11ea-8c1f-01aa75ed71a1/language-en BARFIELD, W. (2018). «Liability for autonomous and artificially intelligence robots». Paladyn, Journal of Behavioral Robotics, núm. 9, págs. 193-203. DOI: https://doi.org/10.1515/pjbr-2018-0018 BRACQUENÉ, E.; BRUSSELAERS, J.; DAMS, Y.; PEETERS, J.; DE SCHEPPER, K.; DUFLOU, J.; DEWULF, W. (2018). «Repairability criteria for energy related products. Study in the BeNeLux context to evaluate the options to extend the product life time. Final Report» [en línea]. Disponible en: https://www.benelux. int/files/7915/2896/0920/FINAL_Report_Benelux.pdf. [Fecha de consulta: 7 de diciembre de 2022]. CÁMARA LAPUENTE, S. (2020). «Resolución contractual y destino de los datos y contenidos genera- dos por los usuarios de servicios digitales». En: ARROYO AMAYUELAS, E. y CÁMARA LAPUENTE, S. (dirs.). El derecho privado en el nuevo paradigma digital. Madrid: Marcial Pons, págs. 141-175. CASTILLO PARRILLA, J. A. (2021). «Los datos personales como contraprestación en la reforma del TRLGDCU y las tensiones normativas entre la economía de los datos y la interpretación garantista del RGPD». Diario La Ley, núm. 82, págs. 1-20. CHAGAL-FEDERKORN, K. A. (2019). «Am I an Algorithm or a Product? When Products Liability Should Apply to Algorithmic Decision-Makers». Stanford Law & Policy Review, vol. 30, núm. 61, págs. 61-114. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 10 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial COMISIÓN EUROPEA (2022). Proposal for a Directive of the European Parliament and of the Council on Liability for Defective Products. Bruselas, 28 de septiembre de 2022, COM(2022) 495 final, 2022/0302 (COD), 38 páginas. EUROPEAN LAW INSTITUTE (2022). ELI Draft of a Revised Product Liability Directive. Draft Legislative Proposal of the European Law Institute [en línea]. Disponible en: https://www.europeanlawinstitute. eu/projects-publications/current-projects/current-projects/pld/ EIDENMÜLLER, H. (2021). «The Rise of Robots and the Law of Humans». En: EIDENMÜLLER, H. y WAGNER, G. Law by Algorithm. Tübingen: Mohr Siebeck, págs. 7-19. DOI: https://doi.org/10.1628/978-3-16-157509-9 MACHNIKOWSKI, P. (ed.) (2016). European Product Liability. An Analysis of the State of the Art in the Era of New Technologies. Cambridge: Intersentia Publishing nv. DOI: https://doi.org/10.1017/9781780685243 MISCHAU, L. (2022). «The Concept of Digital Content and Digital Services in European Contract Law». European Journal of Consumer and Market Law, núm. 1, págs. 6-13. NAVARRO-MICHEL, M. (2020). «Vehículos automatizados y responsabilidad por producto defectuoso». Revista de Derecho civil, núm. 5, págs. 175-223. NAVAS NAVARRO, S. (2020). «Robot Machines and Civil Liability». En: EBERS, M. y NAVAS NAVARRO, S. (eds.). Algorithms and Law. Cambridge: Cambridge University Press, págs. 157-173. DOI: https:// doi.org/10.1017/9781108347846.006 PAGALLO, U. (2013). The Laws of Robots. Crimes, Contracts and Torts. Londres: Springer. DOI: https:// doi.org/10.1007/978-94-007-6564-1 STAED, K. C. (2017). «Open source download mishaps and product liability: who is to blame and what are the remedies?». Saint Louis University Public Law Review, núm. 36, págs. 169-191. THEBEN, A.; GUNDERSON, L; LÓPEZ-FORÉS, L.; MISURACA, G.; LUPIÁÑEZ-VILLANUEVA, F. (2021). Challenges and limits of an open source approach to Artificial Intelligence [study for the Special Committee on Artificial Intelligence in a Digital Age (AIDA)]. Luxemburgo: Policy Department for Economic, Scientific and Quality of Life Policies, European Parliament. WAGNER, G. (2021). «Robot Liability». En: EIDENMÜLLER, H. y WAGNER, G. Law by Algorithm. Tübin- gen: Mohr Siebeck, págs. 73-102. WALSH, E. J.; TIBBETTS, A. J. (2010). «Reassessing The Benefits and Risks of Open Source Software». Intellectual Property & Technology Law Journal, vol. 2, núm. 1, págs. 9-14. WENDEHORST, C. (2021). «Safety and Liability Related Aspects of Software». Luxemburgo: Comisión Europea. DOI: https://doi.org/10.1515/9783110775402-002 Cita recomendada IZQUIERDO GRAU, Guillem (2023). «Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial». IDP. Revista de Internet, Derecho y Política, núm. 38. UOC [Fecha de consulta: dd/mm/aa] http://dx.doi.org/10.7238/idp.v0i38.406131 IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 11 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya Universitat Oberta de Catalunya https://idp.uoc.edu Software y algoritmos defectuosos: algunas consideraciones sobre la responsabilidad del desarrollador de software o de sistemas de inteligencia artificial Los textos publicados en esta revista están —si no se indica lo contrario— bajo una licencia Reconocimiento-Sin obras derivadas 3.0 España de Creative Commons. Puede copiarlos, distribuirlos y comunicarlos públicamente siempre que cite su autor y la revista y la institu- ción que los publica (IDP. Revista de Internet, Derecho y Política; UOC); no haga con ellos obras derivadas. La licencia completa se puede consultar en: http://creativecommons.org/ licenses/by-nd/3.0/es/deed.es. Sobre el autor Dr. Guillem Izquierdo Grau Departamento de Derecho Privado, Universidad Autónoma de Barcelona guillem.izquierdo@uab.cats Profesor lector (tenure-eligible lecturer Serra Húnter) del Departamento de Derecho Privado de la Universidad Autónoma de Barcelona. Actualmente, sus intereses de investigación se centran en el De- recho de consumo (falta de conformidad y remedios) y en la responsabilidad por daños causados por productos defectuosos. En este sentido, forma parte de grupos de investigación sobre estas temáticas y es autor de numerosas publicaciones sobre la materia. IDP N.º 38 (octubre, 2023) I ISSN 1699-8154 12 Revista de los Estudios de Derecho y Ciencia Política 2023, Guillem Izquierdo Grau de esta edición: 2023, Universitat Oberta de Catalunya