Individual rights in the AI Act

The rights to complain and to an explanation of the decision-making process in individual cases

Authors

  • Gerrit Hornung
  • Fabiano Menke
  • Victoria Paganella

Keywords:

AI Act, Individual rights, Right to complain, Right to an explanation of the decision-making process in individual cases, Artificial Inteligence

Abstract

While the Commission’s draft AI Act practically completely ignored the legal positions of individuals, the adopted text contains a much stronger focus in this direction and introduces two new individual rights in particular. Given the relevance of many AI systems to fundamental rights, this is to be welcomed; however, the concrete implementation raises new questions both within the internal system of the AI Act and in relation to the GDPR.

Downloads

Download data is not yet available.

Author Biographies

Gerrit Hornung

Professor de Direito Público, Direito da Tecnologia da Informação e Direito Ambiental na Universidade de Kassel, Alemanha. Diretor do Wissenschaftliches Zentrum für Informationstechnik-Gestaltung (ITeG).

Fabiano Menke

Doutor em Direito pela Universidade de Kassel, Alemanha. Mestre em Direito e Especialista em Direito Internacional pela UFRGS. Professor Associado de Direito Civil da Faculdade de Direito da Universidade Federal do Rio Grande do Sul (UFRGS). Advogado.

Victoria Paganella

Doutoranda em Direito Público, Direito da Tecnologia da Informação e Direito Ambiental pela Universidade de Kassel, Alemanha. Bolsista do Deutscher Akademischer Austauschdienst (DAAD). Mestre em Direito pela UFRGS.

References

BÄCKER, Matthias. Art. 13 DSGVO Informationspflicht bei Erhebung von personenbezogenen Daten bei der betroffenen Person. In: KÜHLING, Jürgen; BUCHNER, Benedikt. 3. ed. Munique: C.H. Beck, 2020. Rn. 54.

BIBAL, Adrien; LOGNOUL, Michael; DE STREEL, Alexandre; FRÉNAY, Benoît. AI and Law, v. 29, 2021. p. 149.

BOMHARD, David; MERKLE, Marieke. Europäische KI-Verordnung. Der aktuelle Kommissionsentwurf und praktische Auswirkungen RDi, n. 6, 2021. p. 276.

BREYER, Patrick. Proposal for a Regulation Of The European Parliament And Of The Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts 2021/0106(COD). 2024. Disponível em: [www.patrick-breyer.de/wp-content/ uploads/2024/01/AIAct_final_four-column21012024.pdf].

BUSCH, Christoph. Algorithmic Accountability, ABIDA Gutachten, 2018. p. 56. BUTT, Junaid Sattar. Analytical Study of the World’s First EU Artificial Intelligence (AI) Act, 2024. IJRPR, v. 5, n. 3, 2024. p. 7343.

COBBE, Jennifer; SINGH, Jatinder. Reviewable automated decision-making. CLSR, v. 39, 2020. p. 105475.

DELLERMANN, Dominik; EBEL, Philipp; SÖLLNER, Matthias; LEIMEISTER, Jan Marco. Hybrid intelligence. Business & Information Systems Engineering, v. 61, p. 637-643, 2019. DIX, Alexander. Art. 13 DSGVO Informationspflicht bei Erhebung von personenbezogenen Daten bei der betroffenen Person. In: SIMITIS, Spiros; HORNUNG, Gerrit; SPIECKER GEN. DÖHMANN, Indra (Coord.). Datenschutzrecht. 2. ed. Baden-Baden: Nomos, 2025. Rn. 17.

EBERS, Martin; HOCH, Veronica; ROSENKRANZ, Frank; RUSCHEMEIER, Hannah; STEINRÖTTER, Björn. Der Entwurf für eine EU-KI-Verordnung: Richtige Richtung mit Optimierungsbedarf. RDi, n. 11, 2021. p. 528. EBERT, Andreas; SPIECKER GEN. DÖHMANN, Indra. Der Kommissionsentwurf für eine KI-Verordnung der EU: Die EU als Trendsetter weltweiter KI-Regulierung. NVwZ, n. 16, 2021. p. 1188.

FEUERSTACK, Daniel; BECKER, Daniel; HERTZ, Nora. Die Entwürfe des EU-Parlaments und der EU-Kommission für eine KI-Verordnung im Vergleich: Eine Bewertung mit Fokus auf Regeln zu Transparenz, Forschungsfreiheit, Manipulation und Emotionserkennung. ZfDR, n. 4, 2023. p. 421.

FRANCK, Lorenz. Art. 13 DSGVO Informationspflicht bei Erhebung von personenbezogenen Daten bei der betroffenen Person. In: GOLA, Peter; HECKMANN, Dirk. Datenschutz-Grundverordnung – Bundesdatenschutzgesetz. 3. ed. 2022. Rn. 31.

GEMINN, Christian. Die Regulierung Künstlicher Intelligenz: Anmerkungen zum Entwurf eines Artificial Intelligence Act. ZD, n. 7, 2021. p. 354.

GUCKELBERGER, Annette. Öffentliche Verwaltung im Zeitalter der Digitalisierung, 2019. HACKER, Philipp. Comments on the Final Trilogue Version of the AI Act, 2024. Disponível em: [https://papers.ssrn.com/sol3/papers.cfm?abstract_ id=4757603].

HACKER, Philipp. Ein Rechtsrahmen für KI-Trainingsdaten. ZGE, v. 3, 2020. p. 239. HACKER, Philipp. Immaterialgüterrechtlicher Schutz von KI-Trainingsdaten. GRUR, n. 10, 2020. p. 1025.

HACKER, Philipp; KRESTEL, Ralf; GRUNDMANN, Stefan; NAUMANN, Felix. Explainable AI under Contract and Tort Law: Legal Incentives and Technical Challenges. AI and Law, n. 28, 2020. p. 415.

HORNUNG, Gerrit. KI-Regulierung im Mehrebenensystem: Der KI-Verordnungsentwurf und regulatorische Perspektiven der Mitgliedstaaten. DuD, v. 46, 2022. p. 561.

HORNUNG, Gerrit. Trainingsdaten und die Rechte von betroffenen Personen – in der DSGVO und darüber hinaus? In: BMUV; ROSTALSKI, Frauke (Coord.). Künstliche Intelligenz: Wie gelingt eine vertrauenswürdige Verwendung in Deutschland und Europa?, Tübingen: Mohr Siebeck, 2022. p. 91.

KÄDE, Lisa; V. MALTZAN, Stephanie. Die Erklärbarkeit von Künstlicher Intelligenz (KI): Entmystifizierung der Black Box und Chancen für das Recht. CR, v. 1, 2020. p. 66.

KÖRNER, Sven. Kapitel 2.4 Nachvollziehbarkeit von KI-basierten Entscheidungen. In: KAULARTZ, Markus; BRAEGELMANN, Tom (Coord.). AI und Machine Learning-HdB. Munique: C.H. Beck, 2020. LÜTZ, Fabian. The AI Act, gender equality and non-discrimination: what role for the AI office? ERA Forum, v. 25, 2024. [https://doi.org/10.1007/s12027- 024-00785-w].

MAHAM, Pegah; KÜSPERT, Sabrina. Governing General Purpose AI, Policy Brief der Stiftung Neue Verantwortung, 2023. MALGIERI, Gianclaudio. Automated decision-making in the EU Member States: The right to explanation and other “suitable safeguards” in the national legislations. CLSR, v. 35, 2019. p. 105327.

MARTINI, Mario. Blackbox Algorithmus. Springer, 2019.

MARTINI, Mario; HAIN, Jonathan; RUSCHEMEIER, Hannah. Staatshaftung für automatisierte Verwaltungsentscheidungen: künstliche Intelligenz als Herausforderung für das Recht der staatlichen Ersatzleistungen. VerwArch, v. 112, 2021. p. 1.

MUTTACH, Jan-Philipp; LINK, Hendrik. Verarbeitung personenbezogener Daten in KI-Reallaboren nach dem KI-VO-E. CR, v. 11, 2023. p. 725. O’HARA, Kieron. Explainable AI and the philosophy and practice of explanation. CLSR, v. 39, 2020, 105474.

PANIGUTTI, Cecilia et al. The role of explainable AI in the context of the AI Act. ACM, 2023. p. 1139. Disponível em: [https://dl.acm.org/ doi/10.1145/3593013.3594069].

ROHLFING, Katharina et al. Explanation as a social practice: Toward a conceptual framework for the social design of AI systems. IEEE Transactions on Cognitive and Developmental Systems, v. 13, n. 3, p. 717-728, 2021. DOI: [https:// doi.org/10.1109/TCDS.2020.3044366]. ROST, Martin. Künstliche Intelligenz: Normative und operative Anforderungen des Datenschutzes. DuD, v. 42, 2018. p. 558.

ROSTALSKI, Frauke; WEISS, Erik. Der KI-Verordnungsentwurf der Europäischen Kommission. ZfDR, n. 4, 2021. p. 329. ROTENBERG, Marc. Artificial Intelligence and Democratic Values: The Role of Data Protection. EDPL, n. 4, v. 7, 2021. p. 496.

ROTH-ISIGKEIT, David. Staatshaftungsrechtliche Aspekte des Einsatzes automatisierter Entscheidungssysteme in der öffentlichen Verwaltung. AöR, v. 2, n. 145, 2020. p. 321.

SESING, Andreas. Grenzen systemischer Transparenz bei automatisierter Datenverarbeitung: Umfang und Grenzen der Pflicht zur Bereitstellung aussagekräftiger Informationen über die involvierte Logik. MMR, n. 4, 2021. p. 288.

SPINDLER, Gerald. Der Vorschlag der EU-Kommission für eine Verordnung zur Regulierung der Künstlichen Intelligenz (KI-VO-E) – Ansatz, Instrumente, Qualität und Kontext. CR, v. 37, n. 6, 2021. p. 361.

STEVENS, Jeremy. Datenqualität bei algorithmischen Entscheidungen. CR, n. 2, 2020. p. 73.

SUDMANN, Andreas. On the Media-political Dimension of Artificial Intelligence: Deep Learning as a Black Box and OpenAI. Digital Culture & Society, v. 4, n. 1, 2018. p. 181.

THÖNE, Meik. Autonome Systeme und deliktische Haftung. Tübingen: Mohr Siebeck, 2020.

UNGER, Sebastian; V. UNGERN-STERNBERG, Antje (Coord.). Demokratie und künstliche Intelligenz. Tübingen: Mohr Siebeck, 2019.

VALTA, Matthias; VASEL, Johann Justus. Kommissionsvorschlag für eine Verordnung über Künstliche Intelligenz: Mit viel Bürokratie und wenig Risiko zum KI-Standort? ZRP, n. 5, 2021. p. 142.

VOGEL, Paul. Künstliche Intelligenz und Datenschutz. Baden-Baden: Nomos, 2022.

WALTL, Bernhard; VOGL, Roland. Increasing Transparency in Algorithmic- -Decision-Making with Explainable AI. DuD, v. 42, n. 10, 2018. p. 613.

WINAU, Mona. Gewährleistung effektiven Grundrechtsschutzes auf Grundlage des Kommissionsentwurfs für eine KI-Verordnung? ZdiW, v. 3, n. 1, 2023. p. 14.

WISCHMEYER, Thomas. Artificial Intelligence and Transparency: Opening the Black Box. In: WISCHMEYER, Thomas; RADEMACHER, Timo (Coord.). Regulating Artificial Intelligence, Springer, 2019. p. 75.

WISCHMEYER, Thomas. Regulierung intelligenter Systeme. AöR, v. 143, n. 1, 2018. p. 1.

Downloads

Published

2026-03-09

How to Cite

HORNUNG, Gerrit; MENKE, Fabiano; PAGANELLA, Victoria. Individual rights in the AI Act: The rights to complain and to an explanation of the decision-making process in individual cases. Journal of Contemporary Private Law, [S. l.], v. 44, n. 12, p. 303–323, 2026. Disponível em: https://ojs.direitocivilcontemporaneo.com/index.php/rdcc/article/view/1674. Acesso em: 10 mar. 2026.

Issue

Vol. 44 (2025)

Section

Doutrina Internacional

License

A política de direitos autorais é informada nas Normas de Publicação para autores de colaboração autoral inédita e é aqui resumida: (a) o autor cede os direitos autorais à RDCC e seus editores; (b) a remuneração do autor consiste no recebimento de um exemplar da RDCC, no qual sua contribuição foi publicada. Os textos publicados podem ser utilizados.