1. Mô tả meta: Bài viết này khám phá Cách quản lý các hệ thống AI liên kết, nhấn mạnh tầm quan trọng của đào tạo, công nghệ và khung quản trị để đảm bảo tính an toàn và hiệu quả trong các hệ sinh thái AI phức tạp.
2. Từ khóa meta: quản lý hệ thống AI, hệ sinh thái AI, đào tạo AI, công nghệ AI, khung quản trị AI, rủi ro AI, liên kết AI.
3. Tiêu đề SEO hấp dẫn: Quản lý hệ sinh thái AI liên kết: Thách thức và Giải pháp cho Tương lai
- Hệ thống AI ngày càng liên kết với nhau, tạo ra những phức tạp và rủi ro mới trong quản lý.
- Việc quản lý các hệ sinh thái này đòi hỏi đào tạo toàn diện, thiết kế cơ sở hạ tầng công nghệ và quy trình để thúc đẩy sự hợp tác.
- Các ví dụ từ lĩnh vực chăm sóc sức khỏe, dịch vụ tài chính và pháp lý cho thấy những thách thức và cách vượt qua chúng.
- Đào tạo nhân viên không chỉ cần thiết để sử dụng AI mà còn để hiểu cách các hệ thống tương tác với nhau.
- Một thuật toán ưu tiên ghép gan ở Vương quốc Anh đã đánh giá thấp bệnh nhân trẻ tuổi, dẫn đến quyết định sai lầm trong y tế.
- Trong ngành tài chính, mô hình tín dụng có thể ảnh hưởng đến các quyết định của các hệ thống AI khác, làm tăng khả năng sai sót hoặc thiên lệch.
- Luật sư ngày càng sử dụng AI trong nhiều nhiệm vụ như nghiên cứu luật và đánh giá rủi ro nhưng thiếu hướng dẫn về việc tích hợp các công cụ này vào quy trình làm việc.
- Công nghệ cần được thiết kế để đảm bảo tính tương tác giữa các hệ thống AI nhằm giảm thiểu rủi ro.
- Cần có khung quản trị rõ ràng để theo dõi trách nhiệm trong các hệ sinh thái AI phức tạp.
- Các quy định gần đây như Đạo luật Dịch vụ Kỹ thuật số của EU cung cấp hướng dẫn về tính minh bạch và trách nhiệm trong việc sử dụng AI.
- Cần thiết lập các vòng phản hồi để theo dõi và cải thiện các hệ sinh thái AI theo thời gian.
📌 Các hệ sinh thái AI đang trở nên phức tạp hơn bao giờ hết. Để quản lý hiệu quả, cần chú trọng đến đào tạo nhân viên, thiết kế công nghệ phù hợp và xây dựng khung quản trị mạnh mẽ nhằm đảm bảo an toàn và trách nhiệm.
Hướng Dẫn Quản Lý Hệ Thống AI Liên Kết Tác giả: I. Glenn Cohen, Theodoros Evgeniou và Martin Husovec Ngày 16 tháng 12, 2024
Minh họa bởi Brian Rea
Tóm tắt: Các hệ thống AI ngày càng trở nên liên kết với nhau, tạo ra những thách thức và rủi ro mới. Việc quản lý hiệu quả các hệ sinh thái này đòi hỏi đào tạo toàn diện, thiết kế cơ sở hạ tầng và quy trình công nghệ nhằm thúc đẩy sự hợp tác, cùng với các khuôn khổ quản trị mạnh mẽ. Các ví dụ từ y tế, dịch vụ tài chính và ngành pháp lý minh họa những thách thức này và các giải pháp khả thi.
Một bác sĩ sử dụng AI để soạn thảo yêu cầu phê duyệt trước, biến một quy trình có thể tẻ nhạt và tốn thời gian thành một quy trình hiệu quả hơn. Tuy nhiên, nếu AI của công ty bảo hiểm từ chối yêu cầu dựa trên các tiêu chí mà hệ thống của bác sĩ không tính đến, kết quả sẽ là sự trì hoãn và thất vọng. Đây chính là thực tế mới của các hệ sinh thái AI: mạng lưới liên kết các hệ thống và tác nhân thông minh có thể hợp tác, cạnh tranh hoặc xung đột trong các đơn vị kinh doanh hoặc tổ chức. Những hệ sinh thái này mang đến cơ hội mới nhưng cũng đồng thời tạo ra các thách thức và rủi ro.
Để xây dựng và quản lý chúng một cách an toàn và có trách nhiệm, cần phải suy nghĩ lại về đào tạo lực lượng lao động, tận dụng công nghệ để đảm bảo sự phối hợp và thiết lập các khuôn khổ quản trị nhằm duy trì niềm tin và trách nhiệm giải trình. Bài viết này thảo luận các nguyên tắc đó và đưa ra ví dụ dựa trên nghiên cứu của nhóm tác giả và nhiều nhà nghiên cứu khác trong lĩnh vực rủi ro và quy định liên quan đến AI.
Đào Tạo Để Hoạt Động Trong Hệ Sinh Thái AI Khi các công ty áp dụng AI trên quy mô lớn, việc tập trung đào tạo AI trở nên quan trọng hơn bao giờ hết. Hệ sinh thái AI bao gồm nhiều lớp hệ thống phụ thuộc lẫn nhau, nơi đầu ra của một công cụ không chỉ ảnh hưởng đến quyết định của người dùng mà còn đến hoạt động của các hệ thống AI khác và cả những quyết định tiếp theo. Do đó, nhân viên phải có khả năng không chỉ làm việc với AI mà còn điều hướng và điều tiết các tương tác của nhiều hệ thống AI.
Ví dụ, một thuật toán được sử dụng để ưu tiên ghép gan ở Vương quốc Anh bằng cách dự đoán khả năng sống sót trong 5 năm của bệnh nhân đã đánh giá thấp giá trị của các bệnh nhân trẻ tuổi, vì lợi ích của họ kéo dài hơn 5 năm và họ có khả năng sống sót cao hơn mà không cần ghép gan. Tương tự, một thuật toán tái nhập viện tại bệnh viện ở Mỹ đã ưu tiên cho các bệnh nhân da trắng ít bệnh hơn so với các bệnh nhân da đen bị bệnh nặng hơn do sử dụng chi phí y tế làm đại diện cho nhu cầu.
Trong ngành dịch vụ tài chính, đầu ra từ một mô hình – như điểm tín dụng – có thể trở thành đầu vào cho các hệ thống AI khác, khiến sai sót hoặc thiên lệch từ mô hình ban đầu lan rộng trong toàn bộ hệ thống. Kết hợp với sự thiên lệch tự động hóa AI – xu hướng người dùng tin tưởng kết quả AI một cách không suy xét – các sai sót có thể không được phát hiện, đặc biệt so với các quy trình AI đơn giản hơn hiện nay.
Ngành pháp lý cũng là một ví dụ điển hình. Luật sư và sinh viên luật ngày càng sử dụng AI trong các nhiệm vụ truyền thống như nghiên cứu và tóm tắt án lệ, xác định tài liệu liên quan trong quá trình phát hiện thông tin, xác định điều khoản hợp đồng và đánh giá rủi ro. Tuy nhiên, hiện tại luật sư vẫn thiếu hướng dẫn về cách tích hợp các công cụ này vào quy trình làm việc hoặc giải thích đầu ra của AI cho khách hàng khi kết quả đó được tạo ra từ nhiều thuật toán AI tương tác.
Để giải quyết những vấn đề này, đào tạo cần vượt xa các kiến thức cơ bản về cách sử dụng công cụ AI. Nhân viên cần được trang bị kỹ năng đánh giá phê bình đầu ra AI, hiểu cách dữ liệu và quyết định được truyền qua các hệ thống AI liên kết và hành động khi có xung đột.
Tận Dụng Công Nghệ Để Cải Thiện Sự Phối Hợp Trong khi đào tạo chuẩn bị cho con người, công nghệ giúp các hệ thống AI tương tác hiệu quả hơn. Tính tương tác là nền tảng, nhưng thách thức lớn hơn nằm ở việc thiết kế cơ sở hạ tầng và quy trình công nghệ thúc đẩy sự hợp tác giữa các hệ thống AI đồng thời giảm thiểu rủi ro.
Việc thiết kế chủ động “chuỗi cung ứng” dữ liệu và AI trong tổ chức là điểm khởi đầu hữu ích. Ví dụ, trong lĩnh vực y tế, một AI ở cấp độ thượng nguồn có thể tổng hợp dữ liệu từ các bản chụp X-quang toàn cầu để phát triển mô hình chẩn đoán. Một ứng dụng trung nguồn có thể tùy chỉnh mô hình này cho một hệ thống bệnh viện cụ thể, trong khi công cụ hạ nguồn giúp các bác sĩ sàng lọc ca bệnh.
Các hệ sinh thái phức tạp hơn có thể xuất hiện theo thời gian. Ví dụ, trong hoạt động tin cậy và an toàn của các nền tảng trực tuyến, các hệ thống AI cho phân tích nội dung, đánh giá cảm xúc và giám sát hành vi người dùng thường hoạt động độc lập, gây ra khoảng trống hoặc chồng chéo trong việc ra quyết định.
Quản Trị Cho Các Hệ Sinh Thái Phức Tạp Quy mô và sự phức tạp của các hệ sinh thái AI đang nổi lên đòi hỏi khuôn khổ quản trị AI rõ ràng. Tính liên kết của các hệ thống này làm gia tăng rủi ro từ các sai sót dây chuyền, thiên lệch và lỗ hổng trách nhiệm giải trình.
Sự minh bạch là yếu tố cốt lõi. Trong hệ sinh thái AI, trách nhiệm giải trình thường bị che khuất bởi các lớp tương tác. Ví dụ, trong y tế, nếu một công cụ hạ nguồn chẩn đoán sai, lỗi nằm ở đâu: mô hình thượng nguồn, tùy chỉnh trung nguồn hay quá trình triển khai lâm sàng?
Bằng cách áp dụng các nguyên tắc này, doanh nghiệp có thể tạo ra các hệ sinh thái AI vừa hiệu quả vừa được tin cậy và phù hợp với đạo đức.
An Toàn Trong Kỷ Nguyên Hệ Sinh Thái AI Khi các công ty phát triển chiến lược AI và áp dụng AI vào quy trình, hệ sinh thái AI sẽ ngày càng trở nên phức tạp hơn. Thành công đòi hỏi phải chuẩn bị lực lượng lao động, tận dụng công nghệ để đảm bảo sự phối hợp giữa các hệ thống và thiết lập các khuôn khổ quản trị đảm bảo trách nhiệm giải trình, khả năng thích ứng và sự an toàn.
Increasingly, AI systems are interconnected, which is generating new complexities and risks. Managing these ecosystems effectively requires comprehensive training, designing technological infrastructures and processes so they foster collaboration, and robust governance frameworks. Examples from healthcare, financial services, and legal profession illustrate the challenges and ways to overcome them.
A doctor uses AI to draft a prior authorization request, transforming what might be a tedious, time-consuming process into an efficient one. Yet, if an insurer’s AI rejects the request based on criteria the doctor’s system didn’t account for, the result is delays and frustration. This is the new reality of AI ecosystems: interconnected networks of intelligent agents and systems that collaborate, compete, or clash across business units or organizations. These ecosystems can offer new opportunities but also introduce new complexities and risks.
Building and managing them safely and responsibly requires, among other things, rethinking workforce training, leveraging technology to enable alignment and coordination, and establishing governance frameworks that ensure trust and accountability. In this article, we discuss these precepts, and provide examples based on the research we and others have been doing in the space of AI risks and regulations.
Training to Operate within AI Ecosystems
As companies adopt AI across the board, doubling down on AI training becomes increasingly important. AI ecosystems involve layers of interdependent systems, where one tool’s outputs influence not only their users’ decisions but also the operation of other AI systems — and therefore also other downstream decisions. Employees must therefore strengthen their ability not only to work with AI but also to navigate and mediate the interactions of multiple AI systems. They need to also be more sensitive not only to how these systems may impact their own decisions but also those of others inside or outside of the organization.
Consider the example of an algorithm used to prioritize liver transplants in the United Kingdom by predicting patients’ five-year survival with and without a transplant. This approach undervalued younger patients, whose benefits extend far beyond five years, and further penalized them since they are likelier to survive without a transplant. One critic noted, “If you’re below 45 years, no matter how ill, it is impossible for you to score high enough.” Similarly, a U.S. hospital readmission algorithm prioritized less sick white patients over sicker Black patients by using as one of its inputs healthcare costs as a proxy for need.
In the financial services industry, outputs from one model — such as credit scores — can serve as inputs for downstream AI systems, allowing potential errors or biases from the credit models to propagate through the network. This highlights not only the complexities of managing individual AI systems but also the broader challenge of interconnected systems, where initial flaws can ripple through and possibly amplify errors or inequities in subsequent decisions. Coupled with AI automation bias — users’ tendency to trust AI results without question — errors may go unchecked, especially compared to simpler scoring and AI-usage practices today.
The legal profession provides yet another example. Lawyers and law students are increasingly using AI in a host of tasks traditionally done by humans, such as using AI to research and summarize relevant case law, identify relevant documents and streamline document review as part of the discovery process in lawsuits, identify relevant clauses in contracts, and assess risks. However, today’s lawyers often lack guidance on how to integrate these tools into workflows or explain AI-generated outputs to clients when those outputs are the result of the work of many interacting AI algorithms. Training programs should focus not only on tool usage but also on understanding how multiple systems — such as those performing analysis of existing legal precedents and client risk assessment — work together to inform decisions.
To address these issues, training must extend beyond the basics of how to operate AI tools. It must equip employees to critically evaluate AI outputs, understand how data and decisions flow across interconnected AI systems, and take action when conflicts arise. Clinicians, for instance, should learn to cross-reference diagnostic outputs with patient records and challenge triage recommendations when inputs appear incomplete.
Employees need skills to assess how AI tools interact within each other, how the organization’s AI “supply chains” — the intricate networks of datasets, models and tooling — are evolving, identifying when biases or errors in one system affect downstream decisions. For example, they should recognize when upstream data biases propagate into downstream recommendations or when conflicting outputs indicate a breakdown in coordination. Training should also empower employees to address these challenges, whether by adapting workflows, redefining AI systems’ interactions, or optimizing the management of data and AI supply chains.
Leveraging Technology to Improve Alignment
While training prepares people, technology can enable AI systems to interact effectively and efficiently. Interoperability is foundational, but the broader challenge is designing technological infrastructures and processes that foster collaboration across AI systems while mitigating risks. It is not only about traditional technical interoperability; it is also about the interdependence of decisions and alignment.
Proactively designing the organization’s data and AI supply chains provides a useful starting point: Upstream systems — like generative AI models trained on large datasets — feed into midstream applications that adapt those models for specific industries, which, in turn, power downstream tools for end users. For instance, in healthcare, an upstream AI aggregates data from global radiology scans to develop a diagnostic model. A midstream application might customize this model for a specific hospital system, while a downstream tool might enable clinicians to triage cases. When these layers work in harmony, they can improve efficiency and the quality of diagnostic outcomes. However, misalignments — such as upstream models being insufficiently transparent about data sources — can propagate errors through the chain.
More complex ecosystems can emerge over time. For example, in trust and safety operations for online platforms, which aim to ensure the safety as well as freedom of expression of users while removing illegal content online, AI systems for content detection, sentiment analysis, and monitoring user behavior often operate independently, creating gaps or overlaps in decision-making. Better integrating these systems can provide moderators with real-time insights, ensuring that decisions — like banning a user or flagging content — are consistent and defensible.
These examples show why organizations need to design AI systems as interconnected frameworks rather than isolated tools, and to start thinking of their data and AI supply chains from the get-go. For instance, ensuring diagnostic AI systems in healthcare seamlessly share data with triage tools can prevent critical errors. Similarly, in trust and safety, integrating content detection and user-behavior-analysis tools can ensure consistent decision-making. Moreover, adversarial AI systems can be leveraged to thoroughly and continuously test an organization’s AI — effectively using AI to safeguard AI. By adopting technologies that facilitate coordination and continuous robustness testing, and reworking processes to align AI interactions, businesses can leverage their evolving AI ecosystems not only to create value but also to avoid value destruction due to potential AI risks that may be hidden somewhere in the chain.
Governance for Complex Ecosystems
The scale and complexity of the emerging AI ecosystems demand clear AI governance frameworks. The interconnected nature of these systems introduces risks of cascading failures, amplified biases, and accountability gaps. Robust governance must address these challenges while fostering trust and adaptability.
Insight Center Collection
Collaborating with AI
How humans and machines can best work together.
Transparency is paramount. In AI ecosystems, accountability often becomes obscured by the layers of interaction. For example, in healthcare, if a downstream tool misdiagnoses a patient, was the fault in the upstream diagnostic model, the midstream customization, or the clinical implementation? Organizations must adopt governance frameworks that can trace decisions back through the system, enabling root-cause analysis — to understand the fundamental origins of a problem — and continuous improvement.
Empowering end users is another critical governance priority. While organizations often centralize AI deployment to maintain consistency, giving end users flexibility to adapt AI systems can both unlock innovation and allow managing risks at their root. In healthcare, for instance, clinicians could tailor diagnostic tools to better reflect local patient demographics — ensuring the performance of the tools do not deteriorate due to the change of the context. Similarly, moderators in trust and safety roles could adjust sentiment-analysis algorithms to align with regional and/or cultural nuances. However, this flexibility must be paired with safeguards, such as automated audits, to prevent misuse or unintended bias.
Governance also requires establishing feedback loops to monitor and refine AI ecosystems over time. In legal practices, for example, firms can implement mechanisms to identify when outputs from different systems — such as contract-drafting tools and legal-risk predictors — produce conflicting recommendations. By embedding governance practices like these, businesses can reassure stakeholders — including employees, customers, and regulators — that their AI systems are both safe and trusted. Recent regulations, such as the EU’s Digital Services Act (DSA), provide valuable guidance regarding transparency, accountability, user empowerment, and feedback loops.
For example, healthcare providers can implement traceability frameworks to ensure diagnostic AI decisions are clear to both patients and regulators. Similarly, trust and safety platforms are already adopting audit mechanisms that explain content-moderation decisions and allow users to challenge them. By applying these principles, organizations can create AI ecosystems that are not only effective but also ethically aligned and trusted by stakeholders.
Furthermore, empowerment based on clear principles and processes can also allow users of AI systems to better explore and eventually to take advantage of AI’s strengths and weaknesses, facilitating learning. For instance, firms deploying content moderation tools that help them efficiently and effectively review large volumes of reports from users, AI, law enforcement, or others in order to determine the legality of content posted online might be able to run parallel automated assessments of the same third-party content and seek cross-validation by several AI systems before proceeding to take customized moderation decisions. This can increase the accuracy of the decision-making and improve the intuitive understanding of content moderators who rely on different AI systems to moderate content.
Empowerment might also improve the acceptance of outcomes that result from the deployment of AI systems by those who are primarily affected by them. In the trust and safety setting on social media, for instance, the users who are allowed to customize their moderation experience on their public profiles or pages and thus be better able to tailor their individual approach to local context or minority languages, might be more willing to accept different default content moderation approaches deployed by platforms.
Staying Safe in the Era of AI Ecosystems
As companies develop their AI strategies and adopt AI in their processes and products, AI ecosystems will inevitably become increasingly complex, requiring new practices, processes and tools for people to better and more safely leverage them. Success requires preparing the workforce to navigate interconnected AI systems, leveraging technology to enable better alignment and coordination of these systems among themselves and with people operating them or being affected by them, and establishing governance frameworks that ensure accountability, adaptability, and empowerment that is safe and productive. We cannot foresee the new types of risks that the emerging complex AI supply chains and ecosystems will create, so good risk-management practices require proper preparation and continuous learning.
