MIT, 자율 AI 시스템의 윤리적 편향 자동 탐지 프레임워크 개발

▲ MIT 연구진이 AI의 윤리적 기준을 평가하는 프레임워크를 개발했다. (사진=MIT 뉴스)

미국 MIT 연구진이 자율 AI 시스템의 의사결정이 공정성 등 인간의 윤리적 기준에 부합하는지 사전에 자동으로 평가하는 '테스트 프레임워크'를 개발했다고 MIT 뉴스가 2일(현지시간) 보도했다.

​

연구팀에 따르면, 전력회사의 ‘전력 배분전략’은 AI를 활용해 고위험 환경에서 최적의 기술적 결정을 내릴 수 있지만 사회적 약자나 저소득층에게 불이익을 주는 방향으로 작동할 수 있다.

​

연구진은 이 문제를 해결하기 위해 'SEED-SET(Scalable Experimental Design for System-level Ethical Testing)'이라는 2단계 평가 체계를 설계했다. SEED-SET는 비용·안정성 같은 정량적 지표를 다루는 객관적 모델과, 공정성 같은 이해관계자의 주관적 가치 판단을 반영하는 주관적 모델로 구성된다. 주관적 평가에는 인간 평가자를 대신해 대규모언어모델(LLM)이 활용된다.

​

논문 저자인 추추 판(Chuchu Fan) MIT 교수는 "AI 시스템에 수많은 규칙과 가드레일을 삽입할 수 있지만, 이 같은 안전장치는 우리가 상상할 수 있는 것만 막을 수 있다"며 "미지의 문제들을 체계적으로 발견하고 사전에 예측하는 방법을 개발했다"고 밝혔다.

​

대부분의 테스트 프레임워크는 사전에 수집된 데이터에 의존하지만, 주관적인 윤리 기준에 부합하는 레이블 데이터는 구하기가 쉽지 않다. 또한 윤리적 가치와 AI 시스템 모두 끊임없이 진화하기 때문에, 성문화된 규정이나 규제 문서에 기반한 정적(靜的)인 평가 방법은 빈번한 업데이트를 필요로 한다.

▲SEED-SET 개요.

연구팀은 로봇 시스템 평가 분야의 선행 연구를 바탕으로, 가장 유의미한 시나리오를 선별해 내는 실험 설계 프레임워크를 개발했다. 해당 시나리오는 이후 인간 이해관계자들이 더욱 면밀하게 검토하는 방식으로 활용된다.

​

연구진은 실제 전력망과 도시 교통 경로 시스템에 SEED-SET을 적용해 성능을 검증한 결과, 동일한 시간 내에 기존 기준 방식 대비 두 배 이상의 최적 테스트 시나리오를 생성했으며, 다른 방법으로는 발견하지 못한 편향 상황도 다수 식별해냈다고 밝혔다.

​

이번 연구는 미국 방위고등연구계획국(DARPA)의 지원을 받았으며, 국제 학습 표현 학술대회(ICLR, International Conference on Learning Representations)에서 발표될 예정이다. (논문 제목:SEED-SET: SCALABLE EVOLVING EXPERIMENTAL DESIGN FOR SYSTEM-LEVEL ETHICAL TESTING)

​

백승일 기자 robot3@irobotnews.com

저작권자 © 로봇신문 무단전재 및 재배포 금지