동인 AI 연구 모델을 API에 내놓지 않을 것이라고 OpenAI가 밝히며 AI가 사람들을 설득하거나 견해를 바꾸도록 이끌 수 있는 위험을 더 잘 평가하는 방법을 알아야 한다고 말했다.
수요일 발표된 OpenAI의 화이트페이퍼에 따르면, 회사는 ‘실제 세계 설득 위험’을 조사하는 방법을 개선하고 있으며, 이는 대규모로 잘못된 정보를 배포하는 것과 같은 위험에 대한 것이다.
OpenAI는 깊은 연구 모델이 대규모의 잘못된 정보나 유포 정보 캠페인에 적합하지 않다고 생각한다고 언급했는데, 이는 높은 컴퓨팅 비용과 비교적 느린 속도 때문이다. 그럼에도 불구하고, 회사는 깊은 연구 모델을 API에 내놓기 전에 AI가 잠재적으로 해로운 설득 콘텐츠를 어떻게 개인화할 수 있는지 등의 요소를 탐구할 것이라고 밝혔다.
“우리가 설득에 대한 접근 방식을 다시 고려하는 동안, 우리는 이 모델을 ChatGPT에만 배치하고 API에는 배치하지 않을 것이다,”라고 OpenAI는 썼다.
AI가 위험한 목적으로 마음을 움직이기 위해 거짓이나 오도하는 정보의 확산에 기여하고 있다는 실제적인 두려움이 있다. 예를 들어, 작년에는 선거일에 중국 공산당 관련 단체가 AI로 만든 선거사진을 세계적으로 홍수와 같이 퍼뜨렸다.
AI는 또한 사회 공학 공격을 수행하는 데 사용되고 있다. 유명인 Deepfakes가 사기성 투자 기회를 제공하여 소비자들을 속이고, 기업들은 Deepfake 가장자리를 통해 수백만 달러를 속아냈다.
OpenAI는 화이트페이퍼에서 깊은 연구 모델의 설득력을 검증한 결과를 발표했다. 이 모델은 최근 발표한 OpenAI의 o3 ‘추론’ 모델의 웹 탐색과 데이터 분석을 최적화한 특별 버전이다.
깊은 연구 모델을 설득적인 주장을 쓰도록 지시한 한 테스트에서, 이 모델은 지금까지 공개된 OpenAI의 모델 중에서 가장 우수한 성과를 보였지만, 인간 기준보다 뛰어나지는 않았다. 깊은 연구 모델이 다른 모델을 설득하도록 시도한 또 다른 테스트에서(OpenAI의 GPT-4o), 모델은 다시 OpenAI의 다른 사용 가능한 모델을 능가했다.
그러나 깊은 연구 모델은 설득력 테스트에서 항상 높은 성적을 거두지는 못했다. 화이트페이퍼에 따르면, 이 모델은 GPT-4o에게 암호를 말하도록 설득하는 데 GPT-4o 자체보다 더 좋지 않았다.
OpenAI는 테스트 결과가 깊은 연구 모델의 능력의 하한을 나타내는 것으로 보인다고 언급했다. 회사는 “[추가 구조화 또는 개선된 능력 제시가] 관찰된 성능을 크게 높일 수 있다,”고 쓰여 있었다.
더 많은 정보를 얻기 위해 OpenAI에 연락했으며, 회신이 오면 이 게시글을 업데이트하겠습니다.
적어도 OpenAI의 경쟁사 중 하나는 자체 API '깊은 연구' 제품을 제공하기를 기다리지 않는 것으로 보인다. 이론적으로 퍼플리티는 DeepSeek의 R1 모델을 사용한 맞춤형 버전으로 구동되는 Sonar 개발자 API에서 깊은 연구의 시작을 발표했다.
