AI 및 이를 촉진하는 대형 언어 모델(LLMs)은 많은 유용한 응용 프로그램을 갖고 있지만, 모든 약속에도 불구하고, 그들은 매우 신뢰할 수 없습니다.
이 문제가 언제 해결될지 아무도 알지 못하므로, 기업들이 지불하고 있는 LLM으로 제작된 앱이 의도한 대로 작동하는 것을 보장할 수 있도록 도와주는 기업이 발견되고 있는 것은 합리적입니다.
런던에 본사를 둔 스타트업 Composo는 기업들이 LLM으로 제어되는 앱의 정확성과 품질을 평가하는 데 도움을 줄 수 있는 맞춤형 모델 덕분에 이 문제를 해결하려는 시작점이 있다고 느낍니다.
회사는 Agenta, Freeplay, Humanloop 및 LangSmith와 유사한데, 모두 인간 테스트, 체크리스트 및 기존 관측 도구에 대한 LLM 기반이 보다 견고한 대안을 제공한다고 주장합니다. 그러나 Composo는 노코드 옵션과 API를 모두 제공하기 때문에 다른 것이라고 주장합니다. 이는 잠재적 시장의 범위를 넓히는데 도움이 됩니다 - 개발자일 필요가 없으며, 도메인 전문가와 임원이 AI 앱을 일관성, 품질 및 정확성에 대해 자체적으로 평가할 수 있습니다.
실제로 Composo는 개인이 AI 앱에서 원하는 출력을 기반으로 보상 모델을 결합하고 해당 앱에 특정한 기준 세트를 정의하여 해당 앱의 출력을 그 기준에 대해 평가하는 시스템을 만듭니다. 예를 들어, 의료 트리아지 챗봇은 클라이언트가 적색으로 표시된 증상을 확인하기 위해 사용자 정의 지침을 설정할 수 있으며 Composo는 해당 앱이 일관성 있게 수행하는 정도를 점수화 할 수 있습니다.
회사는 최근 Composo Align을평가하는 모델에 대한 공개 API를 출시했습니다. LLM 앱
이 전략은 어느 정도 작동하는 것으로 보입니다. 회사는 Accenture, Palantir 및 McKinsey와 같은 이름들을 고객으로 보유하고 있으며 최근 200만 달러의 시드 자금을 집행했습니다. 여기서 자금을 모은 소액은 오늘의 벤처 기업 환경에는 흔한 일이 아니지만 이는 AI 랜드이기 때문에 해당 회사에 대한 자금 지원이 풍부하기 때문에 주목할 만하다고 할 수 있습니다.
그러나 Composo의 공동 창립자 및 CEO인 세바스티안 폭스에 따르면, 상대적으로 낮은 숫자는 스타트업의 접근 방식이 특별히 자본 집약적이지 않기 때문입니다.
“적어도 다음 3년 동안, 자본금을 수억 달러씩 모으지 않을 것으로 예상합니다. 기초 모델을 건설하고 매우 효과적으로 하는 사람들이 많기 때문에 그게 우리의 USP가 아니기 때문입니다,” Mckinsey 의 전문 컨설턴트 인 폭스가 말했습니다. “대신 매일 아침, 만약 OpenAI가 그들의 모델에서 큰 발전을 이룩했다는 기사를 보게 된다면, 그것은 내 비즈니스에 도움이 됩니다.”
최신 자금을 획득함으로써, Composo는 엔지니어링 팀을 확대할 계획입니다(그래프코어의 기계 학습 엔지니어 이사인 공동 창립자이자 CTO 루크 마크햄의 리드) 더 많은 고객을 확보하고 R&D 노력을 강화할 계획입니다. “올해의 포커스는 이제 기술을 기업 전반에 걸쳐 확장하는 데에 훨씬 더 주력할 것이라” 폭스가 말했다.
영국 AI 프리씨드 펀드 트윈 패스 벤처스는 시드 라운드를 주도했으며, JVH 벤처스 및 EWOR(후자가 가속을 통해 스타트업을 후원했습니다)의 참여도 있었습니다. 트윈 패스 대변인은 성명에서 “Composo는 기업 AI 도입의 중요한 병목 현상에 대처하고 있습니다.”라고 말했다.
폭스에 따르면, 이 병목 현상은 AI 움직임 전반에 대해서 큰 문제입니다. “사람들은 흥분의 혹에 넘어가서, ‘사실, 현재 형태에서 내 비즈니스에 어떤 변화를 가져다주는가? 왜냐하면 그것은 충분히 신뢰할 수 없고 충분히 일관성이 없기 때문입니다. 그리고 심지어 그렇다고 해도, 얼마나 실제 예상치 이상인지 증명할 수 없습니다,’” 그가 말했습니다.
그 병목 현상은 AI를 도입하려는 기업에게 더 가치를 제공할 수 있는 Composo라고 폭스는 말합니다. 그가 말했기에, 회사가 산업에 중립적이기를 선택했지만 준수, 법률, 의료 및 보안 분야에서의 공감성을 유지했습니다.
그의 경쟁 우위에 대한 질문이 여전히 남아 있습니다. 폭스는 여기에 필요한 R&D가 중복섭이 아니라고 느낍니다. “모델의 아키텍쳐와 학습에 사용된 데이터 둘 다가 있습니다,” Composo Align은 “전문가 평가의 대규모 데이터 세트”에서 훈련되었다고 설명했습니다.
커다란 전쟁 전사들이 그들의 거대한 전승장을 이용하여 이 문제에 참여한다면 대체 어떻게 될 지에 대한 질문은 여전하지만 Composo는 최초의 선도적인 장점을 보유하고 있다고 생각합니다. “다른 것은 시간이 흐름에 따라 어떤 데이터를 축적하는 것입니다,” 폭스가 말했습니다. Composo는 평가 기준을 생성하는데 직면하며 자신을 더욱 적합하다고 느낍니다. 제압적 AI의 상승에 비교적 틀에 박힌 접근법을 사용하는 경쟁사보다. “내 생각에 우리는 정말로 에이전트가 잘 작동하는 단계에 있지는 않고, 사실 그것이 우리가 해결하려고 노력하는 것입니다.” 폭스가 말했습니다.
