리퀴드 AI, 반복 출력 줄이는 안티둠 공개

리퀴드 AI(Liquid AI)가 7월 7일 작은 AI 추론 모델의 반복 출력 문제를 다루는 학습 기법 안티둠(Antidoom)을 오픈소스로 공개했다. 대상은 같은 문장이나 구간을 계속 되풀이하다 멈추지 못하는 둠 루프(doom loop) 현상이다.

둠 루프(doom loop)는 모델이 한 구간을 생성한 뒤 그 내용을 다시 반복하는 문제다. 출력이 이어지면 문맥 창을 모두 사용할 때까지 반복이 계속된다. 크기가 작은 추론 모델일수록, 어려운 문제를 풀며 긴 사고 과정을 거칠수록 이 현상에 더 취약하다고 설명된다.

안티둠(Antidoom)은 최종 토큰 선호 최적화(FTPO)를 사용한다. 반복이 시작되는 첫 토큰을 찾아 그 자리에서 다른 자연스러운 토큰을 선택하도록 모델을 미세 조정한다. 모델을 처음부터 다시 학습시키거나 강화학습을 쓰지 않고, 새 지식을 추가로 가르치지도 않는다.

핵심은 전체 출력 분포를 크게 흔들지 않고 반복이 시작되는 지점만 바로잡는 데 있다. 반복을 만든 첫 선택을 바꾸면 이후 같은 구간이 계속 이어지는 흐름을 줄일 수 있다는 구조다. 문제 해결의 초점은 모델 전체를 다시 설계하는 것이 아니라 특정 실패 지점을 보정하는 쪽에 놓인다.

리퀴드 AI 자체 모델 LFM2.5-2.6B에서는 어려운 수학·프로그래밍 과제의 반복 발생률이 10.2%에서 1.4%로 낮아졌다. 큐원3.5-4B에서는 22.9%에서 1%로 떨어졌다. 전 과정은 몇 시간이면 끝나고, 코드와 데이터셋도 함께 공개됐다.

관련 내용은 MarkTechPost에서 확인할 수 있다고 안내됐다. 제휴 제공 안내에는 기사가 클로드 3.5 소네트와 챗GPT를 활용해 작성됐다는 표기도 포함됐다.