Jev 결정 모델 한국어 적용 기준

고객지원 사무실에서 헤드셋을 쓴 두 직원이 모니터를 보며 상의하고, 책상에 청록색 표시등이 켜져 있다.

 

고객 문의의 자동 분류를 검토할 때는 먼저 답의 형식과 판단의 정확성을 구분해야 합니다. Jev는 TypeSafe AI의 결정 모델로, 자유로운 문장 대신 정해진 선택지와 확률을 반환하지만 판단의 정확성을 보장하지는 않습니다. 한국어 서비스에 적용하려면 실제 문의로 자동 처리율과 오판율을 함께 평가해야 합니다.

허용된 형식의 답을 받는 것과 문의를 올바른 부서로 보내는 것은 별개의 문제입니다. 인조이스의 원문 기사는 이 차이를 중심으로 질문 설계와 운영 시 확인할 조건을 연결해 설명합니다.

 

처리할 업무에 맞춰 질문을 나누는 방법

먼저 코드로 계산할 일과 문장의 의미를 판단할 일을 구분하세요. 날짜 간격이나 항목 수는 일반 코드에 맡기고, 담당 부서 분류처럼 답의 범위가 정해진 판단에 모델을 사용하는 방식입니다. 답변 작성이나 자유로운 요약에는 생성 모델이 필요합니다.

• Choice는 정해진 범주를 고르는 유형으로, 문의를 담당 부서에 연결하는 분기에 사용할 수 있습니다.
• Score는 설명이 붙은 단계로 수준을 평가하므로, 장애 보고의 심각도를 기준과 비교할 때 맞습니다.
• Noul은 조건이 참일 확률을 반환하므로, 상담원 연결을 요구하는지 판단할 때 사용할 수 있습니다.

질문마다 하나의 판단을 맡기고 결과의 조합은 코드에서 처리하는 구조입니다. TypeScript SDK는 질문 정의에서 답의 타입을 추론해 허용되지 않은 문자열 비교를 컴파일 단계에서 찾도록 돕습니다. 다만 분류 내용이 맞는지까지 검사하지는 않습니다.

 

입력에서 질문, 선택지와 확률을 거쳐 분기하는 흐름과 답 타입 추론, 신뢰도 검증을 정리한 인포그래픽

 

Jev 설계 자료에서 확인할 구체적인 기준

인조이스의 원문 기사에는 질문 유형별 반환값 비교표, TypeScript 호출 예제, 신뢰도 계산식과 실패 유형별 대응이 담겨 있습니다. 당신이 구현을 준비하고 있다면 공식 문서의 확인 경로와 평가 순서를 함께 볼 수 있어, 질문 작성부터 검증까지 필요한 항목을 정리하는 데 도움이 됩니다.

 

인조이스에서 전체 내용 확인하기

 

확률과 신뢰도를 읽을 때 구분할 숫자

confidence는 실제 정답률이 아닙니다. 선택된 답의 확률과도 다른 값입니다. 제시된 예시에서 선택지 3개의 확률이 0.6, 0.3, 0.1이면 최대 확률은 0.6이지만 confidence는 0.4입니다. 이를 정답률 40%로 읽으면 자동 실행 기준의 의미가 달라집니다.

Noul의 0.5는 참과 거짓에 비슷한 확률을 부여했다는 뜻입니다. 불만의 정도가 중간이라는 뜻으로 사용할 수는 없습니다. Score의 소수점 역시 정밀한 실측값이 아니라 단계 번호의 확률 가중평균입니다.

같은 뜻의 질문도 Noul과 Choice에서 확률이 달라질 수 있으므로, 한 유형에서 정한 임계값을 다른 유형으로 그대로 옮기지 않도록 확인하세요. 신뢰도가 높아도 업무 권한과 실행 조건은 별도 코드로 검사해야 합니다.

 

문의 분류와 상담원 연결을 함께 설계하는 예시

당신이 담당 부서를 정하면서 상담원 연결 요구도 확인해야 한다면, 두 판단을 나눠 설계할 수 있습니다. 아래는 설명된 질문 유형을 한 업무에 조합한 예시입니다.

1. 담당 부서는 Choice로 구분하고, 목록 밖 문의가 들어올 수 있다면 기타 선택지를 고려하세요.
2. 상담원 연결 요구의 유무는 별도의 Noul 질문으로 확인하세요.
3. 두 답을 조합한 최종 처리와 실행 권한 검사는 코드에 맡기세요.

기타 선택지는 억지 분류를 줄이기 위한 설계입니다. 모든 후보가 부적절한지 별도로 판단하려면 질문을 추가해야 합니다. 같은 입력을 평가하는 질문들이 서로의 답을 바탕으로 판단한다고 가정해서는 안 됩니다.

 

여성이 분기 화살표가 그려진 테스트 보드에서 문의 카드를 사람 검토 쪽으로 옮긴다.

 

한국어 서비스에서 먼저 검증할 조건

한국어 입력은 처리하지만 영어와 동등한 성능은 보장되지 않으며, 일반화할 수 있는 한국어 정확도 수치도 제시되지 않습니다. 완곡한 표현과 생략이 있는 실제 문의를 표본에 포함하고, 영어에서 정한 임계값도 한국어로 다시 검증하는 편이 좋습니다.

평가에서는 전체 정확도뿐 아니라 자동 처리율과 자동 처리 오판율을 함께 비교하세요. 모호한 문의를 사람에게 많이 넘기면 수작업이 얼마나 남는지도 달라집니다. 자동 처리 건수가 없다면 오판율은 0%가 아니라 계산 불가로 기록해야 합니다.

SDK 요구 환경은 Node.js 20 이상입니다. 또한 최신 모델을 가리키는 식별자는 새 버전이 나오면 연결 대상이 바뀌므로, 검증한 임계값을 유지하려면 버전 고정을 고려할 수 있습니다.

오늘은 실제 업무 표본에 사람이 정답을 붙이는 단계부터 시작하세요. 이어서 질문과 선택지 정의를 고정하고 평가를 진행할 수 있도록, 인조이스의 원문 기사에서 기록 항목과 임계값별 비교 절차를 확인하세요.

 

Jev 결정 모델, 분기 설계와 한계 정리 - Injoys

 

이 글은 인조이스(injoys.com)가 운영하는 채널의 도움을 받아 작성했습니다. 원문과 출처는 위 링크에서 확인할 수 있습니다.