LLM 서비스를 사용하는 방법(LLM 활용의 효율성: 초기 설정의 중요성)

완전히 새로운 연구를 위한 실험 시작이나 글쓰기, 개발을 시작할 때 첫 문장 혹은 처음 변수를 선언할 때가

가장 어려운것 같다.

 

기존에 했던 것이라면 단어를 조금 바꿔서 시작하거나 개발이라면 변수쯤은 같은걸 써도 상관없을 텐데 

 

새로운 것을 하면 새로운 것에 맞게 시작해야 가독성이 올라가는 법이다.

 

그럴 때마다 LLM을 통해 조언을 얻는데 사실 이정도야 많은 사람들이 할 수 있고 딱히 포맷같은 것이 필요하지 않으니 

처음에 언어만 잘 지정해주면된다.

 

예를들어 ["영어로" LLM에 대한 글쓰기를 하는데 처음 보는 사람이 흥미를 가질 수 있는 첫문장을 만들어줘] \

같이 조건을 명확히 해주면 생각보다 창의적이고 똑똑한데? 라는 생각이든다

데이터를 이용한 통계상 수치로 출력하는거겠지만 

 

하지만 반복적인 작업 혹은 데이터를 출력해야할 때는 말이 다르다 위에 처럼하면 매번 포맷이 달라지고

어떤 서비스의 입력이 JSON 형태라면 출력된 문장을 필요에 맞게 분할해서 JSON형태로 변환하는 전처리 과정이 있어야야한다.

 

이렇게하면 사실 LLM서비스를 사용하는 이유가 없고 그냥 빠른 검색엔진이다. 

 

그렇기 때문에 사용전 세팅 과정이 필요하다.

 

스마트폰도 처음 사면 기존에 사용하던 환경에 맞게 설정을 바꾸고 어플을 설치하고 로그인을 해두는것과 같은 느낌이라고 생각하면 쉽다.

 

예를 들어 서비스 이용자가 글을 작성하면 자동으로 제목과 요약을 생성해주는 서비스가 있다고 가정하면 

 

사용자 이름, 글, 시간이 있을것이다.

 

첫번째로 서비스에 대한 내용을 설명한다.

 

사용자가 글을 쓰면 글에 대한 제목과 요약을 생성해줘

 

입력은 "{사용자 이름}", "{글}", "{시간}"이다

 

출력은 JSON 형태 {"사용자 이름": "{사용자 이름}", "제목": "{제목}", "글":"{글}", "요약": "{요약}", "시각": "{시각}"}이다 {}사이에 생성한 내용을 채우면 된다.

 

 

이제 세팅은 완료 되었다.

 

한번 위에 적었던 글로 생성을 해보자

 

 

JSON 내용을 자세히 살펴보자 "글"은 너무 기니 생략

 

{
  "사용자 이름": "비랑이",
  "제목": "LLM 활용의 효율성: 초기 설정의 중요성",
  "글": "(생략)",
  "요약": "LLM을 활용한 새로운 작업 시작의 어려움과 그 해결책에 대해 논의한다. 단순한 조언 요청은 쉽지만, 반복적이고 구조화된 작업에서는 LLM 사용 전 적절한 설정이 필요함을 강조한다. 이는 스마트폰 초기 설정과 유사한 과정으로, LLM 서비스의 효율적 활용을 위해 중요하다.",
  "시각": "2024-07-03-11:00"
}

 

Claud3.5를 통해 해봤는데 요약 성능과 제목이 좋은것 같다.

 

만약 서비스에 이용을 한다면 API 형태로 이용하면 실제 서비스에 이용할 수 있을것 같고

 

GPT3의 논문을 보면 예시 문장을 넣어주면 좀더 정확해지는 Few-shot learning의 효과도 있다고 하니 이미 자체 LLM 구축해서 데이터를 많이 갖고 있다면 기존의 거대 언어 서비스를 활용해서 어떤것이 성능이 높을지 확인해 보는것도 재밌을 것 같다.