챗GPT의 창의력을 조절하는 방법은? GPT 하이퍼파라미터 종류

LLM(대규모 언어 모델)으로 작업할 때 특정 설정을 조정하면 응답이 크게 달라질 수 있습니다. 다음은 이러한 설정에 대한 분석과 이를 효과적으로 사용하는 방법입니다. 처음에는 왜 온도가 나오고 시퀀스가 뭐고 어렵긴 한데 그냥 용어라고 생각해주시면 됩니다. ChatGPT를 사용하면 입력창만 존재해 어떤 식으로 작동하는지 이해하기 어렵지만 OpenAI Playground에 가면 어떤 형태로 GPT-3.5 등이 설정 되어있는지 이해할 수 있습니다.

참고로 아래에서 알려드리는 설정들은 일반적인 chatGPT에서도 활용 가능합니다. 프롬프트를 입력할 때 설정을 함께 기입해 원하는 답변을 얻어낼 수 있습니다.

💡OpenAI Playground란?

사용자가 모델을 선택해 임의로 응답 길이, 창의성, 최대 토큰 수 등을 조절할 수 있는 웹 기반 인터페이스입니다. 모델의 동작 방식을 이해하는 데 유용하며, API를 호출하기 전 시뮬레이션해 챗GPT의 반응을 미리 확인할 수 있습니다. 👉사용해보기

1. Temperature: 결정론과 창의성의 균형 맞추기

Temperature는 모델의 예측 가능성을 제어하는 다이얼이라고 생각하면 됩니다. Temperature 가 낮을수록 더 예측 가능하고 일관된 응답을 얻을 수 있습니다. Temperature 가 높을수록 더 많은 창의성과 변수가 허용됩니다.

Temperature 활용 Tip

구체적인 질문과 같은 사실적인 질문의 경우, 간결하고 정확한 답변을 위한다면 낮은 Temperature값을 사용하세요. 시와 같은 창의적인 과제의 경우, Temperature값을 높이면 보다 상상력이 풍부한 답변을 유도할 수 있습니다.

2. Maximum Token: 응답 길이 조절하기

특정 토큰 수를 설정하여 응답을 간결하고 비용 효율적으로 유지합니다. 최대 길이를 조정하여 응답 길이에 대한 제한을 설정하면 지나치게 길거나 주제에서 벗어난 답변을 방지하는 데 도움이 됩니다.

3. Stop Sequences: 엔드포인트 정의

텍스트 생성을 중단할 시점을 모델에 알려주는 특정 문자열입니다.

Stop Sequences 활용 Tip

목록을 10개 항목으로 제한하려면 중지 시퀀스로 "11"을 추가합니다.

4. Top_p(Nucleus Sampling): 응답 가변성 미세 조정하기

Top_p는 온도와 함께 반응의 변동성을 관리하는 데 사용됩니다. Top_p가 낮을수록 응답의 정확도는 높아지지만 응답의 다양성은 낮아집니다. top_p가 높을수록 다양한 출력을 유도합니다.

Top_p 활용 Tip

1. 답변의 정확도를 높이려면 top_p를 낮게 유지하세요.
2. 다양한 아이디어나 스타일을 탐색하려면 top_p를 높이세요.
3. top_k도 있으나 일반적으로 0으로 설정하고 건드리지 않습니다. 이유가 궁금하시면 네이버 클로바 팀에서 잘 설명한 이 문서를 읽어보세요.

5. Frequency Penalty: 빈도 페널티

설명 : 이 설정은 모델이 동일한 단어나 구를 반복하지 못하도록 합니다.

사례 : 빈도 페널티를 높이면 모델의 언어에 다양성을 더하고 중복성을 줄일 수 있습니다.

6. Presence Penalty: 존재 패널티

얼마나 자주 나타나는지에 관계없이 반복되는 모든 토큰에 동일하게 페널티를 부과해 다양한 답변이 나오도록 합니다.

Presence Penalty 활용 Tip

더 다양하고 창의적인 텍스트를 원하면 증가시킵니다.

더 집중된 콘텐츠를 원하면 낮춥니다.

LLM의 설정을 바꿀 때 주의해야 할 점

1. 일반적으로 명확한 결과를 얻으려면 Temperature 또는 top_p, Frequency, Presence 페널티 중 하나만 조정하고 다른 것은 조정하지 않는 것이 좋습니다.
2. 모델 버전에 따른 가변성사용 중인 LLM 버전과 모델에 따라 결과가 달라질 수 있다는 점을 명심하세요. 항상 실험을 통해 특정 요구 사항에 가장 적합한 설정을 찾는 것이 좋습니다.

✨에디터의 [인공지능을 사용하는 인간을 위한 안내서] 활용기

챗GPT의 하이퍼파라미터 중 답변의 창의성을 조절할 수 있는 'Temperature'를 사용해봤습니다. 초전도체를 주제로 짧은 소설을 써달라는 굉장히 난해한 미션을 주고, 비교적 창의성이 낮은 Temperature 0.1과 높은 Temperatre 2의 답변을 각각 요청했습니다.

초전도체는 전기 저항이 0인 물질로, 에너지 손실을 최소화하거나 없앨 수 있죠. Temperatre 0.1의 답변에서는 이 과학적 사실이 그대로 반영돼 있었습니다. 젊은 물리학자 엘렌이 특수 합금을 극저온까지 냉각시켜 실험을 진행해 전기 저항 0을 만드는 데 성공했고, 에너지 전송 방식에 혁명을 일으킬 잠재력을 갖게 됐습니다. 한편 Temperature 2에서는 과학적 사실과는 관계가 먼, 허무맹랑한 이야기들이 전개됩니다. 초전도체의 비밀을 파헤치다 모든 전자기기가 꺼지고, 시간과 공간까지 왜곡됐습니다. Temperature 0.1과 2의 답변이 창의성 관점에서 판이하게 다르다는 것을 확인할 수 있었습니다.

여러분들도 GPT의 하이퍼파라미터를 임의로 바꿔, 원하는 답변을 얻을 수 있길 바랍니다!

작성자 | 해봄 카카오브레인 언어모델사업실 PM

에디팅 | 박영경 팀스파르타 에디터