LLM이 무엇일까? : LLM부터 머신러닝까지 한 번에 맛보기

바야흐로 AI의 시대입니다. 개발자나 관련 업계 사람들만이 아니라 이제는 일반인들도 너무나 손쉽게 AI를 사용하고 다룰 수 있죠. AI와 관련된 여러 용어들도 심심찮게 뉴스와 일상 생활에서 만날 수 있습니다.

특히 그 중에서 LLM은 우리가 많이 사용하는 AI 모델들과 관련이 깊은데요. LLM이 무엇인지, 어떻게 그리고 무슨 원리로 구동하는지, 그렇게 만들어진 AI에는 어떤 것들이 있는지 알아볼게요.

📌목차

1. LLM(Large Language Model)

2. LLM 작동 방식

1) 머신 러닝

2) 딥 러닝

3) 신경망

4) 트랜스포머 모델

3. LLM AI 종류

LLM(Large Language Model)

LLM은 거대한 양의 언어 데이터를 학습해 그를 인공 신경망으로 묶은 인공지능 딥 러닝 모델입니다. 이렇게 말하면 너무 어렵게 느껴질 수 있지만, 줄임말 그대로 대형 언어 모델을 의미해요. 쉽게 말해 인간의 언어와 대화, 기타 복잡한 언어 데이터를 이해하고 다룰 수 있도록 수많은 데이터를 학습받은 인공지능을 말합니다.

흔히 말하는 인간처럼 대화할 수 있는 인공지능들이 LLM 모델입니다. 챗GPT 또는 대화형 챗봇 등이 그 예시죠. 자연어(natural language, 사람들이 실제로 회화에서 사용하는 언어) 처리를 통해 인간처럼 말을 해석하고, 그에 맞는 답변을 생성할 수 있게 만든 것입니다.

LLM 작동 방식

인간이 아닌 기계와 인간이 인간처럼 대화할 수 있게 해 주는 LLM, 어떻게 작동하는 걸까요? LLM에 대해 설명해 드릴 때 사용했던 단어들을 중심으로 차례차례 알려드릴게요.

1) 머신 러닝

머신 러닝은 인공지능의 구현 방법 중 하나로서, 많은 양의 데이터 학습을 통해 명시적 프로그래밍 없이 시스템이 스스로 자율적인 학습과 생성을 할 수 있게 하는 인공지능의 하위 집합을 뜻합니다. 스스로 데이터를 분석하고, 결론을 내리고, 대화(아웃풋)를 생성할 수 있게 하는 방법 중 하나입니다.

컴퓨터를 인간과 같이 학습시키고, 그 뒤로는 스스로 학습할 수 있도록 컴퓨터를 도와주는 알고리즘을 개발하는 것인데요. AI는 이 알고리즘을 통해 데이터를 가져와 분석하고 학습하여 그를 결과물로 생성합니다.

여기서 볼 수 있는 ‘데이터를 가져오고 분석하는’ 과정을 학습이라고 하며, 이를 통해 얻은 정보를 실제 아웃풋에 활용하는 것을 머신 러닝(Machine Learing), ML이라고 하는 것이죠.

2) 딥 러닝

딥 러닝은 인간의 두뇌가 생각하는 방식과 같이 데이터를 학습할 수 있게 하는 머신 러닝의 하위 개념입니다. 인간의 뇌가 의사 결정을 하거나 무언가를 학습할 때 사용하는 방식에서 시작한 개념으로, 심층 신경망을 사용합니다. 음성 인식 장치, 얼굴 인식 장치, 자율 주행 시스템 등에서 사용되고 있습니다.

인간의 뇌 안에서는 수많은 신경 세포들이 서로 연결되어 상호 작용하고 있는데요. 딥 러닝은 이 개념을 적용해 만든 것이니만큼, 인공 신경 세포라고 할 수 있는 ‘노드(node)’를 이용하여 여러 정보들을 수학적 계산으로 처리합니다. 이 노드들은 이어 주는 신경망을 사용해 학습하는 것이죠.

그렇다면 신경망은 정확히 무엇일까요?

3) 신경망

신경망은 딥 러닝 모델의 핵심으로, 인공 신경 세포인 노드를 이용하여 복잡한 데이터를 처리하고 분석하여 주어진 문제에 답을 내리는 딥 러닝 알고리즘 과정의 유형 중 하나를 말합니다. 데이터를 입력하는 입력 계층, 그 데이터를 처리하고 분석하는 은닉 계층, 결과를 출력하는 출력 계층으로 나뉘어져 일하죠.

신경망은 AI가 스스로 지능적인 판단을 할 수 있게 합니다. 딥 러닝의 목적이 AI가 인간의 두뇌처럼 생각할 수 있게 만드는 것인 만큼, 신경망은 데이터 해석을 통해 안에 숨겨진 언어적 의미까지 해석할 수 있게 하는 것에 주요한 역할을 해요.

예를 들어, 딥 러닝 AI는 아래처럼 다른 두 문장이 서로 같은 의미라는 것을 이해하죠.

- 음료수를 추천해줘.

- 뭘 좀 마셔야겠어. 뭘 마실까?

쓰인 단어는 다르지만, 두 문장의 핵심은 모두 마실 것을 알려 달라는 요청 사항이 있다는 것인데요. 두 개가 언어적으로 같은 의미를 공유한다는 것을 이해하기 때문입니다.

그렇기 때문에 부적절한 콘텐츠를 걸러내는 필터링, 이미지 세부 정보 구분, 음성 인식을 통한 자막 처리, 대량 대화를 소화하는 챗봇 등 다양한 용도로 사용됩니다.

4) 트랜스포머 모델

트랜스포머 모델은 자연어 처리에서 문장 속 단어와 숙어, 사회 용어 등의 상호 관계를 추적해 맥락과 의미를 학습하는 딥 러닝 모델 신경망의 일종으로 구글이 2017년 발표한 모델입니다. AI와 머신 러닝 개발 작업에서 여전히 매우 중요한 위치에 있습니다.

트랜스포머 모델은 서로 먼 것처럼 보이는 데이터를 관계와 맥락을 통해 자유롭게 해석하고 이해합니다. LLM 딥 러닝이 트랜스포머 모델을 기반으로 하고 있기 때문에 그렇게 원활한 자연어 처리가 가능한 것이죠. 그를 통해 ‘사람처럼’ 생각하고 대화할 수 있는 것입니다. 텍스트 또는 음성을 실시간 해석하고 번역하거나, 이미지를 처리하는 것에도 사용됩니다.

LLM AI 종류

1) Open AI : GPT

지금 이 시간, 가장 뜨거운 관심을 받고 있는 AI인 GPT가 LLM의 모델의 대표적인 예입니다. 우리가 실제 대화를 하듯이 말을 걸어도 올바르게 해석하며, 말투나 사용 단어에 관한 지침을 주면 즉시 적용하여 답변을 생성하죠.

챗GPT는 주간 사용자 수가 2억명을 돌파하며 작년 이 때보다 2배가 늘었습니다. 게다가 최근 추론 기능이 뛰어난 오픈AI의 또 다른 챗봇 AI, ‘스트로베리(Strawberry)’를 GPT에 통합하겠다고 밝히며 앞으로 더욱 기능 고도화에 박차를 가할 것을 알렸습니다.

▶︎ 챗GPT 사용해 보기

2) 구글 : 제미나이(Gemini), 바드(Bard)

2023년 3월 출시된 바드(Bard)는 람다(LaMDA, 2021년 구글 언어 대화형 AI) 기반의 대화형 AI입니다. 40가지 언어 사용이 가능하고, 그에 상응하는 TTS 기능까지 있어 많은 관심을 받았는데요. 2024년 초 구글이 전사 AI들의 이름을 ‘제미나이(Gemini)’로 통합한다고 밝히며 바드(Bard) 역시 제미나이(Gemini)가 되었습니다.

챗봇의 형태로, 텍스트만이 아니라 이미지, 영상, 음성 등을 생성할 수 있는 멀티 모달 AI 모델입니다. 특히 제미나이 최상위 모델인 ‘제미나이 울트라(Gemini Ultra)’는 물리학, 역사, 수학 등 약 50개를 주제로 한 문제 해결 테스트에서 인간 전문가보다 높은 정답률인 90%를 기록해 화제가 되었는데요. 다양한 경로로 응용될 수 있는 가능성이 더욱 크게 점쳐지고 있습니다.

▶︎ 제미나이 사용해 보기

3) 메타 : 라마(LLaMA)

오픈 AI와 구글에 대항하는 메타의 AI 라마는 2023년 2월 첫 출시에 이어 버전 2가 2023년 7월에, 그리고 2024년 7월 버전 3.1이 출시되었습니다. 무려 4,050억개의 파라미터라는 거대한 데이터 규모를 가지고 나왔죠. 자연어 이해성에 있어 독보적인 위치를 차지하겠다는 메타의 강력한 전략입니다.

라마는 4,050억 개의 파라미터라는 대용량 AI인 만큼, 설치에 많은 용량이 필요하고 방법이 복잡한데요. 라마를 간단히 설치할 수 있게 도와주는 오라마(Ollama, https://ollama.com/) 사이트를 이용하는 것을 추천합니다.

오라마 사이트를 통해 라마를 사용할 수 있는 방법을 소개하는 글을 통해 사용해 보세요.

▶︎ Ollama로 라마 3.1 사용해 보기

AI는 이제 우리 생활에서 뗄래야 뗄 수 없는 존재가 되었습니다. 단순 대화나 정보뿐만이 아니라 이미지, 영상 등 다양한 형태의 데이터를 다루며 생산성을 극대화시킬 수 있게 되었죠. 그뿐만이 아니라 서치GPT 등 검색 개념도 AI를 통해 대체하려는 기업들의 움직임이 보이기 시작하며 점차 AI의 상용화 범위가 넓어지고 있습니다.

그에 따라 AI 서비스 개발자에 대한 수요 역시 급진적으로 증가하고 있는데요. 앞으로 미래 기술이 될 AI 서비스 개발자는 어디서든 필요한 사람입니다. LLM 기술을 활용해 서비스를 만드는 개발자가 된다면, 기술의 최전방에서 더 고도화된 서비스의 임팩트를 만들 수 있으니까요.

기초부터 시작해 심화 역량까지 한번에 갖출 수 있는 4개월 압축 코스로 AI 역량을 갖추어 보세요.

AI, 누구나 도전해 큰일 낼 수 있습니다.