AI 용어 쉽게 이해하기

2026. 7. 25. 22:42AI

— "신입사원이 회사에서 일하는 과정" 비유로 배우는 AI 개념 —

각 용어마다 비유 → 예제 → 확인 문제 순서로 정리했습니다. 확인 문제는 답을 바로 보지 말고 먼저 스스로 생각해본 뒤 아래 정답을 확인해보세요.


📋 목차

구분 다루는 용어

1부. AI의 기본 구조 LLM, Token, Context Window
2부. 대화와 지시 Prompt, System Prompt, Completion
3부. 지식과 검색 Embedding, RAG, Vector DB, Hallucination
4부. 답변 스타일 조절 Temperature, Top-p
5부. 자율적으로 일하기 Agent, Tool, Skill, MCP, API, Function Calling
6부. 여러 작업 연결하기 Workflow, Orchestration, Multi-Agent, Memory, Sandbox
7부. 모델 자체를 다루는 기술 Fine-tuning, LoRA, Quantization, MoE, Inference, Reasoning Model
8부. 전체 흐름 정리 종합 다이어그램 + 종합 문제

1부. AI의 기본 구조

1-1. LLM (Large Language Model) — AI의 "두뇌"

사람도 공부를 많이 하면 똑똑해지듯, LLM은 인터넷·책·문서를 엄청나게 학습한 AI입니다.

사람 = 회사 직원
LLM  = 엄청 공부한 직원

예제

질문: "ChatGPT, Claude, Gemini는 뭐가 공통점이야?"
답  : 셋 다 엄청난 양의 텍스트를 학습한 "직원(LLM)"이라는 점.
      다만 어느 회사(Anthropic, OpenAI, Google)가 교육시켰는지가 다름.

✏️ 확인 문제 Q. 아래 중 LLM이 아닌 것은? ① ChatGPT ② Claude ③ 엑셀의 SUM 함수 ④ Gemini

<details><summary>정답 보기</summary>③ — SUM 함수는 정해진 계산만 하는 도구이고, 학습된 "두뇌"가 아닙니다.</details>

1-2. Token — AI가 글자를 읽는 최소 단위

사람은 "안녕하세요"를 한 문장으로 보지만, AI는 이를 잘라서 읽습니다.

"오늘 점심 먹었어?"
   ↓
오늘 / 점심 / 먹 / 었 / 어 / ?

예제 (문장이 길어지면 토큰도 늘어남)

짧은 문장: "안녕" → 약 1~2 토큰
긴 문장  : "오늘 점심에 뭐 먹을지 고민하다가 결국 김치찌개를 먹었다"
         → 약 15~20 토큰

토큰이 많을수록 읽는 시간 증가 + 비용 증가합니다.

✏️ 확인 문제 Q. "나는 학교에 간다"와 "나는 오늘 아침 일찍 일어나서 학교에 걸어서 간다" 중 어느 문장이 더 많은 토큰을 쓸까?

<details><summary>정답 보기</summary>두 번째 문장. 문장이 길어질수록 잘라지는 조각(토큰) 수가 늘어납니다.</details>

1-3. Context Window — AI의 "작업 책상 크기"

책상이 작으면 → 문서 3장밖에 못 올림
책상이 크면   → 문서 100장을 펼쳐놓고 일함

예제

32K Context  ≈ 약 32,000 토큰 (책 약 40페이지 분량)
128K Context ≈ 약 128,000 토큰 (책 약 160페이지 분량)

→ 긴 소설 한 권을 통째로 넣고 "3장 요약해줘"라고 하려면
  Context Window가 큰 모델이 필요함

✏️ 확인 문제 Q. 200페이지짜리 계약서를 AI에게 한 번에 전부 검토시키려면 어떤 조건이 필요할까?

<details><summary>정답 보기</summary>Context Window(책상 크기)가 그 계약서의 토큰 수보다 커야 합니다. 책상이 작으면 문서가 잘려서 일부만 검토됩니다.</details>

2부. 대화와 지시

2-1. Prompt — AI에게 내리는 업무 지시

회사: "김대리, 보고서 하나 만들어줘." → 업무 지시
AI  : "파이썬 코드 작성해줘"          → Prompt

예제

좋은 Prompt : "초등학생도 이해할 수 있게, 3줄로 태양계를 설명해줘"
나쁜 Prompt : "태양계 설명해줘" (기준이 없어서 결과가 매번 다름)

✏️ 확인 문제 Q. Prompt를 구체적으로 쓰면 왜 결과가 더 좋아질까?

<details><summary>정답 보기</summary>신입사원에게 "보고서 만들어줘"보다 "A4 1장, 표 포함, 오늘 4시까지"처럼 구체적으로 지시할수록 원하는 결과가 나오는 것과 같은 이치입니다.</details>

2-2. System Prompt — 사장님이 정한 회사 규칙

직원 규칙: "무조건 존댓말 써라 / 사실만 말해라 / 거짓말 하지마"

사용자는 못 보지만 항상 적용됩니다.

예제

System Prompt: "너는 초등학교 과학 선생님이다. 어려운 용어는 쓰지 마라."

사용자 질문: "광합성이 뭐야?"
답변       : "식물이 햇빛을 먹고 밥을 만드는 과정이야!" 
            (전문 용어 대신 쉬운 말로 답함 → System Prompt 규칙을 따름)

✏️ 확인 문제 Q. 똑같은 질문을 해도 챗봇마다 말투나 답변 스타일이 다른 이유는?

<details><summary>정답 보기</summary>각 챗봇 뒤에 숨겨진 System Prompt(회사 규칙)가 다르기 때문입니다.</details>

2-3. Completion — AI의 답변

입력: "안녕?"
출력: "안녕하세요."  ← 이 전체가 Completion

예제

Prompt    : "1+1은?"
Completion: "1+1은 2입니다."

✏️ 확인 문제 Q. Prompt와 Completion의 관계를 한 문장으로 설명하면?

<details><summary>정답 보기</summary>Prompt는 질문(입력), Completion은 그에 대한 AI의 답변(출력)입니다.</details>

3부. 지식과 검색

3-1. Embedding — 문장의 의미를 숫자로 변환

"사과" → [0.12, 0.53, 0.88, ...]  (글자가 아니라 숫자로 저장)

비슷한 의미를 빨리 찾기 위해서입니다.

예제

"사과"의 임베딩 값과 "바나나"의 임베딩 값은 서로 가까움 (둘 다 과일)
"사과"의 임베딩 값과 "자동차"의 임베딩 값은 서로 멂 (관련 없는 개념)

✏️ 확인 문제 Q. "강아지"와 "고양이" / "강아지"와 "냉장고" 중 어느 쌍의 임베딩 값이 더 가까울까?

<details><summary>정답 보기</summary>"강아지"와 "고양이" — 둘 다 동물이라는 의미가 비슷하기 때문에 숫자 값도 가깝게 계산됩니다.</details>

3-2. RAG (Retrieval-Augmented Generation) — 책을 찾아보고 대답하는 방식

일반 AI: 기억으로 대답
RAG    : 회사 문서를 찾아보고 대답

질문 → Vector DB 검색 → 관련 문서 발견 → LLM 답변

예제

질문: "우리 회사 육아휴직 규정이 뭐야?"

일반 AI → 회사 내부 규정을 모르니 대충 일반론으로 답함 (부정확)
RAG AI  → 사내 인사규정 문서를 검색해서 찾은 뒤, 그 내용을 바탕으로 답함 (정확)

✏️ 확인 문제 Q. 최신 뉴스나 회사 내부 문서처럼 AI가 "학습하지 않은 정보"에 답하려면 왜 RAG가 필요할까?

<details><summary>정답 보기</summary>LLM은 학습 당시의 지식만 기억하므로, 최신·내부 정보는 문서를 직접 검색(Retrieval)해서 답변에 반영해야 정확합니다.</details>

3-3. Vector DB — 의미별로 문서를 보관하는 창고

일반 DB  : 이름으로 검색 (정확히 같은 단어만 찾음)
Vector DB: 의미로 검색 (뜻이 비슷하면 찾음)

예제

검색어        : "휴가 신청"
실제 문서 표현: "연차 사용"

일반 DB   → "휴가 신청"이라는 글자가 없으니 못 찾음 ✗
Vector DB → 의미가 비슷하므로 찾아냄 ✓

✏️ 확인 문제 Q. "속도가 빠른 차 추천해줘"로 검색했을 때 문서에 "고성능 스포츠카"라고 적혀 있다면, 일반 DB와 Vector DB 중 어느 쪽이 찾아낼 수 있을까?

<details><summary>정답 보기</summary>Vector DB. 단어가 달라도 의미가 비슷하면 찾아낼 수 있습니다.</details>

3-4. Hallucination — AI의 헛소리

모르면 "모릅니다"라고 해야 하는데
가끔  "아마 이럴 겁니다"라고 그럴듯하게 지어냄

예제

질문: "2030년 월드컵 개최지는 어디야?"
헛소리 답변: "2030년 월드컵은 한국에서 개최됩니다." (사실 확인 없이 지어낸 답)

✏️ 확인 문제 Q. AI가 존재하지 않는 논문 제목이나 참고문헌을 그럴듯하게 만들어내는 것도 Hallucination일까?

<details><summary>정답 보기</summary>네, 맞습니다. 근거 없이 그럴듯하게 지어내는 모든 경우가 Hallucination입니다.</details>

4부. 답변 스타일 조절

4-1. Temperature — AI의 창의성

값 성향 비유

낮음 (예: 0.1) 사실만 말함 공무원
높음 (예: 0.9) 창의적으로 말함 소설가

예제

Prompt: "고양이에 대해 한 문장 써줘"

Temperature 낮음: "고양이는 포유류에 속하는 동물입니다."
Temperature 높음: "고양이는 달빛 아래를 사뿐히 걷는 작은 그림자다."

✏️ 확인 문제 Q. 회사 보고서를 작성할 때와 동화를 창작할 때, Temperature를 각각 낮게/높게 설정한다면 어느 쪽이 어느 경우에 맞을까?

<details><summary>정답 보기</summary>보고서 → 낮은 Temperature(정확성 우선), 동화 창작 → 높은 Temperature(창의성 우선)</details>

4-2. Top-p — 후보 중 얼마나 다양하게 고를지

"먹다" → 먹었다 / 먹습니다 / 먹어요 / 먹음

예제

Top-p 낮음 (좁은 후보): "먹었다" 하나만 고를 확률이 매우 높음
Top-p 높음 (넓은 후보): "먹었다", "먹습니다", "먹어요" 중 다양하게 선택될 수 있음

Temperature는 창의성의 "정도", **Top-p는 선택 후보의 "폭"**이라는 차이가 있습니다.

✏️ 확인 문제 Q. Temperature와 Top-p는 둘 다 "다양성"과 관련 있는데, 정확히 뭐가 다를까?

<details><summary>정답 보기</summary>Temperature는 얼마나 파격적인 답을 고를지의 "강도"를, Top-p는 후보로 고려할 선택지의 "범위"를 조절합니다.</details>

5부. 자율적으로 일하기

5-1. Agent — 스스로 일하는 직원

LLM  : 말만 함
Agent: 생각 → 계획 → 도구 실행 → 결과 확인까지 함

예제

사용자: "다음 주 여행 계획 세우고 예약까지 해줘"

LLM만 있는 경우  → "이런 일정이 좋을 것 같아요"라고 말만 함
Agent인 경우     → 항공권 검색 → 가격 비교 → 예약 사이트 접속 → 예약 완료까지 실행

✏️ 확인 문제 Q. 단순히 "질문에 답만 하는 챗봇"과 "이메일을 직접 보내고 캘린더에 일정을 등록하는 챗봇"의 차이는?

<details><summary>정답 보기</summary>후자가 Agent입니다. 스스로 도구를 실행해서 실제 행동까지 한다는 점이 다릅니다.</details>

5-2. Tool — 직원이 사용하는 도구

사람: 계산기, 엑셀, 메일
AI  : 검색, 파일, 파이썬, 메일, 캘린더

예제

사용자: "지금 환율 알려줘"
AI: (자체 지식만으로는 실시간 환율을 모름) → "웹 검색" Tool을 사용해서 실시간 값을 가져옴

✏️ 확인 문제 Q. AI가 실시간 날씨를 알려줄 수 있는 이유는 무엇 덕분일까?

<details><summary>정답 보기</summary>날씨 API 같은 Tool을 사용해서 외부의 실시간 정보를 가져오기 때문입니다.</details>

5-3. Skill — 특정 업무를 자동화한 기능

일정 등록 → 캘린더 API 호출 → 메일 발송 → 완료

예제

"보고서 작성 Skill"
= 데이터 수집 + 표 만들기 + 요약 작성 + PDF 변환
  이 4단계를 사람이 매번 따로 시키지 않고 "보고서 작성해줘" 한 마디로 전체 실행

✏️ 확인 문제 Q. Skill과 Tool의 차이는 무엇일까?

<details><summary>정답 보기</summary>Tool은 하나의 개별 도구(예: 계산기)이고, Skill은 여러 Tool과 단계를 묶어 특정 업무 전체를 자동화한 것입니다.</details>

5-4. MCP (Model Context Protocol) — AI와 도구를 잇는 표준 규격

USB 하나 꽂으면 → 키보드, 마우스, 프린터 모두 연결
MCP 하나 쓰면   → GitHub, Slack, Notion, DB, 캘린더 모두 같은 방식으로 연결

예제

MCP 없이: 각 서비스(Slack, Notion...)마다 AI 연동 코드를 따로 만들어야 함
MCP 사용: 표준 규격이 있으므로 "Slack MCP", "Notion MCP"를 꽂기만 하면 바로 연결됨

✏️ 확인 문제 Q. MCP가 없다면 AI를 여러 서비스에 연결할 때 어떤 불편함이 생길까?

<details><summary>정답 보기</summary>서비스마다 연결 방식이 달라서 매번 새로운 연동 코드를 개발해야 하는 번거로움이 생깁니다.</details>

5-5. API — 프로그램끼리 대화하는 창구

"오늘 날씨 알려줘" → 기상청 API → 날씨 반환

예제

배달앱이 지도를 보여줄 때
→ 배달앱이 직접 지도를 그리는 게 아니라
  "지도 API"에게 위치 정보를 요청하고 결과를 받아서 화면에 표시함

✏️ 확인 문제 Q. API를 "창구"라고 부르는 이유는 무엇일까?

<details><summary>정답 보기</summary>은행 창구처럼, 내부 시스템에 직접 들어가지 않고 정해진 창구를 통해 요청하고 결과만 받기 때문입니다.</details>

5-6. Function Calling — AI가 필요한 기능을 골라 실행

사용자: "내일 일정 등록해줘"
AI    : Calendar.create()  ← 자동 실행

예제

사용자: "서울 날씨 알려주고, 비 오면 우산 챙기라고 알려줘"

AI 내부 동작:
1) get_weather("서울") 함수 호출
2) 결과가 "비"이면 → "우산 챙기세요" 메시지 추가

✏️ 확인 문제 Q. Function Calling이 없다면 AI는 왜 실제 일정 등록 같은 행동을 할 수 없을까?

<details><summary>정답 보기</summary>Function Calling이 있어야 AI가 텍스트 답변에서 그치지 않고, 실제 프로그램 함수(예: 캘린더 등록)를 호출해 행동으로 이어갈 수 있습니다.</details>

6부. 여러 작업 연결하기

6-1. Workflow — 여러 작업을 순서대로 연결

메일 읽기 → 첨부 저장 → DB 등록 → Slack 알림

예제

"신규 주문 처리 Workflow"
1) 주문 이메일 도착
2) 주문 내용 추출
3) 재고 DB에서 재고 확인
4) 담당자에게 Slack으로 알림

✏️ 확인 문제 Q. Workflow와 Skill의 관계는 어떨까?

<details><summary>정답 보기</summary>여러 개의 Skill(또는 단계)이 순서대로 이어지면 하나의 Workflow가 됩니다.</details>

6-2. Orchestration — 전체 Workflow를 지휘

지휘자 → 바이올린, 피아노, 드럼을 지휘
AI     → 검색, 메일, DB, LLM의 순서를 조정

예제

"고객 문의 자동응답 시스템"
Orchestration이 다음을 조율:
① 문의 분류 (LLM) → ② 관련 문서 검색 (RAG) → ③ 답변 생성 (LLM) → ④ 이메일 발송 (Tool)

✏️ 확인 문제 Q. Orchestration이 없으면 여러 Tool과 Agent가 있어도 왜 제대로 동작하지 않을까?

<details><summary>정답 보기</summary>각 요소가 언제, 어떤 순서로 실행되어야 하는지 지휘하는 역할이 없으면 뒤죽박죽으로 실행되거나 충돌이 생길 수 있습니다.</details>

6-3. Multi-Agent — 직원 여러 명의 협업

A(검색) → B(요약) → C(보고서 작성)

예제

"시장 조사 보고서 작성"
Agent A: 최신 뉴스 검색 전담
Agent B: 검색된 내용 요약 전담
Agent C: 요약본을 바탕으로 최종 보고서 작성 전담

✏️ 확인 문제 Q. 하나의 Agent가 모든 일을 하는 것과 여러 Agent가 나눠서 하는 것의 장점 차이는?

<details><summary>정답 보기</summary>여러 Agent로 나누면 각자 전문 분야에 집중할 수 있어 더 정확하고 효율적인 결과를 낼 수 있습니다.</details>

6-4. Memory — AI의 기억

장기 기억: "사용자는 Vue 공부 중" → 다음 대화에서도 활용
단기 기억: 이번 대화 안에서만 유지

예제

지난주: "저는 Vue를 배우고 있어요"라고 말함
이번주: "예제 코드 하나 줘"라고만 말해도
       → AI가 지난 기억을 활용해 Vue 코드로 답변

✏️ 확인 문제 Q. 새 대화창을 열었는데 AI가 예전에 말했던 내용을 기억하지 못한다면, 어떤 Memory가 없는 상황일까?

<details><summary>정답 보기</summary>장기 기억(대화 간에 유지되는 Memory)이 없는 상황입니다.</details>

6-5. Sandbox — 안전한 실험실

AI가 파이썬 실행 / 파일 생성 / 데이터 분석
→ 내 컴퓨터가 아니라 격리된 안전 공간에서 실행

예제

AI에게 "이 코드 실행해봐"라고 시켰을 때
→ 코드에 실수로 오류가 있어도 Sandbox 안에서만 영향을 주고,
  내 실제 컴퓨터 파일은 안전하게 보호됨

✏️ 확인 문제 Q. Sandbox가 없다면 AI에게 코드 실행을 맡기는 게 왜 위험할 수 있을까?

<details><summary>정답 보기</summary>코드에 오류나 악성 동작이 있을 경우 실제 컴퓨터 시스템에 직접 영향을 줄 수 있기 때문입니다.</details>

7부. 모델 자체를 다루는 기술

7-1. Fine-tuning — 신입사원 재교육

예제

일반 LLM       → 다양한 일반 상식은 알지만 병원 전문 용어는 약함
Fine-tuned LLM → 의료 데이터를 추가 학습시켜서 병원 전문 상담에 특화됨

✏️ 확인 문제 Q. 법률 상담에 특화된 AI를 만들려면 어떤 데이터를 추가로 학습시켜야 할까?

<details><summary>정답 보기</summary>법률 판례, 법조문, 법률 상담 사례 같은 전문 데이터로 Fine-tuning을 진행해야 합니다.</details>

7-2. LoRA — 필요한 부분만 빠르게 교육

예제

Fine-tuning: 회사 전체 재교육 (비용·시간 많이 듦)
LoRA       : 특정 부서(예: 고객상담팀)만 집중 교육 (비용·시간 적게 듦)

✏️ 확인 문제 Q. 예산이 적은 스타트업이 AI 모델을 커스터마이징하려면 Fine-tuning과 LoRA 중 어느 쪽이 더 적합할까?

<details><summary>정답 보기</summary>LoRA. 비용과 자원이 적게 들면서도 필요한 부분만 효율적으로 개선할 수 있습니다.</details>

7-3. Quantization — AI 다이어트

예제

원래 모델: 100GB → 고성능 서버 필요
Quantization 적용 → 25GB → 일반 노트북 GPU에서도 실행 가능, 속도도 빨라짐

✏️ 확인 문제 Q. 스마트폰에서 AI 모델을 직접 실행하려면 왜 Quantization이 중요할까?

<details><summary>정답 보기</summary>스마트폰은 저장 공간과 연산 능력이 제한적이므로, 모델 크기를 줄여야 실행이 가능합니다.</details>

7-4. MoE (Mixture of Experts) — 상황에 맞는 전문가 호출

예제

병원: 감기 → 내과 / 눈 → 안과 / 뼈 → 정형외과 (필요한 과만 방문)
MoE  : 코딩 질문 → "코딩 전문가" 부분만 활성화
       요리 질문 → "요리 전문가" 부분만 활성화
       (전체 모델을 다 쓰지 않고 필요한 부분만 사용 → 효율적)

✏️ 확인 문제 Q. MoE 방식이 일반 모델보다 효율적인 이유는?

<details><summary>정답 보기</summary>모든 질문에 전체 모델을 다 사용하지 않고, 필요한 전문가 부분만 활성화하기 때문에 연산 자원을 절약할 수 있습니다.</details>

7-5. Inference — 실제로 일하는 과정

예제

Training (학습)  : 문제집을 풀며 공부하는 과정
Inference (추론) : 시험장에서 실제로 문제를 풀어 답을 제출하는 과정

✏️ 확인 문제 Q. 챗봇이 사용자 질문에 답변을 생성하는 매 순간은 Training일까, Inference일까?

<details><summary>정답 보기</summary>Inference. 이미 학습된 내용을 바탕으로 실제 답변을 만들어내는 과정입니다.</details>

7-6. Reasoning Model — 생각을 잘하는 AI

예제

일반 LLM        : "12 x 17은?" → 바로 답을 냄 (빠르지만 실수 가능성 있음)
Reasoning Model : "12 x 17 = 12 x 10 + 12 x 7 = 120 + 84 = 204"
                  처럼 단계별로 계산 과정을 거쳐 답을 냄 (느리지만 더 정확함)

✏️ 확인 문제 Q. 복잡한 수학 문제나 논리 퍼즐을 풀 때는 일반 LLM과 Reasoning Model 중 어느 쪽이 더 적합할까?

<details><summary>정답 보기</summary>Reasoning Model. 단계별로 검토하며 풀기 때문에 복잡한 문제에서 더 정확한 답을 낼 가능성이 높습니다.</details>

8부. 전체 흐름 정리

사용자 질문
      │
      ▼
   Prompt
      │
      ▼
     LLM
      │
      ├─ Context Window 안에서 질문 이해
      ├─ Token 단위로 읽기
      ├─ Memory 확인
      ├─ 필요하면 RAG로 Vector DB 검색
      ├─ Tool / API / MCP를 통해 외부 시스템 사용
      ├─ Agent가 Workflow를 계획·실행
      ▼
 Completion (답변)

추천 학습 순서

Token → Context Window → Prompt → Tool → Agent → Workflow → MCP → RAG


🎯 종합 확인 문제

Q1. "내일 3시에 팀 회의 잡고 팀원들에게 메일도 보내줘"라는 요청을 AI가 처리하려면, 아래 중 어떤 개념들이 순서대로 필요할까? (Prompt, Function Calling, Tool, Agent 중에서 골라 순서를 맞춰보세요)

<details><summary>정답 보기</summary> 1) 사용자가 요청 → <b>Prompt</b> 입력<br> 2) AI가 스스로 계획하고 실행 → <b>Agent</b> 동작<br> 3) 캘린더 등록 함수, 메일 발송 함수를 선택 → <b>Function Calling</b><br> 4) 실제 캘린더·메일 프로그램 사용 → <b>Tool</b> 실행 </details>

Q2. 회사 내부 문서를 기반으로 정확하게 답변하는 AI를 만들고 싶다면 어떤 기술이 필요할까? (RAG, Hallucination, Vector DB 중 관련 있는 것을 모두 고르세요)

<details><summary>정답 보기</summary> RAG와 Vector DB가 필요합니다. Vector DB에 문서를 의미 기반으로 저장해두고, RAG 방식으로 질문이 들어오면 관련 문서를 찾아 답변에 활용합니다. (Hallucination은 오히려 막아야 하는 현상입니다.) </details>

Q3. 스마트폰처럼 저장 공간이 적은 기기에서 AI를 실행하려면 어떤 기술이 도움이 될까?

<details><summary>정답 보기</summary>Quantization — 모델 크기를 줄여서 작은 기기에서도 실행 가능하게 합니다.</details>


이 흐름과 예제, 확인 문제를 함께 활용하면 ChatGPT, Claude, Gemini, Codex, Dify, n8n, Hermes 같은 AI 시스템들이 실제로 어떻게 동작하는지 더 깊이 이해할 수 있습니다.

AI_용어_교육자료_v2.md.pdf
0.69MB