[AI] LangChain이란?

생성형 AI를 활용한 서비스가 많아지면서 단순히 GPT와 대화하는 것을 넘어, 문서를 검색하거나 외부 API를 호출하고 데이터베이스와 연결하는 형태의 AI 서비스가 늘어나고 있다.

 

이처럼 LLM을 실제 애플리케이션에 연결할 때 자주 사용되는 프레임워크가 바로 LangChain이다.

 

오늘은 이 LangChain이 어떤 것인지 간단히 알아보도록 하자. 

---

LangChain이란?

LangChain은 LLM을 활용한 애플리케이션을 쉽게 개발할 수 있도록 도와주는 오픈소스 프레임워크다.

OpenAI의 GPT나 Anthropic의 Claude처럼 직접 언어 모델을 제공하는 것은 아니다. 대신 다양한 LLM과 프롬프트, 문서, 데이터베이스, 외부 API 등을 하나의 흐름으로 연결하는 역할을 한다.

가장 단순한 LLM 서비스는 다음과 같은 구조를 가진다.

사용자 질문
    ↓
LLM
    ↓
답변

하지만 실제 서비스를 만들다 보면 LLM만 호출해서는 해결하기 어려운 경우가 많다.

예를 들어 사내 규정 문서를 기반으로 답변하는 AI 서비스를 만든다고 생각해보자.

사용자 질문
    ↓
관련 문서 검색
    ↓
필요한 내용 추출
    ↓
프롬프트 구성
    ↓
LLM 호출
    ↓
최종 답변

LangChain은 이러한 여러 단계를 연결하고 관리할 수 있도록 도와준다.

---

왜 이름이 LangChain일까?

LangChain이라는 이름은 크게 두 단어로 나눌 수 있다.

• Lang : Language Model
• Chain : 여러 작업을 연결한 흐름

즉, 언어 모델을 중심으로 여러 작업을 체인처럼 연결한다는 의미다.

예를 들어 다음과 같은 흐름을 하나의 Chain으로 구성할 수 있다.

문서 검색 → 프롬프트 생성 → LLM 호출 → 결과 반환

개발자는 각각의 기능을 따로 구현하는 것보다 LangChain이 제공하는 구성 요소를 이용해 전체 흐름을 보다 체계적으로 만들 수 있다.

---

LangChain의 주요 구성 요소

LangChain을 이해하려면 몇 가지 핵심 개념을 알아두는 것이 좋다.

Model

GPT, Claude와 같은 LLM을 호출하는 부분이다.

LangChain 자체가 AI 모델은 아니기 때문에 실제 답변을 생성하려면 외부 LLM을 연결해야 한다.

LangChain
    ↓
OpenAI GPT
Anthropic Claude
기타 LLM

LangChain은 여러 모델을 비슷한 방식으로 연결할 수 있도록 인터페이스를 제공한다.

Prompt

Prompt는 LLM에게 전달하는 명령이나 질문의 형식을 의미한다.

예를 들어 다음과 같이 사용할 수 있다.

너는 금융 상담 AI다.

다음 자료를 참고해서 질문에 답하라.

자료:
{context}

질문:
{question}

여기서 {context}와 {question}에 실제 데이터를 넣어 최종 프롬프트를 만든다.

이처럼 프롬프트를 템플릿 형태로 관리할 수 있다는 것도 LangChain의 특징 중 하나다.

Document와 Retriever

LLM이 외부 문서를 참고하도록 만들 때 사용되는 요소다.

예를 들어 PDF나 사내 문서에서 사용자의 질문과 관련된 부분을 찾아야 한다면 Retriever를 이용할 수 있다.

사용자 질문
    ↓
Retriever
    ↓
관련 문서 검색
    ↓
LLM

이 구조는 RAG를 구현할 때 특히 많이 사용된다.

Tool

Tool은 LLM이 외부 기능을 사용할 수 있도록 연결하는 기능이다.

예를 들어 다음과 같은 기능을 Tool로 만들 수 있다.

날씨 API
계산기
데이터베이스 조회
웹 검색
사내 API

LLM이 단순히 자신의 학습 데이터만을 이용하는 것이 아니라 실제 외부 시스템과 상호작용할 수 있게 되는 것이다.

Chain

Chain은 여러 작업을 정해진 순서로 연결한 것이다.

예를 들어 다음과 같은 Chain을 구성할 수 있다.

사용자 질문
    ↓
문서 검색
    ↓
프롬프트 생성
    ↓
LLM 호출
    ↓
답변 반환

각 단계가 미리 정해진 순서대로 실행된다는 것이 특징이다.

Agent

Agent는 Chain보다 한 단계 더 발전된 개념이다.

Chain은 개발자가 미리 처리 순서를 정하지만, Agent는 LLM이 현재 상황을 보고 어떤 Tool을 사용할지 판단할 수 있다.

예를 들어 사용자가 다음과 같이 질문했다고 하자.

서울의 현재 날씨를 확인해서
비가 오면 우산을 가져가야 하는지 알려줘.

Agent는 다음과 같이 동작할 수 있다.

사용자 질문
    ↓
LLM 판단
    ↓
날씨 정보가 필요함
    ↓
Weather Tool 호출
    ↓
결과 확인
    ↓
최종 답변 생성

즉,

Chain = 정해진 순서대로 실행

Agent = LLM이 다음 행동을 판단

이라고 이해하면 된다.

---

LangChain과 RAG

LangChain을 공부할 때 가장 자주 등장하는 개념 중 하나가 RAG(Retrieval-Augmented Generation)다.

RAG는 LLM이 외부 문서를 검색한 뒤 그 정보를 참고하여 답변하도록 만드는 방식이다.

대표적인 구조는 다음과 같다.

문서
 ↓
텍스트 분할
 ↓
Embedding
 ↓
Vector DB
 ↓
Retriever
 ↓
관련 문서 검색
 ↓
LLM
 ↓
답변

예를 들어 회사의 규정 PDF를 Vector DB에 저장해 두고 사용자가 질문하면 질문과 관련된 문서를 검색해 LLM에게 전달할 수 있다.

이를 통해 LLM이 학습하지 않은 최신 정보나 내부 데이터도 활용할 수 있다.

LangChain은 이러한 RAG 구조를 구현하는 데 필요한 여러 기능을 제공하기 때문에 RAG 개발에서 자주 사용된다.

---

LangChain과 Agent

최근에는 LangChain을 단순한 RAG 프레임워크보다 AI Agent 개발을 위한 도구로 사용하는 경우도 많다.

일반적인 LLM은 질문에 답변을 생성하는 것이 주된 역할이다.

반면 Agent는 상황에 따라 외부 도구를 사용하며 작업을 수행할 수 있다.

사용자
  ↓
Agent
  ↓
LLM
 ├─ 웹 검색
 ├─ 데이터베이스
 ├─ 계산기
 └─ 외부 API
  ↓
최종 결과

이러한 구조를 사용하면 단순한 챗봇을 넘어 여러 작업을 수행하는 AI 시스템을 만들 수 있다.

복잡한 Agent의 상태 관리나 분기, 반복 처리가 필요한 경우에는 LangChain 생태계의 LangGraph도 함께 사용된다.

---

LangChain은 무료일까?

LangChain 자체는 오픈소스 프레임워크이기 때문에 직접 설치해서 사용할 수 있다.

하지만 LangChain과 연결하는 모든 서비스가 무료인 것은 아니다.

예를 들어 다음과 같은 서비스에는 별도의 비용이 발생할 수 있다.

OpenAI API
Claude API
Vector Database
Cloud 서비스
외부 API

따라서

LangChain = 애플리케이션을 구성하는 프레임워크

LLM API = 실제 AI 모델을 사용하는 서비스

로 구분해서 이해해야 한다.

---

LangChain과 Spring AI의 차이

Java와 Spring을 사용해본 개발자라면 LangChain과 Spring AI를 비교하면 이해하기 쉽다.

LangChain	Spring AI
Python / JavaScript 중심	Java / Spring 중심
LLM 애플리케이션 개발 프레임워크	Spring 기반 AI 개발 프레임워크
Prompt	Prompt
Retriever	VectorStore / Retrieval
Tool	Tool / Function Calling
Agent	Agent
다양한 LLM 연결	다양한 LLM 연결

두 프레임워크 모두 LLM과 외부 시스템을 연결해 실제 AI 서비스를 만드는 것이 목적이라는 점에서는 비슷하다.

 

다만 LangChain은 Python 기반 AI 생태계에서 많이 사용되고, Spring AI는 Spring 애플리케이션에 AI 기능을 자연스럽게 통합하는 데 초점을 두고 있다.

---

정리

LangChain은 GPT 같은 LLM 자체가 아니다.

LLM과 프롬프트, 문서, 데이터베이스, 외부 API, Tool 등을 연결해 하나의 AI 애플리케이션을 구성할 수 있도록 도와주는 오픈소스 프레임워크다.

전체적인 구조를 간단하게 표현하면 다음과 같다.

                ┌─ 문서 / Vector DB
                │
사용자 → LangChain ─ LLM
                │
                ├─ 외부 API
                │
                └─ Tool
                     ↓
                   답변

LangChain을 공부한다면 다음 순서로 개념을 익히는 것이 좋다.

LangChain
   ↓
Prompt / Model
   ↓
Embedding
   ↓
Vector DB
   ↓
RAG
   ↓
Retriever
   ↓
Tool
   ↓
Agent
   ↓
LangGraph

LLM을 다른 데이터와 기능에 연결해주는 프레임워크라는 핵심 개념부터 잡는 것이 중요하다.