Langchain

Langchain은 LLM 앱을 구축하기 위한 통합 API 레이어다.

Langchain이 필요한 이유: LLM 앱을 제작하려면 단순히 프롬프트를 보내고 응답을 기다리는 것 이상의 작업이 필요함. 매개변수 조정부터 프롬프트 보강, 응답 조정에 이르기까지 고려해야 할 요소가 많음.

• 예시: 1. LLM은 상태를 저장하지 않으므로 대화의 이전 메시지를 기억하지 못함 그러므로 기록을 유지하고 LLM에 컨텍스트를 제공해야 함. 맥락 정보가 새로운 대화에서 컨텍스트를 다시 가져오기 위해 영구 데이터베이스에 저장되어야 할 수도 있음. 2. LLM에 대한 일률적인 규칙이 없으므로 감정 분석, 분류, 질문 답변과 요약 등 다양한 시나리오에 특화된 여러 모델을 사용해야 할 수 있음. 여러 LLM을 처리하는 작업은 복잡하며 상당한 노력을 필요로 함.

1. Data Sources

LLM 앱이 컨텍스트를 구축하기 위해 PDF, 웹 페이지, CSV, 관계형 데이터베이스와 같은 외부 소스에서 데이터를 검색해야 하는 경우가 있는데, Langchain은 서로 다른 소스에서 데이터에 액세스하고 검색할 수 있는 모듈과 원활하게 통합된다.

2. Word Embeddings

임베딩 모델에 전달하기 위해, 일부 외부 소스에서 검색된 데이터는 벡터로 변환되어야 함. 실제로 오픈AI의 GPT-3.5 모델은 컨텍스트를 전송하는 데 사용해야 하는 단어 임베딩 모델과 관련되어 있음. Langchain은 선택한 LLM을 기반으로 최적의 임베딩 모델을 선택한다.

3. Vector Database

생성된 임베딩은 유사성 검색을 위해 벡터 데이터베이스에 저장됨. Langchain은 메모리 내 배열부터 파인콘과 같은 호스팅 벡터 데이터베이스에 이르기까지 다양한 소스에서 벡터를 쉽게 저장하고 검색할 수 있음.

4. LLM

Langchain은 오픈AI, 코히어(Cohere), AI21에서 제공하는 주류 LLM과 허깅페이스(Hugging Face)에서 제공되는 오픈소스 LLM을 지원함. 지원되는 모델과 API 엔드포인트 목록은 빠르게 증가하고 있음.

Langchain 모듈

Agents

Agents 모듈은 LLM을 사용하여 프롬프트를 행동 계획으로 추출하는 ReAct 프롬프트 제작을 단순화함. Agents 모듈은 기본 일련의 동작을 선택하기 위해 LLM을 사용하는 일종의 동적 체인으로 생각할 수 있음. 동작의 순서는 체인(코드)으로 하드 코딩되며, 언어 모델은 Agents 모듈 내에서 추론 엔진으로 사용되어 어떤 순서로 어떤 동작을 취할지 결정함.

1. Agents 모듈은 자신에게 주어진 Task를 수행하기 위해, 주어진 도구(Tools)와 현재 상황을 토대로 사고(Thought)하여 필요한 다음 행동을 설계함. (Action planning/Reasoning)