[생성형 AI] 개발에 필요한 개념과 서비스 모음

LLM, RAG, PEFT, Opt OUT,Vector DB
이게 다 뭐야?

 
최근 몇 년 동안 AI 기술은 전례 없는 속도로 발전해왔습니다. 특히, 생성형 AI 기술은 그 발전 속도가 더욱 빠르게 가속화되고 있죠. 자고 일어나면 새로 나오는 기술과 논문을 CATCH UP 하는데 피로도가 지나칠 정도입니다. 하지만 이러한 발전은  우리의 생각보다는 좀 쓸모가 없어보이기도 합니다.
 
초반에 ChatGPT를 써보고 '그렇구나'  이해정도 하고 다시 돌아오지 않는 사람들도 많죠. 초기에는 생성형 AI가 제한된 성능과 예상치 못한 오류와 시행착오로 인해 그 효과가 미미해 보였습니다. 그러나 장기적으로는 이러한 기술이 혁명적인 변화를 가져올 것으로 기대됩니다. 우리는 이러한 현상을 아마라의 법칙이라고 합니다. 아마라의 법칙은 최근 AI기술에 딱 맞는 용어라고 생각됩니다.

아마라의 법칙(Amara's Law)

단기적으로는 기술의 영향력을 과대평가하고, 장기적으로는 과소평가한다
- 미국 과학자 Roy Amara -

“We tend to overestimate the effect of a technology in the short run and underestimate the effect in the long run.”
 - Roy Amara

 

Amara's Law

 

https://deviq.com/laws/amaras-law

 
 
특히, Sequoia Capital이 제시한 [Generative AI Infrastructure Stack]과 [The Generative AI Market Map]은 이러한 변화를 이끌어낼 핵심적인 역할을 합니다. 이러한 인프라와 시장 맵은 AI 개발에 필요한 핵심 개념과 서비스를 제공하고, AI 기술의 발전에 기여하고 있습니다. 이를 통해 AI 개발자들은 보다 효율적으로 AI 모델을 구축하고 배포할 수 있으며, 다양한 응용 분야에서의 활용 가능성을 탐색할 수 있습니다.
 
따라서, 이번 글에서는 [Generative AI Infrastructure Stack]과 [The Generative AI Market Map]을 통해 AI 개발에 필요한 핵심 개념과 서비스에 대해 자세히 알아보도록 하겠습니다. 이를 통해 생성형 AI 기술의 발전과 혁신에 대한 이해를 높이고, 더 나은 미래를 위한 기반을 마련하는 데 도움이 되길 바랍니다.
 

https://www.sequoiacap.com/article/generative-ai-act-two/

 
가장 아래부터 설명드려보겠습니다.
 

1. Foundation Model

먼저 이 모든 것의 기초가 되는 인공지능 모델입니다. OPEN AI 는 GPT-3를 시작으로 GPT-4 까지 공개했고, 이제 GPT-5 이야기가 나오고 있습니다. 마찬가지로 페이스북의 Llama2가 오픈소스로 공개되면서 개발자들의 연구가 본격화되었습니다. 이 모델들은 대규모 데이터셋을 사용하여 사전 학습된 상태로 제공되며, 다양한 응용 분야에서 활용될 수 있습니다.
Foundation Model은 텍스트, 이미지, 비디오, 오디오, 3D, 코드 등 다양한 형식의 데이터를 처리할 수 있는 AI 모델을 의미합니다.대표 기업은 OpenAI, facebook, DeepMind, Google Research 등이 계속해서 모델을 업데이트, 개발하고 있습니다. 우리나라는 네이버 HyperCLOVA X 가 대표적입니다.
 
https://llama.meta.com/

Llama

2. Compute & Inference

AWS(Amazon Web Services), Azure, Google Cloud 는 GPU, TPU 인프라  및 서비스 일체를 제공하여 대규모의 데이터 처리 및 AI 모델 학습을 지원합니다. Replicate, Model 서비스: Replicate와 같은 서비스는 사용자들이 AI 모델을 손쉽게 배포하고 관리할 수 있도록 도와줍니다. 모델 서비스는 사용자들이 학습한 AI 모델을 실시간으로 사용할 수 있도록 제공합니다. 특히 MS Azure 는 OPEN AI를 API 형태로 제공하고 있어 기업 맞춤형 LLM 개발에 용이합니다.
 
https://azure.microsoft.com/ko-kr/products/ai-services/openai-service

Azure OpenAI Service – 고급 언어 모델 | Microsoft Azure

3. Model Tuning

Model Tuning은 AI 모델의 학습 과정을 최적화하고 성능을 향상시키는 기술을 의미합니다. Weights & Biases와 Amazon SageMaker는 사용자들이 AI 모델을 효과적으로 학습하고 파인 튜닝할 수 있도록 다양한 도구와 기능을 제공합니다.
대표 기업 서비스로는 Weights & Biases, Amazon SageMaker 머신러닝 서비스가 있습니다.
 
https://aws.amazon.com/ko/sagemaker/

기계 학습 - Amazon Web Services

 

4. Developer Tools/Infra

개발도구로는 대표적으로 Langchain 이 있습니다. Langchain은 언어 및 텍스트 데이터를 처리하고 분석하기 위한 애플리케이션 프레임워크입니다. Langchain 은 LLM을 사용 애플리케이션 개발에 쓰입니다.
 
https://www.langchain.com/

LangChain

 
특히 Vector DB는 좀 더 비중있게 다룰 만한 내용입니다. 나중에 별도 글을 통해 알아보고 오늘은 간단히 개념만 언급하고자합니다.  Vector DB는 벡터 데이터를 저장하고 검색하는데 사용되는 데이터베이스입니다. Pinecone, Chroma, MongoDB와 같은 다양한 라이브러리는 벡터 데이터를 효율적으로 관리하고 분석할 수 있도록 도와줍니다. 
 

https://medium.com/data-and-beyond/vector-databases-a-beginners-guide-b050cbbe9ca0

 

Vector DB 는 고차원 데이터를 효율적으로 저장하고 검색하기 위해 특화된 데이터베이스입니다. 각 데이터는 벡터로 표현되며, 벡터는 여러 특성을 설명하는 값의 모음입니다. 예를 들어, 그림은 픽셀 값의 벡터로 표현될 수 있고, 문장은 단어 임베딩의 벡터로 표현될 수 있습니다. Vector DB 는 인덱싱 전략을 사용하여 특정 쿼리 벡터와 유사한 벡터를 쉽게 찾을 수 있습니다.

이는 기계 학습에서 유용하며, AI 어플리케이션에서는 벡터 임베딩을 활용하여 콘텐츠를 색인화하고 검색합니다. 임베딩 모델을 사용하여 콘텐츠의 벡터 임베딩을 생성하고, 이를 벡터 데이터베이스에 삽입합니다. 이렇게 함으로써 어플리케이션은 쿼리에 대한 임베딩을 생성하고, 이를 통해 벡터 데이터베이스에서 비슷한 벡터 임베딩을 검색할 수 있습니다.

이러한 임베딩들은 오리지널 콘텐츠에 연결되어 있어, 원본 콘텐츠로의 참조를 유지합니다. 이를 통해 AI 어플리케이션은 시맨틱 정보 검색 및 고급 기능을 구현할 수 있습니다.

 

5. App & Workflow

Streamlit, Gradio는 AI 모델을 웹 기반의 애플리케이션으로 개발하고 배포하는데 사용되는 프레임워크입니다.
파이썬 코드를 활용한 쉽고 빠른 시각화 오픈소스 라이브러리 라고 보시면 됩니다.
 
https://streamlit.io/

Streamlit • A faster way to build and share data apps

https://www.gradio.app/

Gradio

 

6. Production Monitoring & Observability

마지막으로 성능 모니터링 도구입니다. LLM Ops는 AI 모델의 운영 및 관리를 지원하는 플랫폼으로, Langsmith와 같은 서비스는 모델의 성능을 모니터링하고 문제를 해결하기 위한 도구와 기능을 제공합니다. LLM 어플리케이션에 대해 디버깅과 테스트. 그리고 성능평가와 모니터링이 가능한 통합 플랫폼입니다. 

https://www.langchain.com/langsmith

LangSmith

 
sequoia 캐피털이 제시한 the generative ai infrastructure stack 에 의거해서 생성형 AI에 대한 필요한 개념과 개발도구를 체계적으로 풀어보았습니다. 앞으로 더욱 미래가 궁금하고 기대되는 AI 시장입니다. 도움이 되셨다면 좋겠습니다.
 
감사합니다.