인공지능(AI) 이론과 코드/6. 자연어처리(NLP) (4) 썸네일형 리스트형 자연어 처리 인공지능의 발전 - LLM 대규모 언어모델 진화과정 [한 줄 정의] LLM은 대규모 언어 모델(Large Language Model)의 약자로 인공지능 신경망 기반의 자연어 처리 알고리 [ 설명 ] LLM (Large Language Model)은 대규모 언어 모델의 한 유형으로, 이 모델은 많은 텍스트 데이터를 사용하여 학습됩니다. 이 모델들은 자연어 처리 및 이해를 위한 딥러닝 기술을 기반으로 하며, 대규모 데이터셋에서 훈련된 심층 신경망 아키텍처를 사용합니다. 심층 신경망(Deep Neural Network)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network) 을 말한다. LLM은 초기에는 단순한 텍스트 생성 작업에 .. [생성형 AI] 개발에 필요한 개념과 서비스 모음 LLM, RAG, PEFT, Opt OUT,Vector DB 이게 다 뭐야? 최근 몇 년 동안 AI 기술은 전례 없는 속도로 발전해왔습니다. 특히, 생성형 AI 기술은 그 발전 속도가 더욱 빠르게 가속화되고 있죠. 자고 일어나면 새로 나오는 기술과 논문을 CATCH UP 하는데 피로도가 지나칠 정도입니다. 하지만 이러한 발전은 우리의 생각보다는 좀 쓸모가 없어보이기도 합니다. 초반에 ChatGPT를 써보고 '그렇구나' 이해정도 하고 다시 돌아오지 않는 사람들도 많죠. 초기에는 생성형 AI가 제한된 성능과 예상치 못한 오류와 시행착오로 인해 그 효과가 미미해 보였습니다. 그러나 장기적으로는 이러한 기술이 혁명적인 변화를 가져올 것으로 기대됩니다. 우리는 이러한 현상을 아마라의 법칙이라고 합니다. 아마라의 .. [생성형 AI] MQR 뜻 의미(다중 쿼리 검색기, Multi Query Retriever) MQR(Multi Query Retriever) [한 줄 정의] 사용자 질문(쿼리)을 의미는 유사하지만, 형태는 다른 프롬프트 생성을 자동화하는 기술 [ 설명 ] MQR은 질문(Query)에 대해 DB를 검색하고, 모든 쿼리에서 고유한 공통점을 가져와서, 잠재적으로 관련이 있는 DB 집합을 가져옵니다. 동일한 질문에 대해 다양한 관점의 프롬프트를 생성함으로써, Cos 유사도* 등 거리 기반 검색의 일부 한계를 극복하고 더 풍부한 결과를 얻을 수 있습니다. 코사인 유사도(cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 각도가 0°일 때의 코사인값은 1이며, 다른 모든 각도의 코사인값은 1보다 작다. - 위키백과 - Cos 유사도 .. [생성형 AI] RAG 뜻 의미(검색 증강 생성, Retrieval-Augmented Generation) RAG(Retrieval-Augmented Generation) [한 줄 정의] RAG는 검색 결과를 활용하여 텍스트 생성 모델의 성능을 향상시키는 기술 [ 설명 ] RAG는 텍스트를 생성하는 모델에 검색 결과를 포함하여 더 나은 결과물을 만들어내는 기술입니다. 이는 우리가 검색 엔진을 사용하여 정보를 찾을 때와 비슷한 방식으로 동작합니다. 예를 들어, 주어진 주제에 대한 정보를 검색하고 해당 정보를 기반으로 텍스트를 생성함으로써 더욱 정확하고 다양한 내용을 생성할 수 있습니다. 좀 더 구체적으로는 대규모 언어 모델 (Large language model, LLM) *의 출력을 최적화하여 , 답변을 생성하기 전에 학습 데이터 소스 외부의 도메인 지식(이를 테면 산업군이나 기업 고유의 DB)를 참조하도록 .. 이전 1 다음
