본문 바로가기

인공지능(AI) 이론과 코드

 (8)
자연어 처리 인공지능의 발전 - LLM 대규모 언어모델 진화과정 [한 줄 정의] LLM은 대규모 언어 모델(Large Language Model)의 약자로 인공지능 신경망 기반의 자연어 처리 알고리 [ 설명 ] LLM (Large Language Model)은 대규모 언어 모델의 한 유형으로, 이 모델은 많은 텍스트 데이터를 사용하여 학습됩니다. 이 모델들은 자연어 처리 및 이해를 위한 딥러닝 기술을 기반으로 하며, 대규모 데이터셋에서 훈련된 심층 신경망 아키텍처를 사용합니다. 심층 신경망(Deep Neural Network)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network) 을 말한다. LLM은 초기에는 단순한 텍스트 생성 작업에 ..
[생성형 AI] 개발에 필요한 개념과 서비스 모음 LLM, RAG, PEFT, Opt OUT,Vector DB 이게 다 뭐야? 최근 몇 년 동안 AI 기술은 전례 없는 속도로 발전해왔습니다. 특히, 생성형 AI 기술은 그 발전 속도가 더욱 빠르게 가속화되고 있죠. 자고 일어나면 새로 나오는 기술과 논문을 CATCH UP 하는데 피로도가 지나칠 정도입니다. 하지만 이러한 발전은 우리의 생각보다는 좀 쓸모가 없어보이기도 합니다. 초반에 ChatGPT를 써보고 '그렇구나' 이해정도 하고 다시 돌아오지 않는 사람들도 많죠. 초기에는 생성형 AI가 제한된 성능과 예상치 못한 오류와 시행착오로 인해 그 효과가 미미해 보였습니다. 그러나 장기적으로는 이러한 기술이 혁명적인 변화를 가져올 것으로 기대됩니다. 우리는 이러한 현상을 아마라의 법칙이라고 합니다. 아마라의 ..
[생성형 AI] MQR 뜻 의미(다중 쿼리 검색기, Multi Query Retriever) MQR(Multi Query Retriever) [한 줄 정의] 사용자 질문(쿼리)을 의미는 유사하지만, 형태는 다른 프롬프트 생성을 자동화하는 기술 [ 설명 ] MQR은 질문(Query)에 대해 DB를 검색하고, 모든 쿼리에서 고유한 공통점을 가져와서, 잠재적으로 관련이 있는 DB 집합을 가져옵니다. 동일한 질문에 대해 다양한 관점의 프롬프트를 생성함으로써, Cos 유사도* 등 거리 기반 검색의 일부 한계를 극복하고 더 풍부한 결과를 얻을 수 있습니다. 코사인 유사도(cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 각도가 0°일 때의 코사인값은 1이며, 다른 모든 각도의 코사인값은 1보다 작다. - 위키백과 - Cos 유사도 ..
[생성형 AI] RAG 뜻 의미(검색 증강 생성, Retrieval-Augmented Generation) RAG(Retrieval-Augmented Generation) [한 줄 정의] RAG는 검색 결과를 활용하여 텍스트 생성 모델의 성능을 향상시키는 기술 [ 설명 ] RAG는 텍스트를 생성하는 모델에 검색 결과를 포함하여 더 나은 결과물을 만들어내는 기술입니다. 이는 우리가 검색 엔진을 사용하여 정보를 찾을 때와 비슷한 방식으로 동작합니다. 예를 들어, 주어진 주제에 대한 정보를 검색하고 해당 정보를 기반으로 텍스트를 생성함으로써 더욱 정확하고 다양한 내용을 생성할 수 있습니다. 좀 더 구체적으로는 대규모 언어 모델 (Large language model, LLM) *의 출력을 최적화하여 , 답변을 생성하기 전에 학습 데이터 소스 외부의 도메인 지식(이를 테면 산업군이나 기업 고유의 DB)를 참조하도록 ..
[파이토치_Torchvision] 딥러닝 해킹방법 FGSM FGSM (Fast Gradient Sign Method) [ 한 줄 정의 ] 딥러닝 신경망을 혼란시킬 목적으로 만들어진 공격 방법 적대적 샘플이란 신경망을 혼란시킬 목적으로 만들어진 특수한 입력으로, 신경망으로 하여금 샘플을 잘못 분류하도록 합니다. 비록 인간에게 적대적 샘플은 일반 샘플과 큰 차이가 없어 보이지만, 신경망은 적대적 샘플을 올바르게 식별하지 못합니다. 이와 같은 신경망 공격에는 여러 종류가 있는데, FGSM은 화이트 박스(white box) 공격 기술에 속합니다. 화이트 박스 공격이란 공격자가 대상 모델의 모든 파라미터 값에 접근할 수 있다는 가정 하에 이루어지는 공격을 일컫습니다. [ 연구논문 ] GAN 적대적 신경망으로 유명한 Ian Goodfellow et al 님의 논문을 인용합..
[Class 상속의 개념] super().__init__() 의 원리와 이해 CNN(Convolution Neural Network)은 이미지 분류에 많이 사용하는 컨볼루션 연산 기반의 인공지능 모델입니다. CNN을 응용한 여러 모델 중 ResNet 이 있습니다. ResNet은 이미지 천 만장을 학습하여 이미지 15만장으로 인식률을 겨루는 이미지 넷 대회에서 2015년 우승한 후 그 성능을 인정받아 널리 쓰이기 있습니다. https://www.image-net.org/challenges/LSVRC/index.php ImageNet Competition The ImageNet Large Scale Visual Recognition Challenge (ILSVRC) evaluates algorithms for object detection and image classification..
torch.cat()과 torch.stack()의 차이점 파이토치에서 텐서들을 서로 병합하는(붙이는) 2가지 함수 torch.cat()과 torch.stack()의 차이점에 대해 알아봅니다. torch.cat()은 주어진 차원을 기준으로 주어진 텐서들을 붙입니다(concatenate). torch.stack()은 새로운 차원으로 주어진 텐서들을 붙입니다. 따라서, (3, 4)의 크기(shape)를 갖는 2개의 텐서 A와 B를 붙이는 경우, torch.cat([A, B], dim=0)의 결과는 (6, 4)의 크기(shape)를 갖고, torch.stack([A, B], dim=0)의 결과는 (2, 3, 4)의 크기를 갖습니다. 예를 들어 설명하기 위해, 아래 두 개의 텐서 t1, t2를 예시로 선언해보겠습니다. t1 = torch.tensor([[1, 2], [..
딥러닝 및 컴퓨터 비전 학회, 논문, 저널 [컴퓨터 비전관련 학회(Conference)] CVPR(Computer Vision and Pattern Recognition, 국제 컴퓨터 비전 및 패턴인식 학술대회) https://cvpr2021.thecvf.com/ Home | CVPR 2021 ABOUT CVPR is the premier annual computer vision event comprising the main conference and several co-located workshops and short courses. With its high quality and low cost, it provides an exceptional value for students, academics and industry researchers. ..
반응형
LIST

티스토리툴바