인공지능(AI) 이론과 코드 (11) 썸네일형 리스트형 인공신경망에서 소프트맥스(softmax) 함수의 수식에 대한 설명 # 소프트맥스는 왜 자연상수의 지수함수 $e^x$ 를 사용하는가? Softmax 함수는 다중 클래스 분류에서 확률값을 계산하는 데 사용되는 활성화 함수입니다. 수식은 다음과 같습니다.$$\sigma(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{n} e^{z_j}}$$#1. Softmax 함수의 요소 1. \( z_i : \text{입력 벡터의 } i \text{번째 요소} \) 입력값, 로짓Softmax 함수에 입력되는 원소입니다.분류 문제에서 각 클래스에 대한 로짓(logit, 점수)으로 사용됩니다.예를 들어, 뉴런의 출력값이나 신경망의 마지막 계층에서 계산된 값이 됩니다.2. \( e^{z_i} : \text{자연상수} e \text{를 밑으로 하는} \) 지수 함수자연상수 (약 2.. RAG-Sequence와 RAG-Token 모델의 수식과 차이 오늘은 RAG의 두 가지 변형, RAG-Sequence와 RAG-Token 모델에 대해 설명하겠습니다.먼저 조건부 확률을 모두 이해하고 가보겠습니다. 친구가 평소에 우산을 가져올 확률이 40%라고 해요. 그런데 오늘은 비가 오는 날이에요. 비 오는 날에는 친구가 우산을 가져올 확률이 더 높겠죠? 이 렇게 "비가 오는 날"이라는 (조건) 이 주어진 상태에서 친구가 우산을 가져올 (확률)을 조건부 확률이라고 합니다. 수식으로 쓰면 p(친구가 우산을 가져온다 | 비가 오는 날) 라고 쓸수 있겠죠. A = 비가 오는 날, B = 우산을 가져오는 것P(B|A) = 비가 오는 날이라는 조건 때문에 "우산을 가져올 확률"이 더 달라지는 거예요.이처럼 조건부 확률은 어떤 조건이 주어진 상황에서 다른 사건이 일어날.. 경사 하강법 Gradient Descent 에 대한 수학적 이해와 활용 인생의 내리막은 성장이 멈춘 순간부터 온다 여러분, 인생에서 이런 경험 있으신가요?우리 주변의 문제를 해결하려고 고민할수록 점점 더 복잡해지고, 어디서부터 시작해야 할지 몰라서 막막했던 순간들 말이죠. 그런데, 결국은 내 바로 앞에 주어진 문제에 대해 한 걸음씩, 아주 단순한 방식으로 나아갈 때, 길이 보이더라구요. 컴퓨터도 마찬가지입니다. 복잡한 문제를 풀기 위해 처음부터 완벽한 답을 찾으려고 애쓰는 대신, "조금씩 나아가며" 답에 가까워지는 방법을 사용합니다. 이를 경사 하강법(Gradient Descent) 이라고 합니다. 쉽게 말하면 이런 거예요. 생각해보세요.지금 여러분이 깜깜한 밤에 높은 언덕 위에 있다고 상상해 봅시다. 목표는 언덕 아래로 안전하게 내려가는 겁니다. 그런데 문제는, 눈앞이 너.. 자연어 처리 인공지능의 발전 - LLM 대규모 언어모델 진화과정 [한 줄 정의] LLM은 대규모 언어 모델(Large Language Model)의 약자로 인공지능 신경망 기반의 자연어 처리 알고리 [ 설명 ] LLM (Large Language Model)은 대규모 언어 모델의 한 유형으로, 이 모델은 많은 텍스트 데이터를 사용하여 학습됩니다. 이 모델들은 자연어 처리 및 이해를 위한 딥러닝 기술을 기반으로 하며, 대규모 데이터셋에서 훈련된 심층 신경망 아키텍처를 사용합니다. 심층 신경망(Deep Neural Network)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network) 을 말한다. LLM은 초기에는 단순한 텍스트 생성 작업에 .. [생성형 AI] 개발에 필요한 개념과 서비스 모음 LLM, RAG, PEFT, Opt OUT,Vector DB 이게 다 뭐야? 최근 몇 년 동안 AI 기술은 전례 없는 속도로 발전해왔습니다. 특히, 생성형 AI 기술은 그 발전 속도가 더욱 빠르게 가속화되고 있죠. 자고 일어나면 새로 나오는 기술과 논문을 CATCH UP 하는데 피로도가 지나칠 정도입니다. 하지만 이러한 발전은 우리의 생각보다는 좀 쓸모가 없어보이기도 합니다. 초반에 ChatGPT를 써보고 '그렇구나' 이해정도 하고 다시 돌아오지 않는 사람들도 많죠. 초기에는 생성형 AI가 제한된 성능과 예상치 못한 오류와 시행착오로 인해 그 효과가 미미해 보였습니다. 그러나 장기적으로는 이러한 기술이 혁명적인 변화를 가져올 것으로 기대됩니다. 우리는 이러한 현상을 아마라의 법칙이라고 합니다. 아마라의 .. [생성형 AI] MQR 뜻 의미(다중 쿼리 검색기, Multi Query Retriever) MQR(Multi Query Retriever) [한 줄 정의] 사용자 질문(쿼리)을 의미는 유사하지만, 형태는 다른 프롬프트 생성을 자동화하는 기술 [ 설명 ] MQR은 질문(Query)에 대해 DB를 검색하고, 모든 쿼리에서 고유한 공통점을 가져와서, 잠재적으로 관련이 있는 DB 집합을 가져옵니다. 동일한 질문에 대해 다양한 관점의 프롬프트를 생성함으로써, Cos 유사도* 등 거리 기반 검색의 일부 한계를 극복하고 더 풍부한 결과를 얻을 수 있습니다. 코사인 유사도(cosine similarity)는 내적공간의 두 벡터간 각도의 코사인값을 이용하여 측정된 벡터간의 유사한 정도를 의미한다. 각도가 0°일 때의 코사인값은 1이며, 다른 모든 각도의 코사인값은 1보다 작다. - 위키백과 - Cos 유사도 .. [생성형 AI] RAG 뜻 의미(검색 증강 생성, Retrieval-Augmented Generation) RAG(Retrieval-Augmented Generation) [한 줄 정의] RAG는 검색 결과를 활용하여 텍스트 생성 모델의 성능을 향상시키는 기술 [ 설명 ] RAG는 텍스트를 생성하는 모델에 검색 결과를 포함하여 더 나은 결과물을 만들어내는 기술입니다. 이는 우리가 검색 엔진을 사용하여 정보를 찾을 때와 비슷한 방식으로 동작합니다. 예를 들어, 주어진 주제에 대한 정보를 검색하고 해당 정보를 기반으로 텍스트를 생성함으로써 더욱 정확하고 다양한 내용을 생성할 수 있습니다. 좀 더 구체적으로는 대규모 언어 모델 (Large language model, LLM) *의 출력을 최적화하여 , 답변을 생성하기 전에 학습 데이터 소스 외부의 도메인 지식(이를 테면 산업군이나 기업 고유의 DB)를 참조하도록 .. [파이토치_Torchvision] 딥러닝 해킹방법 FGSM FGSM (Fast Gradient Sign Method) [ 한 줄 정의 ] 딥러닝 신경망을 혼란시킬 목적으로 만들어진 공격 방법 적대적 샘플이란 신경망을 혼란시킬 목적으로 만들어진 특수한 입력으로, 신경망으로 하여금 샘플을 잘못 분류하도록 합니다. 비록 인간에게 적대적 샘플은 일반 샘플과 큰 차이가 없어 보이지만, 신경망은 적대적 샘플을 올바르게 식별하지 못합니다. 이와 같은 신경망 공격에는 여러 종류가 있는데, FGSM은 화이트 박스(white box) 공격 기술에 속합니다. 화이트 박스 공격이란 공격자가 대상 모델의 모든 파라미터 값에 접근할 수 있다는 가정 하에 이루어지는 공격을 일컫습니다. [ 연구논문 ] GAN 적대적 신경망으로 유명한 Ian Goodfellow et al 님의 논문을 인용합.. 이전 1 2 다음
