AI/공부4 [인과관계 추론] 9.Instrumental Variables 전체 컨셉 How can we identify causal effects when we are in the presence of unobserved confounding? -> One popular way is to find and use "Instrumental variables". 1. What is an Instrument? 변수 Z가 instrument로 간주되기 위해서는 세 개의 Assumption을 만족해야 한다. Assumption 1. (Relevance) Z has a causal effect on T Assumption 2. (Exclusion Restriction) Z causal effect on Y is fully mediated by T 1. Y를 나타내는 구조 방정식 상에서 Z.. 2021. 8. 6. [Book] 한국어 임베딩 1장 # 임베딩의 역할 의미/문법 정보 함축(semantic/syntactic) : 아들->딸 & 소년->소녀의 의미 차이가 임베딩에 함축되어 있으면 좋은 임베딩(word analogy test) 아들 + 딸 - 소녀 = 소년 # 임베딩 기법 역사 : 처음에는 단어 수준에서 임베딩을 진행했지만, 동음이의어의 경우 처리하기가 어렵다. 그래서 문장 수준에서의 임베딩으로 발전하게 되었다.(ELMo이후 BERT, GPT가 해당) ex) 배(사람 배, 먹는 배, 타는 배)는 벡터 공간에서 같은 의미를 갖는 '배'끼리 가까이 존재한다. (in detail) 룰 중심: 명사, 동사, 부사의 순서 지정 -> end-to-end: 딥러닝 모델이 인풋,아웃풋 사이의 관계 알아서 잘 근사 해주기 때문에 rule을 지정해주지.. 2019. 11. 9. CNN CNN 기본 이론 CNN(Convolution Neural Network) 탄생 배경 이미지 처리를 하는 데 있어 다양한 각도의 이미지가 필요하다. 이것은 데이터가 많이 필요하고 그만큼 학습 시간도 길어진다는 점을 시사한다. 그래서, * 커널: 작은 가중치 텐서를 이미지의 모든 영역에 반복 적용해 패턴을 찾아 처리한다. * 풀링 계층: 이미지 해상도를 줄여 다양한 크기의 패턴을 단계적 처리 -> 신경망의 파라미터 수 감소, 품질 향상 FC (Fully Connected Layer)의 가중치는 이미지 픽셀 수의 제곱에 비례 CNN의 가중치는 커널 크기를 바꾸지 않는 한 그 안의 파라미터 수는 변하지 않음 Convolution 연산 SAME: 입력 픽셀 행렬 가장자리에 0을 채워 출력 픽셀 행렬과 벡터 사이.. 2019. 9. 30. RNN & Automata (오토마타) [RNN] 1. RNN이란? - Recurrent Neural Network - Hidden Layer 안에 하나 이상의 순환 계층을 갖는 신경망 구조 - 시계열 데이터 처리에 알맞게 고안된 퍼셉트론 계층 - 지연 입력 방식(어떤 시간대의 출력이 다음 시간대의 입력으로 이용됨) 2. Static RNN & Dynamic RNN h_t = tanh(h_(t-1)*W_h + x_t*W_x + b) 같은 대상을 다른 방식으로 표현한 데 지나지 않지만, TF와 같은 프레임워크에서는 이런 표현법의 차이가 실제 계산 그래프 구성에 반영되기도 함 Dynamic RNN 간단한 계산 그래프 구성 해놓고 반복 이용 Static RNN 반복 없이 여러 시간의 동시 처리해서 시간은 더 빠르다. 하지만, 초기 계산 그래프 구성.. 2019. 9. 24. 이전 1 다음 반응형
