Coaspe

Web Worker API It makes it possible to run a script operation in a background thread separate from the main execution thread of a web application. The advantage of this is that laborious processing can be performed in a separate thread, allowing the main thread to run without being blocked/slowed down. Web Workers concepts and usage A worker is an object created using a counstructor thats runs a..

Clustering Determining similarity according to a predetermined measure and grouping data with similarity above a threshold. Prerequisite for Clustering Proximity measure Simliarity or Distance. Criterion function for evalution A measure of distinguishing between good clustering results and poor results. Clustering algorithm Algorithm to optimize the evaluation Criterion function. Partitional clu..

Generative Adversarial Network ANN that uses Adversarial Learning with generator and discriminator to make high qulity images. Adversarial Learning Process Generator is trained to produces Real-like images. Discriminator is trained to distinguish fake images well. Train Discriminator first and Generator next with backpropagation. Object of GAN Training D(x) maximize it's reward. G(z) minimize D(..

Problems of Attention-Based Models Because of forget gate, there is still long dependency broblem. Attention of source sentence and target sentence itself are ignored RNN is hard to parallelize. Transformer It has self attentions of encoder, decoder Multi-Head Attention Applying Softmax function to all Query, Key, Value at one time, distinct features are less prominent. Apply Softmax function wi..

RNN Type of ANN in which a hidden node is connected to an edge with a direction to form a circulating structure. It is suitable for processing data that sequentially appears along the time axis, such as voice or characters. The I/O length is free. Structure can be made diversely and flexibly as needed. FNN vs RNN Basic Structure of RNN From Vailla RNN to LSTM It's Activation function(tanh) cause..

Discrete Representation One-hot encoding 단어를 벡터로 표현하는 가장 간단한 방법으로 dictionary의 수 만큼 비트수를 만들어서 1을 하나만 갖는 고유한 벡터를 만들어 단어에 할당한다. 하지만 엄청난 메모리를 요구하고 유사성의 비교가 불가능하다. Distributed Representation 단어를 문맥에 기반하여 표현하는 방법 비슷한 문맥에서 등장하는 단어는 비슷한 의미를 가질것이다. Co-Occurrence Matrix 양 옆에 해당 어절이 몇개나 존재하는지 알려주는 Matrix이다. Problems with Co-Occurrence Vectors Curse of dimensionality 차원이 증가하면서 학습데이터의 수가 차원의 수보다 적어서 성능이 저하되는..

CNN 기존의 FFNN(Feed-Forward Neural Network)는 차원을 줄이면 구조적 정보의 손실이 발생했다. CNN은 구조적 정보를 유지하며 추상화를 진행한다. Multi-layer Feed-Forward ANN 이다. Convolutional and fully connected layers의 combinations이다. Spatial postions이 같은 weights를 공유한다. Data Abstraction Padding 경계에 대한 정보를 누락하지 않기 위해서 벡터 외부에 특정 정보를 추가하는것 SubSamplint(Pooling) Filter를 겹치지 않게 사용하여 Feature map을 추상화시키는 것이다. 모든 사진의 출처는 건국대학교 컴퓨터공학부 김학수 교수님의 강의자료 일..

Vanising Gradient Sigmoid를 사용한 Backpropagation을 하면 값이 점점 0에 수렴하여 학습의 효율이 떨어진다. -> ReLU가 등장해 해결하였다. Fitting Overfitting 더 많은 Training data를 사용하거나, Regularization feature의 수를 줄인다. Underfitting 더 많은 학습을 시킨다. Regularization Cost function 값이 작아지는 방향으로 학습하는 과정에서 특정 가중치가 너무 커져 일반화 성능이 떨어지는 것을 막는다. L1 sparse vector가 되는 경향이 있다 -> 0이 되는 w가 생긴다. Feature selection -> Sparse Model에 적합하다. L2 모든 가중치를 균등하고 작게 유..

var vs const let var a = "test" var a = "test2" // 가능 let b = "test" let b = "asdf" // 불가능 const도 전자에 비해 후자의 이점은 변수 재선언이 불가능 하다는 것이다. const vs let let과 const의 차이점은 변수의 immutable 여부이다. let은 변수의 재할당이 가능하지만, const는 변수 재할당이 불가능하다. 그리고 let은 선언과 할당이 선언 -> 할당 순서만 지킨다면 가능하지만, const는 선언과 할당이 동시에 이루어져야 한다.

Prototype Javascript는 모든 객체들이 메소드와 속성들을 상속 받기 위한 템플릿으로써 prototype object를 갖는 prototype-based language라 불린다. 간단하게 설명하면 상속 받는 것들은 prototype에 담아서 prototype chain을 이용하여 사용 할 수 있게끔 한다. function Person(first, last, age, gender, interests) { // 속성과 메소드 정의 this.first = first; this.last = last; //... } var person1 = new Person('Bob', 'Smith', 32, 'male', ['music', 'skiing']); 위의 코드에서 최상위 객체인 Object에 있으면서..