배당으로 월급받는 데이터 사이언티스트

transformers 라이브러리는 Hugging Face에서 개발한 자연어 처리 모델과 파이프라인을 쉽게 사용할 수 있도록 도와주는 라이브러리입니다. pipelines 모듈은 간단하게 다양한 자연어 처리 작업을 수행하는 데 사용됩니다. 라이브러리 설치 아래 코드로 필요 라이브러리를 설치하고 파이프라인을 불러올 수 있습니다. !pip install transformers datasets !pip install torch !pip install tensorflow from transformers import pipeline 파이프라인 텍스트 분류, 생성, 요약 등 다양한 작업에 대해 파이프라인을 간단하게 불러와서 사용할 수 있습니다. Task 분류 코드 Text classification NLP pipel..

BERT(Bidirectional Encoder Representations from Transformers)는 2018년에 구글에서 발표한 모델입니다. NLP 분야에서 혁신적인 모델 중 하나로 사전 훈련된(pre-trained) 언어 모델의 개념을 크게 발전시켰습니다. 다양한 자연어 처리에 사용될 수 있습니다. 특히 텍스트 분류, 질의 응답, 기계 번역, 문장 분류과 같은 분야에서 뛰어난 성능을 보입니다. BERT 주요 특징 1. 양방향 문맥 이해 BERT는 이전 NLP 모델과 달리 양방향 언어 이해를 수행합니다. 즉 문장 내에서 각 단의 주변 문맥을 고려해서 단어 임베딩을 학습한다는 것을 의미합니다. 이전 모델은 주로 한 방향(왼쪽에서 오른쪽, 오른쪽에서 왼쪽)으로 텍스트를 처리했지만, BERT는 양..

optimizer parameter 확인 다음 코드로 파라미터 리스트를 확인할 수 있습니다. for name, parmas in model.named_parameters(): print(name) 파라미터 리스트가 출력됩니다. non-trainable parameters 모든 파라미터가 학습이 필요하진 않기 때문에, 학습에 사용되지 않는 파라미터를 명시합니다. 일반적으로 가중치 감소에 사용하지 않는 파라미터 기준은 다음과 같습니다. 1. Bias 바이어스 파라미터는 가중치가 아닌 레이어의 편향으로, 가중치 감소를 적용하지 않는 것이 일반적입니다. 2. 정규화 레이어 정규화 레이어인 Layer Normalization이나 Batch Normalization도 일반적으로 가중치 감소를 적용하지 않습니다. 3..

1. MPS 지원 여부 확인하기 아래 코드가 모두 True로 출력될 경우, MPS 사용 가능합니다. * 참고로 Mac에서는 cuda 사용이 중지되어 MPS 설정으로 대신할 수 있습니다. import torch mps_available = torch.backends.mps.is_available() mps_built = torch.backends.mps.is_built() print(f'MPS 사용 가능 여부: {mps_available}') print(f'MPS 빌드 여부: {mps_built}') MPS 지원 가능한 것을 확인했습니다. 2. 예제 데이터 확인 import torch import torch.nn as nn # MPS 사용 설정 dtype = torch.float device = torch..

Graph Convolutional Networks (GCN) 란? Graph는 엣지(edge)로 연결된 노드(nodes)의 집합을 의미한다. 엣지는 방향을 가질(directed) 수도 있고, 방향성이 없을(un-directed) 수도 있다. 실무에서 활용할 수 있는 대표적인 그래프 데이터는 소셜 네트워크 데이터다. 이미지 데이터에 많이 적용하는 convolution neural network(CNN)은 convolution 연산과 pooling 연산을 반복적으로 수행해서 테스크 수행에 중요한 정보만을 남긴다. convolution은 정보를 추출하는 작업을 하고 pooling 연산은 추출된 정보에서 중요한 정보만을 남기는 작업이다. GCN도 마찬가지로 노드와 엣지로 이루어진 그래프 내에서 중요한 정보를 ..