transformer pipeline 모듈

 

transformers 라이브러리는 Hugging Face에서 개발한 자연어 처리 모델과 파이프라인을 쉽게 사용할 수 있도록 도와주는 라이브러리입니다.

 

pipelines 모듈은 간단하게 다양한 자연어 처리 작업을 수행하는 데 사용됩니다.

 

 

---

라이브러리 설치

아래 코드로 필요 라이브러리를 설치하고 파이프라인을 불러올 수 있습니다.

!pip install transformers datasets
!pip install torch
!pip install tensorflow

from transformers import pipeline

 

 

 

 

---

파이프라인

텍스트 분류, 생성, 요약 등 다양한 작업에 대해 파이프라인을 간단하게 불러와서 사용할 수 있습니다.

Task	분류	코드
Text classification	NLP	pipeline(task=“sentiment-analysis”)
Text generation	NLP	pipeline(task=“text-generation”)
Summarization	NLP	pipeline(task=“summarization”)
Image classification	Computer vision	pipeline(task=“image-classification”)
Image segmentation	Computer vision	pipeline(task=“image-segmentation”)
Object detection	Computer vision	pipeline(task=“object-detection”)
Audio classification	Audio	pipeline(task=“audio-classification”)
Automatic speech recognition	Audio	pipeline(task=“automatic-speech-recognition”)
Visual question answering	Multimodal	pipeline(task=“vqa”)
Document question answering	Multimodal	pipeline(task=“document-question-answering”)
Image captioning	Multimodal	pipeline(task=“image-to-text”)

 

 

---

예시 코드

예를 들어, 다음과 같이 파이프라인 객체를 생성할 수 있습니다.

from transformers import pipeline

# 텍스트 분류 파이프라인 생성
text_classification_pipeline = pipeline("text-classification")

# 텍스트 분류 작업 수행
result = text_classification_pipeline("This is a positive sentence.")
print(result)

 

다음과 같은 결과를 확인할 수 있습니다.

이렇게 파이프라인을 사용하면 미리 훈련된 모델을 사용하여 다양한 자연어 처리 작업을 간단하게 수행할 수 있습니다.