BERT 입력 데이터 형식 BERT 모델에 데이터를 입력하기 위해서는 일반적으로 다음과 같은 형식을 따르는 것이 일반적입니다. 각 입력 시퀀스는 토큰으로 분리되어야 합니다. 각 시퀀스는 특별한 토큰인 [CLS]로 시작하여, [SEP]로 끝나야 합니다. 입력 시퀀스의 길이는 모델이 정의한 최대 시퀀스 길이를 준수해야 합니다. 토큰들은 모델의 어휘 사전에 있는 토큰으로 변환되어야 합니다. 일반 텍스트 → BERT 입력 데이터 변환 코드 텍스트 데이터를 위의 규칙에 따라 BERT 입력 형식으로 변환합니다. def convert_lines(example, max_seq_length, tokenizer): max_seq_length -= 2 all_tokens = [] longer = 0 for text in t..
