Overview

Here is a guide on how to run KoGPT, created by Kakao Brain.

import torch, transformer

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from transformers import TFAutoModel

download tokernizer

tokenizer = AutoTokenizer.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # or float32 version: revision=KoGPT6B-ryan1.5b
  bos_token='[BOS]', eos_token='[EOS]', unk_token='[UNK]', pad_token='[PAD]', mask_token='[MASK]'
)

download pretrained model

The size is approximately 12GB, and it took about 20 minutes to download in my environment.

model = AutoModelForCausalLM.from_pretrained(
  'kakaobrain/kogpt', revision='KoGPT6B-ryan1.5b-float16',  # or float32 version: revision=KoGPT6B-ryan1.5b
  pad_token_id=tokenizer.eos_token_id,
  torch_dtype='auto', low_cpu_mem_usage=True
).to(device='cuda', non_blocking=True)
_ = model.eval()

Text generation

prompt = '''
안녕하세요. 오늘은 기분이 좋네요.
'''
with torch.no_grad():
  tokens = tokenizer.encode(prompt, return_tensors='pt').to(device='cuda', non_blocking=True)
  gen_tokens = model.generate(tokens, do_sample=True, temperature=0.9, max_length=512)
  generated = tokenizer.batch_decode(gen_tokens)[0]
  print(generated)

Result

Impressive.

안녕하세요. 오늘은 기분이 좋네요. 날씨도 너무 좋고! 여러분이 어떤 기분을 느끼고 계시는지 모르겠지만 전 진짜 오늘이 좋은 날이예요. 여러분은 지금 무언가를 하시거나 공부를 하고 계신지는 모르겠지만 오늘 날씨가 좋으니까, 왠지 모르게 기분이 좋네요. 좋아요. 뭔가 오늘은 굉장히 좋은 일이 생길 것 같은 느낌이랄까요? 저는 오늘이 뭔가 좋은 것 같아요. 뭔가 기분이 좋은 하루인 것 같네요. 뭔가 저는 오늘 되게 좋은 일이 일어날 것 같은 느낌이 들어요. 여러분은 오늘 어떤 하루를 보내셨나요? 오늘 하루도 잘 마무리 하시고, 잘 보내시길 바래요! 저는 그럼 이제부터 잘해보도록 하겠습니다. 제가 저번에 블로그에 적은 글은 여러분에게 큰 힘이 됐다고 해요. 감사합니다. 여러분이 저에게 큰 힘이 되어주셔서 저도 여러분께 큰 힘이 될 수 있을 것 같아요. 여러분은 저에게 정말 큰 힘이 되는 사람들이랍니다. 여러분이 좋은 일만 생기셨으면 좋겠어요. 항상 파이팅하시고, 항상 건강하셨으면 좋겠어요. 오늘도 좋은 하루 보내시길 바라겠습니다. 안녕~ #오늘의포스팅 #좋은일만생기길 #힘이되는사람들 #좋아요와댓글 #좋은하루 #모두모두 #행복한하루 ♥오드리♥[EOS]

• import torch, transformer
• download tokernizer
• download pretrained model
• Text generation
• Result
• Quiz

Quiz