![bg width:320px right:35%](https://cdn.markslides.ai/users/1/images/egA8V9Dok55T7sFlLMb9C) # Hugging Face 소개 및 기초 사용법 ## Inje Lee --- # 목차 1. [Hugging Face 소개](#hugging-face-소개) 2. [Hugging Face 둘러보기](#hugging-face-둘러보기) 3. [Hugging Face 모델 사용해보기](#hugging-face-모델-사용해보기) --- # Hugging Face 소개 ![bg width:320px right:35%](https://huggingface.co/front/assets/huggingface_logo-noborder.svg) --- # Hugging Face란? - AI 모델, 데이터셋, 등을 공유하는 오픈 소스 플랫폼 - AI 모델과 데이터셋을 공유하고, 학습 및 추론을 위한 도구 제공 - 다양한 언어와 작업에 대한 사전 학습된 모델을 제공하여 빠르고 효율적인 작업 가능 > 💡 AI 계의 GitHub로 불림 --- # Hugging Face의 주요 기능 - 모델 훈련 및 평가 - 모델 로딩 및 예측 - 데이터셋 로딩 및 전처리 - 스페이스(데모 앱) 제공 --- # Hugging Face 주요 용어 ## **Repository**: 모델, 데이터셋, 스페이가 호스팅 되는 Git 저장소 ## **Model**: AI 모델 ## **Dataset**: 모델 학습을 위한 데이터셋 ## **Space**: 모델을 적용해서 만든 데모 애플리케이션 --- # Hugging Face 둘러보기 ![bg width:320px right:35%](https://huggingface.co/front/assets/huggingface_logo-noborder.svg) --- ![bg](https://cdn.markslides.ai/users/1/images/bDd3ywppc30DsgYQPBSM8) --- ![bg](https://cdn.markslides.ai/users/1/images/Q9Gh2euW2OaFooIH4EgXX) --- ![bg](https://cdn.markslides.ai/users/1/images/K9K49_vc6N24_IY54422w) --- ![bg](https://cdn.markslides.ai/users/1/images/0bAI3RmnBxh3ZgD8Nj74t) --- ![bg](https://cdn.markslides.ai/users/1/images/Hey6WxiE2z2c4rNUmU9U8) --- ![bg](https://cdn.markslides.ai/users/1/images/08M1tyGg4l1dQgnaCac8E) --- ![bg](https://cdn.markslides.ai/users/1/images/tKAWsKtLzLy7twd59T_OI) --- ![bg](https://cdn.markslides.ai/users/1/images/vy2qlKRheL3IuFL67WGHm) --- ![bg](https://cdn.markslides.ai/users/1/images/OjM_l0eb-Q5hkb5XscXRJ) --- ![bg](https://cdn.markslides.ai/users/1/images/XJWvWKrTCOnQXR5Y4UiJB) --- ![bg](https://cdn.markslides.ai/users/1/images/vlWOuZnAGudLan2i9LAsd) --- ![bg](https://cdn.markslides.ai/users/1/images/1s5Ft7ZSRMB1GvKFlb2Nw) --- ![bg](https://cdn.markslides.ai/users/1/images/RlCiyYwVgx_LbtCgoJmyU) --- ![bg](https://cdn.markslides.ai/users/1/images/Qklk4tDWDZhGo5iU5jF8w) --- ![bg](https://cdn.markslides.ai/users/1/images/T2aGkZ0Z_JDdOKT2ghCJv) --- ![bg](https://cdn.markslides.ai/users/1/images/S9OcjXhMJgtNIkSRemnlE) --- ![bg](https://cdn.markslides.ai/users/1/images/eatc-qHY-huvOe60gH8_U) --- ![bg](https://cdn.markslides.ai/users/1/images/Ej_rKNubY5NTU0LOnttt6) --- # Hugging Face 모델 사용해보기 ![bg width:320px right:35%](https://huggingface.co/front/assets/huggingface_logo-noborder.svg) --- # 1. Python 설치하기 아래 웹사이트 접속 후 설치파일 다운로드 받아서 설치 https://www.python.org/downloads/ 설치 한 이후 터미널에서 버전 확인 ```bash $ python --version Python 3.12.2 ``` --- # 2. `pytorch`, `transformers` 패키지 설치하기 ```bash pip install torch torchvision pip install transformers ``` > 💡 `pip`는 파이썬용 패키지 매니저 --- # 3. 모델 로딩하기 - Hugging Face에서 제공하는 다양한 사전 훈련된 모델 활용 가능 ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer model = AutoModelForSequenceClassification.from_pretrained("model_name") ``` --- # 4. 데이터셋 로딩하기 - Hugging Face에서 제공하는 다양한 데이터셋 활용 가능 ```python from datasets import load_dataset dataset = load_dataset("dataset_name") ``` --- # 5. 모델 예측하기 - 입력 문장에 대한 예측 결과를 얻을 수 있음 ```python inputs = tokenizer("input_text", truncation=True, padding=True, return_tensors="pt") outputs = model(**inputs) predictions = outputs.logits.argmax(dim=-1) ``` --- # 6. 모델 훈련하기 - Hugging Face에서 제공하는 사전 훈련된 모델을 사용하여 추가 훈련 가능 ```python from transformers import Trainer, TrainingArguments trainer = Trainer(model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset) trainer.train() ``` --- # `Mistral-7B-Instruct-v0.2` 모델 사용 예시 코드 ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2") tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2") prompt = "What is the K-POP?" inputs = tokenizer(prompt, return_tensors="pt") # Generate generate_ids = model.generate(inputs.input_ids, max_length=30, pad_token_id=tokenizer.eos_token_id) tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] ``` --- ![bg](https://cdn.markslides.ai/users/1/images/-OJK-FgJYke5IYBOUGlB5) --- ![bg](https://cdn.markslides.ai/users/1/images/yNv3U2l5xKDY9pMaIOpvS) --- ![bg](https://cdn.markslides.ai/users/1/images/xXnqBuhVedWqM_cScIIuz) --- ![bg](https://cdn.markslides.ai/users/1/images/81eyUyVXxg2L80J7uVsiI) --- ![width:480px height:270px bg right](https://media0.giphy.com/media/WT4OpEVVJ8RjpodVCX/giphy.webp?cid=d8f9e3b8brn5qki1ctssffbvm92adazn7fzoqrb7hjpvop3e&ep=v1_gifs_search&rid=giphy.webp&ct=g) # 질문 및 토론