관리 메뉴

개발자의 스터디 노트

인공지능 참고 싸이트 - 학습 및 데이터 싸이트 모음 본문

파이썬/파이토치 자연어처리

인공지능 참고 싸이트 - 학습 및 데이터 싸이트 모음

박개발씨 2022. 3. 9. 16:19

인공지능 스터디를 위한 참고 싸이트를 공유합니다.

 

1. 한국어 임베딩

 - 한국어 임베딩이라는 도서와 관련된 사이트입니다.

https://ratsgo.github.io/embedding/

 

한국어 임베딩

한국어 임베딩 관련 튜토리얼 페이지입니다.

ratsgo.github.io

 

 

2. 딥 러닝을 이용한 자연어 처리 입문

 - WikiDocs에서 운영하는 온라인 책입니다.

https://wikidocs.net/book/2155

 

딥 러닝을 이용한 자연어 처리 입문

많은 분들의 피드백으로 수년간 보완되어 온 딥 러닝 자연어 처리 무료 eBook입니다. 기본적인 텍스트 전처리부터 BERT와 같은 PLM의 다양한 다운스트림 태스크를 ...

wikidocs.net

 

3. KoNLPy 한국어 형태소 분석기

https://konlpy-ko.readthedocs.io/ko/v0.4.3/references/#corpora

 

참고문헌 — KoNLPy 0.4.3 documentation

주석 Please modify this document if anything is erroneous or not included. Last updated at 2015년 04월 20일.

konlpy-ko.readthedocs.io

 

4. 한국어 위키 백과 데이터베이스 

https://ko.wikipedia.org/wiki/%EC%9C%84%ED%82%A4%EB%B0%B1%EA%B3%BC:%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B2%A0%EC%9D%B4%EC%8A%A4_%EB%8B%A4%EC%9A%B4%EB%A1%9C%EB%93%9C

 

위키백과:데이터베이스 다운로드 - 위키백과, 우리 모두의 백과사전

이 문서는 한국어 위키백과의 정보문입니다.이 문서는 정책과 지침은 아니지만, 위키백과의 규범과 관습 측면에서 공동체의 확립된 관행을 설명하고 있습니다. 공동체의 총의나 검토를 어느 정

ko.wikipedia.org

 

5. KorQuAD 질문 답변 데이터 셋

https://korquad.github.io/

 

KorQuAD

What is KorQuAD 2.0? KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia artic

korquad.github.io

 

 

6. AI-Hub 개방 데이터

https://aihub.or.kr/aidata/87

 

한국어-영어 번역(병렬) 말뭉치

AI 번역 엔진 개발을 위한 뉴스(80만 장), 정부/지자체 홈페이지, 간행물(10만 문장), 행정 규칙, 자치법규(10만 문장), 한국 문화(10만 문장), 구어체(40만 문장), 대화체(10만 문장)의 학습용 문장을 구

aihub.or.kr