자연언어처리 Tag Set 관련

소개글

자연언어처리 Tag Set 관련에 대한 보고서 자료입니다.

목차

1.Tag Set Study

2.Tagged Corpus ready - 둘이상의 Tag가 같은 것을 Pick up해서 Ranking

3. chunking 되지않은 것들의 검토.

4. 30위 안에 들어있는 chunking에 의해 Category를 attach함.

5. 30위 안에 Category를 전체 몇 %가 chunking 되는가?

본문내용

: Rockwell/NNP + International/NNP : 고유명사 +고유명사
2위 : president/NN + of/IN : 명사 + 전치사
3위 : the/DT + agreement/NN : 한정사 + 명사
…
* 위의 경우 문장 구성상 흔히 쓰임.
No chunking list - 순위상 거의 마지막에 속하는 구성
cf)
NNS + RB +CC
CD +MD +VB + VBN
… 　
위의 people/NNS + too/RB + or/CC 으로 구성시 문법오류로 인해
문장을 구성할 수는 없다.
그러므로 chunking이 되지 않을 수 있다.
4. 30위 안에 들어있는 chunking에 의해 Category를 attach함.
* 조합을 2개씩 앞뒤로 추출해서 새로 구성함.
<형식 >
NNP-NNP => NPNP
IN-NNP-NNP => INNPNP
1. NNP-NNP -> NPNP
2. NN-IN -> NNIN
3. DT-NN -> DTNN
4. IN-DT -> INDT
5. JJ-NN -> JJNN
6. NN-NN -> NNNN
7. NNS-IN -> NSIN
8. IN-NNP -> INNP
9. NNP-NNP-NNP -> NPNPNP
10. DT-JJ -> DTJJ
11. IN-DT-NN -> INDTNN
12. DT-NN-IN -> DTNNIN
13. JJ-NNS -> JJNS
14. TO-VB -> TOVB
15. IN-NN -> INNN
16. DT-NNP -> DTNP
17. NN-IN-DT -> NNINDT
18. DT-JJ-NN -> DTJJNN
19. NN-CC -> NNCC
20. NNP-NN -> NPNN
21. NN-NNS -> NNNS
22. NN-VBD -> NNVD
23. IN-JJ -> INJJ
24. VBN-IN -> VNIN
25. MD-VB => MDVB
26. NNP-VBD => NPVD
27. DT-NN-NN => DTNNNN
28. IN-NNP-NNP => INNPNP
29. $-CD => .$CD
30. DT-NNS => DTNS
5. 30위 안에 Category를 전체 몇 %가 chunking 되는가?
-> 30위 안의 전체 Tag 숫자는 대략 62530개로 구성 되있다.
30위 중 1위에 포함된 Category는 11725개이다.
이것을 토대로,
1위에 포함된 Category 11725
30위 안의 전체 Tag 숫자 = 62530
=> 0.18751

키워드

자연언어처리,   Tag,   corpus,   chunking,   조합,   문장