spaCy dependency parserに関する補足¶

  • 以下のようにimportします。
  • nlp = spacy.load("en_core_web_sm")はnlpという解析器を作っていると解釈してください。
  • "en_core_web_sm"はこの解析器が使用する言語モデルです。
In [1]:
import spacy
nlp = spacy.load("en_core_web_sm")
  • 解析した結果がdocに保存されます。
  • このdocはジェネレータと呼ばれるものです。
  • ジェネレータはリストに似ていますが、個々のデータ呼び出されたときだけにそのデータを生成します。
  • docには対象となる文の単語が保存されていて、呼び出されるたびに解析結果を生成します。
In [2]:
text = "A boy climbed every tree."
doc = nlp(text)
In [10]:
for token in doc:
    print(token.text,token.pos_,token.tag_,token.dep_)
A DET DT det
boy NOUN NN nsubj
climbed VERB VBD ROOT
every DET DT det
tree NOUN NN npadvmod
. PUNCT . punct
  • 前回の授業で扱った解析結果に加えて以下のような情報も得られます。
    • 単語のレマ(辞書に掲載されている形)
    • 単語の出現順序
In [5]:
for token in doc:
    print(token.lemma_)
a
boy
climb
every
tree
.
In [11]:
for token in doc:
    print(token.i)
0
1
2
3
4
5
  • children、ancestorsに関しても同様です。
In [13]:
for token in doc:
    if token.dep_ == "ROOT":
        for child in token.children:
            print(child.i,child.text,child.lemma_,child.pos_,child.tag_,child.dep_)
1 boy boy NOUN NN nsubj
4 tree tree NOUN NN npadvmod
5 . . PUNCT . punct