O le a Corpus ligisi?

I ni nai tausaga talu ai e faʻaautomatika le suesuega gagana, saienitisi na ona moemiti i ai. na faia le galuega e ala i le lima, e tosina ai se aofaiga tele o tamaiti aoga, ua i ai a tele avanoa "faatamala" mea sese, ma e sili ona taua - ave lenei uma se taimi umi.

O le atinae o komepiuta ua avea mafai tekinolosi ia faia suesuega i luga o le poloaiga a le maoae vave, ma o le aso se tasi o faatonuga sili ona faamanuiaina i le suesuega o le gagana o se ligisi corpus. O lona vaega autu o le faaaogaina o aofaiga tele o faamatalaga tusitusia, faamatalaga i totonu o se nofoaga autu o faamatalaga e tasi, i se auala faapitoa ma taʻua o le tino faailogaina.

Ina ia aso, e tele fale o le foafoaina ma faamoemoega eseese i luga o le faavae o mea gagana eseese spanning mai le faitau miliona i sefulu o le faitau piliona o iunite lexical. O lenei faatonuga ua aloaia o se folafola ma faaalia ai le alualu i luma taua agai i le faamoemoega talosaga ma suesuega. Tagata tomai faapitoa, o se tasi ala po o se isi tagofiaina i le gagana masani, ua fautuaina e faamasani ai ma le tino o tusitusiga i le itiiti ifo i se tulaga masani.

History of corpus ligisi

O le faavaeina o lenei tulaga ua mafua ona o le foafoaga o le Iunaite Setete i le tino Brown i le amataga o le 60-tifaga i le senituri e gata ai. O le tuufaatasiga e aofia ai tusitusiga uma 1 miliona o ituaiga upu, ma aso nei o le a matua uncompetitive o le tino o lenei tele. e tele ona o lenei mea i le saoasaoa o le atiina ae o tekinolosi komepiuta, faapea foi ma le faatupulaia o manaoga mo punaoa fou suesuega.

I le vaitausaga o le 90 tulai ligisi corpus i a pulea atoa ma le tutoatasi, ua tusia i luga o se tuufaatasiga o tusitusiga ma faailogaina mo le tele o gagana. I lenei vaitaimi na faia ai, mo se faataitaiga, o le British National Corpus 100 miliona faailoga.

Faatasi ai ma le atinae o lenei vaega o ligisi, ua avea atili voluma mau (ma aapa faitau piliona o lomifefiloi iunite), ma le faatulagaga o le avea atili eseese. Ina ia aso, e mafai ona maua le avanoa o le Initoneti tino tusia ma tautalagia gagana, multilingual, ma tusi faatufugaga po o tomai e fiafia i le aoao, e faapea foi le tele o isi ituaiga.

O le a le fale

Tino ituaiga i le mafai ona tuuina ligisi tino mo le tele o mafuaaga. Intuitively, o le faavae mo le faavasegaina e mafai ona avea se gagana mau (Rusia, Siamani), le faiga avanoa (tatala puna, tapunia, faapisinisi), o le genre o le mea puna (talafatu, pepa aloaia, o aoaoga tau tomai, tusitala).

Manaia ala faatupuina mea o le gagana tautala atu ai. Talu mai le pueina fuafuaina o sea tautala e fatufatu ai se siosiomaga faafoliga mo le tetee, ma o le taunuuga o mea e le mafai ona taua o le "le fuafuaina", ua alu ligisi corpus po nei i le isi itu. ua saunia e se volenitia i le masini faaleotele leo, ma i le taimi o le aso e gaosia se faamaumauga o talanoaga uma, i lea e auai. Tagata i, o le mea moni, atonu e le iloa i le ala o le talanoaga i aso uma sao i le atinae o le faasaienisi.

Mulimuli ane na maua faamaumauga teuina i totonu o le nofoaga autu o faamatalaga ma ua tuuina atu faatasi ma ituaiga transcript mau lolomiina. O lea, o le a avea markup mafai manaomia e fatu ai se fale tautala i aso taitasi tuufofoga.

talosaga

Po o fea lava e mafai ai o le faaaogaina o gagana, ma atonu o le faaaogaina o tusitusiga fale. Auala e faaaoga ai le tino o le vaa i ligisi mafai ona:

• O le fatuina o se polokalama fuafuaina o le ki lea, ua matuā faaaogaina i faiga faapolotiki ma pisinisi e faamaumau o le tali lelei ma le lelei o le tagata palota ma tagata e faaaogāina auaunaga, i le faasologa lena.
• Soo se faiga faamatalaga mo lomifefiloi ma faaliliu e faaleleia ai a latou faatinoga.
• O se ituaiga o galuega tau suesuega na fesoasoani i le malamalama o le iunite o le gagana, o le talafaasolopito o lona atinae ma le valoaga o le suiga i le lumanaʻi lata mai.
• Atinae o faiga tau faamatalaga e toe manatua ai e faavae i luga o le morphological, syntactic, semantic ma isi vaega.
• Optimization o le faiga gagana eseese ma isi.

Faaaogaina o fale

Ofisa o punaoa tutusa ma se afi suesuega masani, ma uunaia ai le tagata e faaaogāina e ulu atu i se upu po o tuufaatasiga o upu e saili le faavae faamatalaga. E ese fausia o le fesili tonu mafai ona e faaaogaina le lomiga faaleleia, lea e mafai ai e saili faamatalaga textual i le toetoe lava o so o se taiala gagana.

e mafai ona faavae suesuega:

• sui auai o se vaega faapitoa o vaega o le tautala;
• vala kalama;
• semantics;
• valivali stylistic ma lagona.

E mafai foi ona tuufaatasi taiala sailiga mo se faasologa o upu, mo se faataitaiga, e maua ai mea na tutupu uma o le veape i le taimi nei atuatuvale, o tagata muamua silisili, lea e oo mai ina ua mavae le pileposisia "i le" ma o le nauna i le tulaga akusativi. O le vaifofo i se galuega faigofie e manaomia ai le tagata e faaaogāina ni nai sekone ma e manaomia ai na o ni nai kiliki isumu i le fanua ua faamaotiina.

O le faagasologa o le faia o

Le suesuega lava ia e mafai ona faatinoina i uma subcorpus ma se filifilia faapitoa, e faalagolago i luga o le manaoga i le ausiaina o se sini faapitoa:

1. O le laasaga muamua o le faauigaina lea o tusitusiga fausia ai le faavae mo le tulaga. Mo faamoemoega aoga, e masani ona faaaoga journalistic, tala tala, faamatalaga i le initoneti. I suesuega galuega o le faaaogāina o se eseese o ituaiga afifi, ae e tatau ona filifilia e le mau e tusa ai ma nisi o eleele masani.
2. O le taunuuga o le aoina mai o tusitusiga noatia i pretreatment, o loo i ai le faasaʻoga o mea sese, pe afai ei ai, ua saunia e faamatalaga bibliographic ma faaopoopo-gagana o le anotusi.
3. Ua aveesea uma faamatalaga lē textual: manino ai le ata mananaia, ata, laulau.
4. O se faavasegaina o faailoga, o mea e masani lava ona tautala, mo nisi gaosi.
5. Mulimuli ane, o le tauaveina morphological, syntactical ma isi faailoga maua plurality o elemene.

O le taunuuga o feuiaiga faapisinisi uma e faia e se fausaga syntactic ma tufatufaina ai se plurality o elemene, taitasi o loo faailoa mai vaega o le tautala, kalama ma, i nisi tulaga, o uiga semantic.

Faigata i le fausiaina o fale

E taua tele le malamalama o le le lava, ina ia tuu faatasi se seti o upu po o fuaiupu mo le tino. I le isi itu, e tatau ona paleni o se tuufaatasiga o tusitusiga, o, fai ma sui o ituaiga eseese o tusitusiga i ni vaevaega patino. I le isi - o le mataupu o le e tatau ona laina lotoā i se auala faapitoa.

O le faafitauli muamua e foia i se maliega: mo se faataitaiga, i le tuufaatasiga e aofia ai le 60% o tusitusiga tusitusiga, 20% o documentaries, o se pasene patino ua tuuina atu se faamatalaga tusia o le gagana tautala atu ai, tulafono, suesuega ma isi D. O le tino paleni fua atoatoa e le oi ai i aso nei..

O le fesili lona lua, e uiga i le faatulagaga anotusi, foia ai faigata. O loo i ai polokalame ma algorithms faapitoa faaaoga mo otometi le makaina o mau, ae latou te le tuuina atu o se taunuuga atoatoa, e mafai ona mafua disruptions ma manaomia rework tusi lesona. Avanoa ma luitau i le taulimaina o lenei faafitauli o loo faamatalaina auiliili i totonu o se pepa V. P. Zaharova o ligisi corpus.

ua faatinoina markup mau i le tele o tulaga, ua tatou lisiina i lalo.

tagging morphological

Mai le aoga, tatou te manatua i le gagana Rusia, o loo i ai vaega eseese o le tautala, ma i latou taitoatasi ei ai lona lava uiga. Mo se faataitaiga, ei ai vaega o le veape o le faanaunauga ma le taimi lea e leai se nauna. se failauga moni aunoa ma le faatuai teena nouns ma veape conjugate, ae e faailoga ai le tino o le 100 miliona. faailoga a le galue i galuega tusi lesona. Uma le gaoioiga talafeagai e mafai ona faaoo le komepiuta, ae peitai, mo lenei e tatau ona aoaoina.

tagging Morphological, o le komepiuta e tatau ona "malamalama" upu taitasi o se vaega faapitoa o le tautala i ai o foliga kalama faapitoa. Talu mai le Rusia (ma so o se isi gagana) faagaoioia le tele o tulafono masani, e mafai ai ona fausia se taualumaga otometi mo le iloiloga morphological, teuina i totonu o le taavale mo se fuainumera o algorithms. Ae peitai, ei ai ni faatagaga i le tulafono, faapea foi ma vaega complicating eseese. O se taunuuga, auiliiliga komepiuta upega o aso nei ua mamao lelei, ma e oo lava 4% sese gauaʻi a taua o 4 mln. Upu i le tino o le 100 miliona. Iunite, e manaomia ai rework tusi lesona.

tusi auiliili o loo faamatalaina ai le faafitauli Zaharova V. P. "Corpus ligisi".

annotation syntactic

Parsing po parsing - o se taualumaga e fuafuaina e le sootaga o le upu i se fuaiupu. Le faaaogaina o se seti o algorithms e mafai ona fuafuaina e le anotusi o le mataupu, predicate, faaopoopoga, tele auauai o le tautala. Saili lea upu o le faasologa o autu, ma lea - faalagolago, e mafai ona tatou lelei fuaitau faamatalaga mai le mau ma e aoao atu le masini e tuuina atu i se tali i se talosaga suesuega na o faamatalaga manaia i tatou.

I le ala, afi po nei suesuega e faaaogaina lenei e tuuina atu ai numera patino nai lo le mau umi i le tali e talafeagai faafesili e pei o "le tele o calories i se apu" po o le "le mamao mai Moscow i St. Petersburg." Ae peitai, ina ia malamalama e oo lava i mea faavae o le faagasologa o le faamatalaina e manaomia e faamasani i le "Folasaga i Corpus ligisi" po o isi tutorial faavae.

markup semantic

O le semantics o le upu - o le, i se faaupuga faigofie, o le uiga. Lautele auala talafeagai i le iloiloga semantic o se upu pine attribution, atagia ai lona le auai i se seti o vaega ma autu laiti semantic. O faamatalaga e taua mo optimizing algorithms iloilo mau leo, summarization otometi ma isi galuega metotia o ligisi corpus.

O loo i ai se aofaiga o "pogai" o le laau, e fai ma sui o se upu faamatalaga otooto i se matua lautele semantics. A o faia se paranesi o le nodes laau, o loo i ai elemene lexical sili atu ma sili atu ona patino. Mo se faataitaiga, o le upu "tagata" e mafai ona e fesootai ma sea mataupu e pei "o le tagata" ma "manu". O le a faaauau pea muamua afioga i paranesi atu i galuega e eseese, tuutuuga sootaga, atunuu, ma le lona lua - i le vasega ma ituaiga o manu.

O le faaaogaina o faiga tau faamatalaga e toe manatua ai

aofia ai vaega o le faaaogaina o ligisi corpus fanua eseese o gaoioiga. o loo faaaogaina Housings mo le sauniuniga ma le faasaoga o le Taiala i Tusitusiga, faatupuina faiga otometi faaliliuga, annotating, toe aumaia o mea moni, le fuafuaina o le leo ma isi gaosiga anotusi.

I le faaopoopo, e pei punaoa ua malosi e faaaoga i le suesueina o gagana lalolagi ma auala o le faagaoioia o le gagana i le tulaga lautele. Avanoa i tusi tele o faamatalaga muai saunia e faafaigofieina suesuega vave ma atoa o le faiga o gagana atinae, ma faatauaina suiga saosaoa tautala neologisms faavaeina fale o manu iunite tau lexical ma isi.

Talu mai le galuega i ni aofaiga e tele o faamatalaga e manaomia faʻaautomatika aso nei, ei ai le fegalegaleaiga vavalalata i le va o le komepiuta ma ligisi corpus.

Corpus Rusia National

O lenei tulaga (faapuupuu NKRYA) e aofia ai se numera o subcorpus, e faatagaina ai le faaaogāina o se punaoa mo le a tele o mea eseese.

Ua vaevaeina le mea e faaaoga i le nofoaga autu o faamatalaga NKRYA:

• i lomiga i le ala o faasalalauga 'vaitausaga o le 90 ma le 2000s, i totonu o le atunuu ma atunuu i fafo;
• faamaumauina o le tautala;
• aktsentologicheski faailogaina tusitusiga (i.e., o le faailoga o le popole);
• tautala gagana;
• solo;
• Mea ma faailoga syntactic ma isi.

O faamatalaga o faiga e aofia ai foi Subcorpus ma tutusa faaliliuga o galuega mai Rusia i le gagana Peretania, Siamani, Farani ma le tele o isi gagana (ma le isi foi itu).

Foi i le nofoaga autu o faamatalaga o loo i ai se vaega o tusitusiga o talafaasolopito, e faatusa i le tusia le tautala i le gagana Rusia i vaitaimi eseese o lona atinae. E i ai se tino aoaoga foi, lea e mafai ona aoga mo tagatanuu i fafo e pulea o le gagana Rusia.

Rusia National Corpus e aofia ai le 400 miliona iunite tau lexical, ma i le tele o auala i luma o se vaega taua o le gagana o le tino Europa.

faamoemoega

Mea Moni e finagalo i ai o le le amanaiaina o lenei tulaga o le i ai o folafola falesuesue ligisi corpus i iunivesite Rusia, e faapea foi i atunuu i fafo. Faatasi ai ma le faaaogaina o ma suesuega i le faavaa o lenei punaoa faamatalaga ma suesuega e aofia ai le atinae o nofoaga faapitoa i le fanua o tekinolosi maualuga, fesili-tali faiga, ae ua talanoaina i luga.

E le gata i le atinae o corpus ligisi ua valoia i tulaga uma, e amata mai faapitoa ma i le tulaga o le faatinoga o algorithms fou optimize le faagasologa o le sailia ma ona iloilo faamatalaga, mamana komepiuta, e sili atu le mamoe poʻa, ma tagata faatau, ona e sili atu tagata e faaaogaina ma sili auala e faaaoga ai lenei ituaiga o punaoa i latou i aso taitasi olaga ma le galuega.

i le faaiuga

I le ogatotonu o le senituri mulimuli i le 2017 na foliga mai le lumanai mamao, lea malaga spaceships ala i le atulaulau ma robots faia le galuega uma mo le tagata. O le mea moni, ua tumu faasaienisi i le "nofoaga sinasina" ma faia atuatuvale taumafaiga e tali ai fesili o le tagata mo le tele o seneturi faalavelave. Fesili faagaoioia gagana iinei nofoia se nofoaga o le mamalu, ma kapeneta ma e mafai ona fesoasoani ligisi computational i tatou e tali i latou.

Gaosia o seti tele o faamatalaga e mafai ona iloa mamanu, muamua saogatā, valoia le atinae o vaega o le gagana faapitoa o le faasologa o le faavaega o le upu i taimi e toetoe lava moni.

I se tulaga talafeagai, e mafai ona vaai i le o fale o le lalolagi atoa, mo se faataitaiga, o se meafaigaluega malosi e iloilo ai le lagona o tagata lautele - o le Initoneti o se pea faafou aso taitasi tusitusiga eseese ua faia e tagata e faaaogaina moni: o lenei faamatalaga ma toe iloiloga, ma mataupu faavae, ma le tele o isi ituaiga o le tautala.

I le faaopoopo atu, galulue faatasi ma tino sao i le atinae o le lava o masini, o loo aofia ai i faamatalaga e toe manatua ai, ua tatou masani i le auaunaga "Google" po o le "Yandex", masini faaliliuga, lomifefiloi faaeletoroni.

E mafai ona tatou e folafola atu ma le mautinoa e avea ai le ligisi corpus na o le laasaga muamua, ma o le a fua mai i le lumanaʻi lata mai.