Zipf's Law for Word Frequencies : Word Forms versus Lemmas in Long Texts
Corral, Álvaro (Universitat Autònoma de Barcelona. Departament de Matemàtiques)
Boleda, Gemma (Universitat Pompeu Fabra. Departament de Traducció i Ciències del Llenguatge)
Ferrer-i-Cancho, Ramon (Universitat Politècnica de Catalunya. Departament de Ciències de la Computació)

Data:	2015
Resum:	Zipf's law is a fundamental paradigm in the statistics of written and spoken natural language as well as in other communication systems. We raise the question of the elementary units for which Zipf's law should hold in the most natural way, studying its validity for plain word forms and for the corresponding lemma forms. We analyze several long literary texts comprising four languages, with different levels of morphological complexity. In all cases Zipf's law is fulfilled, in the sense that a power-law distribution of word or lemma frequencies is valid for several orders of magnitude. We investigate the extent to which the word-lemma transformation preserves two parameters of Zipf's law: the exponent and the low-frequency cut-off. We are not able to demonstrate a strict invariance of the tail, as for a few texts both exponents deviate significantly, but we conclude that the exponents are very similar, despite the remarkable transformation that going from words to lemmas represents, considerably affecting all ranges of frequencies. In contrast, the low-frequency cut-offs are less stable, tending to increase substantially after the transformation.
Ajuts:	Ministerio de Ciencia e Innovación FIS2009-09508 Ministerio de Economía y Competitividad FIS2012-31324 Agència de Gestió d'Ajuts Universitaris i de Recerca 2009/SGR-164 Agència de Gestió d'Ajuts Universitaris i de Recerca 2014/SGR-1307 Agència de Gestió d'Ajuts Universitaris i de Recerca 2010/BP-A 00070 Agència de Gestió d'Ajuts Universitaris i de Recerca 2010/BP-A2 00015 Ministerio de Ciencia e Innovación TIN2011-27479-C04-03 Ministerio de Ciencia e Innovación TIN2009-14675-C03
Drets:	Aquest document està subjecte a una llicència d'ús Creative Commons. Es permet la reproducció total o parcial, la distribució, la comunicació pública de l'obra i la creació d'obres derivades, fins i tot amb finalitats comercials, sempre i quan es reconegui l'autoria de l'obra original.
Llengua:	Anglès
Document:	Article ; recerca ; Versió publicada
Publicat a:	PloS one, Vol. 10, Issue 7 (July 2015) , art. e0129031, ISSN 1932-6203

DOI: 10.1371/journal.pone.0129031
PMID: 26158787

23 p, 1.3 MB

El registre apareix a les col·leccions:
Articles > Articles de recerca
Articles > Articles publicats