python 基础教程:使用jieba库对文本进行分词

一、jieba库是什么?

Python的jieba库是一个中文分词工具,它可以将一段中文文本分割成一个一个的词语,方便后续的自然语言处理任务,如文本分类、情感分析等。jieba库使用了基于前缀词典的分词方法,能够处理中文的各种复杂情况,如歧义词、新词等。它还提供了多种分词模式,如精确模式、全模式、搜索引擎模式等,以适应不同场景的需求。此外,jieba库还支持用户自定义词典,使得分词结果更加准确。

二、安装jieba库

 pip install jieba

 

三、查看jieba版本

 pip show jieba

 

Name: jieba
Version: 0.42.1
Summary: Chinese Words Segmentation Utilities
Home-page: https://github.com/fxsjy/jieba
Author: Sun, Junyi
Author-email: [email protected]
License: MIT
Requires:
Required-by:

四、使用方法

1.引入库

import jieba

 

2.定义需要分词的文本

text = "我爱发动态,我喜欢使用搜索引擎模式进行分词"

# 对于刚学Python的小伙伴,我还给大家准备了Python基础教程、数百本电子书
# 直接在这个Q裙自取即可:279199867

 

3.使用分词模式进行分词

3.1、精确模式(默认)
试图将句子最精确地切开,适合文本分析。

seg_list = jieba.cut(text)

 

3.2、全模式
把句子中所有的可能成词的词语都扫描出来,速度很快,但是不能解决歧义。

seg_list = jieba.cut(text, cut_all=True)

 

3.3、搜索引擎模式
在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。

seg_list = jieba.cut_for_search(text)

 

4.将分词结果转换为列表

word_list = list(seg_list)

 

5.打印分词结果

print(word_list)

 

6.分词效果对比

6.1、精确模式(默认)

['我爱发', '动态', '', '', '喜欢', '使用', '搜索引擎', '模式', '进行', '分词']

 

6.2、全模式

['', '', '发动', '动态', '', '', '喜欢', '使用', '搜索', '搜索引擎', '索引', '引擎', '模式', '进行', '分词']

 

6.3、搜索引擎模式

['我爱发', '动态', '', '', '喜欢', '使用', '搜索', '索引', '引擎', '搜索引擎', '模式', '进行', '分词']

 

 

热门相关:首席的独宠新娘   豪门重生盛世闲女      梦回大明春   豪门重生盛世闲女