happylls666的博客

学习笔记

数据清洗

pandas入门

numpy基础

内建数据结构与函数

一.文本分类pipeline文本分类主要是将一个文本归结为特定的某个标签1.数据预处理：清洗，分词等你的数据可能比较脏，比如带html标签，不合法的数据，你需要去除你的文本数据可能需要分词，然后再去掉一些停用词及标点2.特征构造：词特征+其它特征一般情况下我们会使用词特征作为文本分类的特征你还可以增加其它人为定义的特征，比如：文本长度，n-gram特征（将连续的n个词当成一个词特征）等3.特征选择：卡方，互信息等用词做特征，不做特征选择，很容易出现上万维，甚至几十万维，这

一.Numpy1.ndarray对象python提供了array模块，它可以直接保存数值（而不是对象），但是它不支持多维数组，也缺乏丰富的运算函数ndarray即n维数组，它弥补了以上不足，提供了以下对象：ndarray对象：存储特定类型的多维数组ufunc函数：对数组进行处理的函数ndarray是numpy的核心对象，numpy中的所有函数都是围绕ndarray进行处理的①创建ndarray对象可以通过列表创建数组可以通过shape属性，查看数组的行数和列数可以使用

一.基本语法1.基本数据类型整型：也就是整数，它的表示和数学上表示一致，当遇到长整数时，为了让可读性更高，可以用下划线连接，比如1_000_000，这就等价于没有下划线的一百万浮点型：就是小数，大的浮点型可以用科学记数法表示，如1e4等价于10000布尔型：True或者False，存在三种运算，与，或，非，分别用and，or，not关键字2.运算符算术运算符比较运算符：返回布尔值3.字符串字符串就是使用单引号或者双引号或者三引号括起来的文本三引号常用来表示跨行文本