57'Land

CSV问题

问题描述

  遇到了一个超级让人头大的问题,csv的行数超过了numbers的限制行数,且表格中存在双引号的使用问题。CSV实际上是用逗号来分隔不同的数据的,但是由于在正常的文本里面存在了双引号,这个双引号会和整个文本的外边引号结合,因此逗号就会暴露在外面。所以需要将单个双引号的使用改成两个双引号。比如:
"这是一句话"
要修改成
""这是一句话""
  实际操作表明,用numbers修改挺方便的,就是修改过后会丢个几万行。(最后只会保留65535行)这个时候就想起来了Excel,但是用Excel打开,又出现了大量的乱码。

解决方法

  有以下这么几种解决方法:
  我的数据处理量其实还不算大,所以可以切割这个csv文件,然后处理的时候调用多个csv文件。
  使用其他的csv处理器,发现,其实Pycharm就可以使用,Pycharm的全局替换快捷键是command+R。然而因为文件太大,command+R无法使用。下载了两个Pycharm中的plugin,然而由于某些问题,也是无法使用,所以打算尝试别的软件。   
  最后在Ubuntu的虚拟机上面做了…很顺畅 LibreOffice,但是也存在一定程度上的压缩,原文件有102998行,在替换之后有102986行。少掉了12行,在我这个需求里面还算无关紧要,所以也就没有太放在心上。