博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python生成器读取大文件
阅读量:6473 次
发布时间:2019-06-23

本文共 430 字,大约阅读时间需要 1 分钟。

# 500G一行的超大文本文件,有分隔符{|}def myreadlines(f,newline):    buf=""    while True:        while newline in buf:            pos = buf.index(newline)            yield buf[:pos]            buf = buf[pos+len(newline):]        chunk =f.read(4096*10)        if not chunk:            # 说明已经读到了文件结尾            yield buf            break        buf += chunkwith open("input.txt") as f:    for line in myreadlines(f, "{|}"):        print(line)复制代码

转载地址:http://eavko.baihongyu.com/

你可能感兴趣的文章
蔡超:入门 Go 语言必须跨越的五个思维误区
查看>>
使用Akka Actor和Java 8构建反应式应用
查看>>
curl常用命令详解
查看>>
saltstack 添加计划任务
查看>>
Puppet module命令参数介绍(六)
查看>>
《UNIX网络编程》中第一个timer_server的例子
查看>>
CISCO 路由器(4)
查看>>
网络服务搭建、配置与管理大全(Linux版)
查看>>
Silverlight 5 Beta新特性[4]文本缩进控制
查看>>
springMVC多数据源使用 跨库跨连接
查看>>
简单java在线测评程序
查看>>
Git服务端和客户端安装笔记
查看>>
Spring Security(14)——权限鉴定基础
查看>>
IntelliJ IDEA快捷键
查看>>
【iOS-cocos2d-X 游戏开发之十三】cocos2dx通过Jni调用Android的Java层代码(下)
查看>>
MongoDB的基础使用
查看>>
进程间通信——命名管道
查看>>
LINUX 重定向的知识
查看>>
ssh登陆不需要密码
查看>>
ARP
查看>>