讀文件
打開一個(gè)文件用open()方法(open()返回一個(gè)文件對象):
>>> f = open(filename, mode,buffering) #buffering寄存,具體自行搜索
mode:決定了打開文件的模式:只讀,寫入,追加等。所有可取值見如下的完全列表。這個(gè)參數(shù)是非強(qiáng)制的,默認(rèn)文件訪問模式為只讀(r)。
不同模式打開文件的完全列表:
模式描述
r 以只讀方式打開文件。文件的指針將會放在文件的開頭。這是默認(rèn)模式。
rb以二進(jìn)制格式打開一個(gè)文件用于只讀。文件指針將會放在文件的開頭。
r+打開一個(gè)文件用于讀寫。文件指針將會放在文件的開頭。
rb+以二進(jìn)制格式打開一個(gè)文件用于讀寫。文件指針將會放在文件的開頭。
w打開一個(gè)文件只用于寫入。如果該文件已存在則打開文件,并從開頭開始編輯,即原有內(nèi)容會被刪除。如果該文件不存在,創(chuàng)建新文件。
wb以二進(jìn)制格式打開一個(gè)文件只用于寫入。如果該文件已存在則打開文件,并從開頭開始編輯,即原有內(nèi)容會被刪除。如果該文件不存在,創(chuàng)建新文件。
w+打開一個(gè)文件用于讀寫。如果該文件已存在則打開文件,并從開頭開始編輯,即原有內(nèi)容會被刪除。如果該文件不存在,創(chuàng)建新文件。
wb+以二進(jìn)制格式打開一個(gè)文件用于讀寫。如果該文件已存在則打開文件,并從開頭開始編輯,即原有內(nèi)容會被刪除。如果該文件不存在,創(chuàng)建新文件。
a打開一個(gè)文件用于追加。如果該文件已存在,文件指針將會放在文件的結(jié)尾。也就是說,新的內(nèi)容將會被寫入到已有內(nèi)容之后。如果該文件不存在,創(chuàng)建新文件進(jìn)行寫入。
ab以二進(jìn)制格式打開一個(gè)文件用于追加。如果該文件已存在,文件指針將會放在文件的結(jié)尾。也就是說,新的內(nèi)容將會被寫入到已有內(nèi)容之后。如果該文件不存在,創(chuàng)建新文件進(jìn)行寫入。
a+打開一個(gè)文件用于讀寫。如果該文件已存在,文件指針將會放在文件的結(jié)尾。文件打開時(shí)會是追加模式。如果該文件不存在,創(chuàng)建新文件用于讀寫。
ab+以二進(jìn)制格式打開一個(gè)文件用于追加。如果該文件已存在,文件指針將會放在文件的結(jié)尾。如果該文件不存在,創(chuàng)建新文件用于讀寫。
模式rr+ww+aa+
讀++ + +
寫 +++++
創(chuàng)建 ++++
覆蓋 ++
指針在開始++++
指針在結(jié)尾 ++
如果文件不存在,open()函數(shù)就會拋出一個(gè)IOError的錯誤,并且給出錯誤碼和詳細(xì)的信息告訴你文件不存在:
>>> f=open('test.txt', 'r')Traceback (most recent call last): File "<stdin>", line 1, in <module>FileNotFoundError: [Errno 2] No such file or directory: 'test.txt'
文件使用完畢后必須關(guān)閉,因?yàn)槲募ο髸加貌僮飨到y(tǒng)的資源,并且操作系統(tǒng)同一時(shí)間能打開的文件數(shù)量也是有限的
>>> f.close()
由于文件讀寫時(shí)都有可能產(chǎn)生IOError,一旦出錯,后面的f.close()就不會調(diào)用。所以,為了保證無論是否出錯都能正確地關(guān)閉文件,我們可以使用try ... finally來實(shí)現(xiàn):
try: f = open('/path/to/file', 'r') print(f.read())finally: if f: f.close()
但是每次都這么寫實(shí)在太繁瑣,所以,Python引入了with語句來自動幫我們調(diào)用close()方法:
with open(r'/path/to/file', 'r') as f: #/會被轉(zhuǎn)義,加r print(f.read())
python文件對象提供了三個(gè)“讀”方法: read()、readline() 和 readlines()。每種方法可以接受一個(gè)變量以限制每次讀取的數(shù)據(jù)量。
read() 每次讀取整個(gè)文件,它通常用于將文件內(nèi)容放到一個(gè)字符串變量中。如果文件大于可用內(nèi)存,為了保險(xiǎn)起見,可以反復(fù)調(diào)用read(size)方法,每次最多讀取size個(gè)字節(jié)的內(nèi)容。
readlines() 之間的差異是后者一次讀取整個(gè)文件,象 .read() 一樣。.readlines() 自動將文件內(nèi)容分析成一個(gè)行的列表,該列表可以由 Python 的 for ... in ... 結(jié)構(gòu)進(jìn)行處理。
readline() 每次只讀取一行,通常比readlines() 慢得多。僅當(dāng)沒有足夠內(nèi)存可以一次讀取整個(gè)文件時(shí),才應(yīng)該使用 readline()。
注意:這三種方法是把每行末尾的'\n'也讀進(jìn)來了,它并不會默認(rèn)的把'\n'去掉,需要我們手動去掉。
with open('test1.txt', 'r') as f1: list1 = f1.readlines()list1['111\n', '222\n', '333\n', '444\n', '555\n', '666\n']
去掉'\n'
按 Ctrl+C 復(fù)制代碼
按 Ctrl+C 復(fù)制代碼
對于read()和readline()也是把'\n'讀入了,但是print的時(shí)候可以正常顯示(因?yàn)閜rint里的'\n'被認(rèn)為是換行的意思)
按 Ctrl+C 復(fù)制代碼
按 Ctrl+C 復(fù)制代碼
一個(gè)python面試題的例子:
有兩個(gè)文件,每個(gè)都有很多行ip地址,求出兩個(gè)文件中相同的ip地址:
# coding:utf-8
import bisect
with open('test1.txt', 'r') as f1:
list1 = f1.readlines()
for i in range(0, len(list1)):
list1[i] = list1[i].strip('\n')
with open('test2.txt', 'r') as f2:
list2 = f2.readlines()
for i in range(0, len(list2)):
list2[i] = list2[i].strip('\n')
list2.sort()
length_2 = len(list2)
same_data = []
for i in list1:
pos = bisect.bisect_left(list2, i)
if pos < len(list2) and list2[pos] == i:
same_data.append(i)
same_data = list(set(same_data))
print(same_data)
要點(diǎn)就是:(1)用with (2)處理行末的'\n' (3)使用二分查找提高算法效率。(4)使用set快速去重。
寫文件
寫文件和讀文件是一樣的,唯一區(qū)別是調(diào)用open()函數(shù)時(shí),傳入標(biāo)識符'w'或者'wb'表示寫文本文件或?qū)懚M(jìn)制文件:
>>> f = open('test.txt', 'w') # 若是'wb'就表示寫二進(jìn)制文件>>> f.write('Hello, world!')>>> f.close()
注意:'w'這個(gè)模式是:如果沒有這個(gè)文件,就創(chuàng)建一個(gè);如果有,那么就會先把原文件的內(nèi)容清空再寫入新的東西。所以若不想清空原來的內(nèi)容而是直接在后面追加新的內(nèi)容,就用'a'這個(gè)模式。
我們可以反復(fù)調(diào)用write()來寫入文件,但是務(wù)必要調(diào)用f.close()來關(guān)閉文件。當(dāng)我們寫文件時(shí),操作系統(tǒng)往往不會立刻把數(shù)據(jù)寫入磁盤,而是放到內(nèi)存緩存起來,空閑的時(shí)候再慢慢寫入。只有調(diào)用close()方法時(shí),操作系統(tǒng)才保證把沒有寫入的數(shù)據(jù)全部寫入磁盤。忘記調(diào)用close()的后果是數(shù)據(jù)可能只寫了一部分到磁盤,剩下的丟失了。所以,還是用with語句來得保險(xiǎn):
with open('test.txt', 'w') as f: f.write('Hello, world!')
python文件對象提供了兩個(gè)“寫”方法: write() 和 writelines()。
write()方法和read()、readline()方法對應(yīng),是將字符串寫入到文件中。
writelines()方法和readlines()方法對應(yīng),也是針對列表的操作。它接收一個(gè)字符串列表作為參數(shù),將他們寫入到文件中,換行符不會自動的加入,因此,需要顯式的加入換行符。
按 Ctrl+C 復(fù)制代碼
按 Ctrl+C 復(fù)制代碼
file_obj.seek(offset,whence=0)
file_obj.seek(offset,whence=0)方法用來在文件中移動文件指針。offset表示偏移多少。可選參數(shù)whence表示從哪里開始偏移,默認(rèn)是0為文件開頭,1為當(dāng)前位置,2為文件尾部。舉例:
f = open("test1.txt", "a+")print(f.read())f.write('1')f.seek(0, 0)# 把文件指針從末尾移到開頭,沒有這句話下面的read()就讀不到正確的東西print(f.read())f.close()
注意:這個(gè)文件指針的改變只是作用于'r',對'w'和'a'不會起作用,如果是'w',那么write()永遠(yuǎn)都是從開頭寫(會覆蓋后面對應(yīng)位置的內(nèi)容),是'a'的話write()就永遠(yuǎn)都是從最后開始追加。
字符編碼
要讀取非UTF-8編碼的文本文件,需要給open()函數(shù)傳入encoding參數(shù),例如,讀取GBK編碼的文件:
>>> f = open('test.txt', 'r', encoding='gbk')>>> f.read()'測試'
遇到有些編碼不規(guī)范的文件,你可能會遇到UnicodeDecodeError,因?yàn)樵谖谋疚募锌赡軍A雜了一些非法編碼的字符。遇到這種情況,open()函數(shù)還接收一個(gè)errors參數(shù),表示如果遇到編碼錯誤后如何處理。最簡單的方式是直接忽略:
>>> f = open('test.txt', 'r', encoding='gbk', errors='ignore')
f.tell()
f.tell() 返回文件對象當(dāng)前所處的位置, 它是從文件開頭開始算起的字節(jié)數(shù)。
pickle 模塊
python的pickle模塊實(shí)現(xiàn)了基本的數(shù)據(jù)序列和反序列化。
通過pickle模塊的序列化操作我們能夠?qū)⒊绦蛑羞\(yùn)行的對象信息保存到文件中去,永久存儲。
通過pickle模塊的反序列化操作,我們能夠從文件中創(chuàng)建上一次程序保存的對象。
基本接口:
pickle.dump(obj, file, [,protocol])
這個(gè)模塊想要詳細(xì)的自行搜索
JSON模塊 數(shù)據(jù)序列化
OS 模塊提供了非常豐富的方法用來處理文件和目錄
分類:
python