造價工程師初始注冊有效期,造價工程師初始注冊

　　作者 | Ben Hoyt

　　翻譯 | 雁驚寒

　　“pygit是一個大約500行Python代碼工具，實現(xiàn)了一些git功能，包括創(chuàng)建庫、將文件添加到索引、提交、將自身推送到GitHub上去。 本文給出了一些代碼編寫過程，并詳細介紹了相關(guān)代碼?！?/p>

　　Git因其具有非常簡單的對象模型而著稱。在學(xué)習(xí)git時，我發(fā)現(xiàn)本地對象數(shù)據(jù)庫只是.git目錄中的一堆普通文件。除了索引（.git/index）和打包文件（可有可無）外，這些文件的存放規(guī)則和格式相當(dāng)?shù)暮唵巍?/p>

　　受Mary Rose Cook的程序啟發(fā)，我也想看看是否能夠編寫出創(chuàng)建倉庫，執(zhí)行提交，并推送到服務(wù)器（比如GitHub）的git客戶端。

　　Mary的gitlet程序有著很多可供學(xué)習(xí)的地方，而我的程序需要把自身推送到GitHub上去，所以具有更多的創(chuàng)新功能。在某些方面，她實現(xiàn)了更多的Git功能（包括基本的合并），但在其他方面實現(xiàn)的功能就比較的少。例如，她使用了一個簡單的基于文本的索引格式，而不是用git使用的二進制格式。此外，雖然她的gitlet支持推送，但它只會推送到本地已經(jīng)存在的倉庫中，而不是到遠程服務(wù)器上。

　　對于本文涉及的這個練習(xí)，我打算編寫一個可以執(zhí)行所有步驟的版本，包括推送到一個真正的Git服務(wù)器上去。我也會使用與git相同的二進制索引格式，這樣，我就可以在每一步驟上都使用git命令來檢查程序的功能。

　　我的程序叫pygit，用Python（3.5+）編寫，并且只使用了標(biāo)準(zhǔn)庫模塊。它只有500行代碼，包括空白行和注釋。我至少需要實現(xiàn)init、add、commit和push命令，但pygit還實現(xiàn)了status，diff，cat-file，ls-files和hash-object等命令。后面的命令，本身也非常有用，并且在調(diào)試pygit的時候，也起到了幫助作用。

　　下面，讓我們來看看代碼吧！您可以在GitHub上查看pygit.py的所有代碼，或者在下文中跟著我一起瀏覽各段代碼。

　　初始化倉庫

　　初始化本地Git倉庫只需要創(chuàng)建.git目錄以及目錄下的幾個文件和子目錄即可。在定義了read_file和write_file這兩個幫助函數(shù)之后，我們就可以編寫init()了：

　　你可能注意到這段代碼里沒有進行優(yōu)雅的錯誤處理。畢竟這整個代碼只有500行啊。如果倉庫目錄已經(jīng)存在，程序會終止，并拋出traceback。

　　取對象的散列值

　　hash_object函數(shù)用來獲取單個文件對象的散列值，并寫入.git/objects目錄下的“數(shù)據(jù)庫”中。在Git模型中，包含三種對象，分別是：普通文件（blob），提交（commit）和樹（tree，也就是目錄結(jié)構(gòu)）。

　　每個對象都有一個文件頭，包括文件類型和文件大小，大概幾個字節(jié)的長度。之后是NUL字符，然后是文件的數(shù)據(jù)內(nèi)容。所有這些都使用zlib壓縮并寫入到文件.git/objects/ab/cd…中，其中ab是40個字符長的SHA-1散列的前兩個字符，而cd…則是剩余的部分。

　　請注意，這里使用了Python標(biāo)準(zhǔn)庫（os和hashlib）。

　　還有個find_object()函數(shù)，它通過散列（或散列前綴）找到某個文件對象，然后用read_object()函數(shù)讀取這個對象及其類型。這實際上是hash_object()的反向操作。最后，cat_file是一個與git cat-file具有相同功能的pygit函數(shù)：它將對象的內(nèi)容（或者大小和類型）進行格式化并打印到標(biāo)準(zhǔn)輸出。

　　git索引

　　接下來我們要做的事情就是要將文件添加到索引或暫存區(qū)中。索引就是文件列表，按路徑名排序，每個路徑都包含路徑名，修改時間，SHA-1散列等等。需要注意的是，索引列出了當(dāng)前樹中的所有文件，而不僅僅是在暫存區(qū)中等待提交的文件。

　　索引以自定義的二進制格式存儲在.git/index文件中。這個文件雖然并不是很復(fù)雜，但它還是涉及到了結(jié)構(gòu)體的用法，通過一定規(guī)則的字節(jié)偏移，可以在長度可變的路徑名稱字段之后獲得下一個索引條目。

　　文件的前12個字節(jié)是文件頭，最后20個字節(jié)是索引的SHA-1散列，在這中間的字節(jié)是索引條目，每個索引條目為62個字節(jié)加上路徑的長度再加上填充的長度。下面是namedtuple類型的IndexEntry和read_index函數(shù)：

　　這個函數(shù)后面是ls_files，status和diff函數(shù)，這些是打印索引狀態(tài)的幾個不同的方法：

ls_files函數(shù)只是打印索引中的所有文件（如果指定了-s，則連同一起打印它們的模式和散列）

status函數(shù)使用get_status()來比較索引中的文件和當(dāng)前目錄樹中的文件是否一致，打印有哪些文件被修改，新增或刪除

diff函數(shù)打印每個修改過的文件中變動的地方，顯示索引中的內(nèi)容與當(dāng)前工作副本中的內(nèi)容的不同點（使用Python的difflib模塊來完成這個功能）

　　git對索引的操作和這些命令的執(zhí)行在效率上比我這個程序要高很多。我使用os.walk()函數(shù)來列出目錄中的所有文件的完整路徑，做一些設(shè)置操作，然后比較他們散列值。例如，這個是我用來獲取有過修改的路徑列表的代碼：

　　最后還有一個write_index函數(shù)用于回寫索引。它調(diào)用了add()函數(shù)將一個或多個路徑添加到索引中。add()函數(shù)首先讀取整個索引，將路徑添加進去，然后重新排序并回寫索引。

　　此時，我們已經(jīng)將文件添加到索引中了，下面，我們可以開始實現(xiàn)commit操作了。

　　提交

　　執(zhí)行提交操作需要編寫兩個對象：

　　首先是樹對象，它是提交時當(dāng)前目錄（或者是索引）的一個快照。這棵樹遞歸列出了目錄中的文件和子目錄的散列。

　　所以每個提交都是整個目錄樹的快照。 這種使用散列值來存儲東西的好處是，如果樹中的任意一個文件發(fā)生改變，則整個樹的散列也會跟著發(fā)生改變。相反，如果一個文件或子目錄沒有改變，則散列也不會改變。所以你可以高效地存儲目錄樹中的變更。

　　這是一個用cat-file pretty 2226命令打印出來的樹對象的示例（每一行打印的內(nèi)容為：文件模式、對象類型、散列和文件名）：

　　函數(shù)write_tree用于寫樹對象。Git文件格式的奇怪之處在于它混合了二進制和文本，例如，樹對象中的每一“行”首先是文本：“模式、空格、路徑”，然后是NUL字節(jié)，然后是二進制SHA-1散列。 這是我們的write_tree()函數(shù)：

　　其次是提交對象。 它記錄了樹的散列值、父提交、作者、時間戳，以及提交信息。合并功能是Git的優(yōu)點之一，但是pygit只支持單一的線性分支，所以只有一個父提交（如果是第一次提交，則沒有父提交）。

　　這是一個提交對象的例子，再次使用cat-file pretty aa8d命令打印出來：

　　這個是我們的提交函數(shù)，再次感謝Git的對象模型，相當(dāng)?shù)暮唵危?/p>

　　與服務(wù)器交互

　　接下來是稍微有點困難的部分了，因為我們要讓pygit與一個真正的Git服務(wù)器進行通信（我將把pygit自身推送到GitHub，但它也適用于Bitbucket和其他服務(wù)器）。

　　其基本思想是首先查詢服務(wù)器上即將要提交的主分支，然后確定等待提交的本地對象集，最后，更新遠程的提交散列值，并發(fā)送包含所有缺少的對象的“打包文件”。

　　這被稱為“智能協(xié)議”。直到2011年，GitHub才停止了對“愚蠢”傳輸協(xié)議的支持，該協(xié)議是將.git目錄中的文件直接傳輸過去，所以實現(xiàn)起來更加容易。這里，我們必須得使用“智能協(xié)議”將對象打包到一個文件中。

　　在最后的工作階段，我使用了Python的http.server模塊實現(xiàn)了一個小型的HTTP服務(wù)器，這樣，我就可以運行其他的git客戶端與這個服務(wù)器進行交互，以此來查看真正的請求與相應(yīng)數(shù)據(jù)。

　　pkt-line格式

　　傳輸協(xié)議的關(guān)鍵部分之一是“pkt-line”格式，它是用于發(fā)送元數(shù)據(jù)（如提交散列）的數(shù)據(jù)報文格式。報文的開頭是長度值。每“行”開頭是4個十六進制字符表示的長度值（所表示的長度要包含這個長度值字段），所以，包的長度必須小于這4個字符表示的數(shù)值。 每行的最后都有一個LF字符。數(shù)據(jù)結(jié)尾的0000是段結(jié)束標(biāo)記。

　　例如，這個是GitHub對git-receive-pack GET請求的響應(yīng)報文。請注意，額外的換行符和縮進并不是報文的一部分。

　　很明顯，我們需要兩個轉(zhuǎn)換函數(shù)：一個將pkt-line數(shù)據(jù)轉(zhuǎn)換為一行一行的數(shù)據(jù)，另一個則是反過來，將一行一行的數(shù)據(jù)轉(zhuǎn)換為pkt-line格式：

　　實現(xiàn)HTTPS請求

　　由于我只想使用標(biāo)準(zhǔn)庫， 所以接下來的代碼就是在不使用requests庫的情況下實現(xiàn)身份驗證HTTPS請求：

　　以上這段代碼說明了requests庫的存在是非常有意義的。你可以使用標(biāo)準(zhǔn)庫的urllib.request模塊來實現(xiàn)這些操作，但有時候會很痛苦。大多數(shù)Python標(biāo)準(zhǔn)庫是很好用的，有一些則不是，雖然數(shù)量并不多。如果使用request的話，甚至都不需要幫助函數(shù)：

　　我們可以使用上面的函數(shù)來向服務(wù)器詢問它的主分支到哪個版本了，代碼如下（這個功能還比較脆弱，但是可以很容易地修改的更為通用一點）：

　　確定丟失的對象

　　接下來，我們需要確定：服務(wù)器需要，但是在服務(wù)器上又不存在的對象。 pygit假定所有東西都在本地（它不支持“pulling”），所以，我寫了read_tree函數(shù)（與write_tree相反），然后，用以下這兩個函數(shù)在指定的樹和指定的提交中遞歸尋找對象散列集合：

　　然后，我們需要做的就是獲取本地提交引用的對象集合，用這個集合減去遠程提交中引用的對象集。這兩者的差異是遠端丟失的對象。雖然肯定還有更加有效率的方式來生成這個對象集合，但這個邏輯對于pygit來說已經(jīng)足夠了：

　　推送自身

　　在推送之前，我們需要發(fā)送一條pkt-line請求來說明“將主分支更新為此提交散列”，然后發(fā)送包含上述所有缺失對象的打包文件。

　　打包文件有一個12個字節(jié)長的頭（從PACK開始），接著是各個對象，每個對象包括長度以及用zlib算法壓縮的對象數(shù)據(jù)，最后是整個打包文件的散列值，長度是20個字節(jié)。雖然，基于對象差異的算法可以讓數(shù)據(jù)報文來得更小，但對我們而言就是過度設(shè)計了：

　　然后，最后一步，push()自身，為了簡潔起見，我刪除了一點代碼：

　　命令行解析

　　pygit，包括子命令（pygit init，pygit commit等），是一個使用標(biāo)準(zhǔn)庫argparse模塊的例子。我沒有把代碼復(fù)制到這里，你可以查看源代碼中argparse的相關(guān)部分。

　　pygit用法

　　在大多數(shù)地方，我盡量讓pygit命令行語法與git語法相同或接近相同。以下是將pygit提交到GitHub的命令：

　　結(jié)束語

　　這些就是所有的代碼邏輯了！如果你從頭閱讀到這里，那你僅僅只是瀏覽了500行Python代碼，并沒有任何價值。哦，等等，除了受到教育和工匠精神的價值。希望你學(xué)到了有關(guān)Git內(nèi)部邏輯方面的知識。