又有一段時間沒有更新博客了，很是愧疚，雖然看我博客的人并不多，但我知道有一部分在關注，不是出于技術。 我可能不像個黑客 可能當一個人忙于一件事或者處于忙碌狀態的時候，就幾乎沒有閑暇時間去思考，思考那些平時忙碌的時候不會思考的問題，可能是生活因素，總是在壓迫人們不停的工…繼續閱讀 »

前幾天買了個樹莓派3b，實現遠程控制自然要有內網轉發，沒什么毛病，但是任何事情我遇到的問題總比別人多，下面就開始折騰了。 一開始裝的是樹莓派的原生系統，花生殼官網有樹莓派專用的客戶端也就是arm版，但是用著用著很多滲透軟件裝著太麻煩，于是換了kali系統， 那么問題來了，花…繼續閱讀 »

隨著全網掃描項目的開發，越來越細致的問題暴露出來，從能用到用的好，還有很長的路要走。 這個問題前段時間就發現了，程序一般跑個一天會越來越慢，直到某個時候程序徹底崩了，而且最后的報錯也一般是mysql的報錯： pymysql.err.OperationalError: (2013, 'Lost connection to MySQL server during query ([Errno 104] Co…繼續閱讀 »

在網上大多關于join()與task_done()的結束原話是這樣的： Queue.task_done() 在完成一項工作之后，Queue.task_done()函數向任務已經完成的隊列發送一個信號 Queue.join() 實際上意味著等到隊列為空，再執行別的操作 但是可能很多人還是不太理解，這里以我自己的理解來闡述這兩者的關聯。 理解 如果線程里…繼續閱讀 »

很久一段時間，一直麻木在技術的世界里，甚至沒有多余的思緒跳出技術思維，想一想技術之外的一些東西。 之所以稱之為“技術之外”，因為對于我這種金剛猿來說，從事業與理想的角度只分為技術，與非技術。 所謂技術，我一般也稱之為“術”，諸如，線程如何調優，這個函數有哪些參數，…繼續閱讀 »

終究，我還是從innodb轉到了myisam，光innodb庫的大小就夠我受的，更別說查詢速度了。 但是我遇到了一個問題，從innodb轉到myisam很快就能完成，ibdata1文件還是那么大，有27G。 嗯，可以理解，可能因為我的庫還在。 但是當我刪除一個大庫的時候瞬間就完成了，那一瞬間我就感覺不妙，幾百萬的數據…繼續閱讀 »

此貼為備忘帖： 背景：將mysql 的var目錄數據全部遷移至另一mysql服務器，權限正常的情況下 無法啟動mysql，報錯： ?ERROR! MySQL is not running, but lock file (/var/lock/subsys/mysql) exists 查看var下的localhost.localdomain.err日志，報錯為： 170322 14:47:52 mysqld_safe Starting mysqld daemon with databases from /usr/local/mysql/var 170322 …繼續閱讀 »

一般在針對性的爬取某個網站的時候可能不需要考慮太多這方面問題，因為一個網站的編碼基本是固定的，但是當需要去請求大量編碼各不相同的網站時，自動解碼就顯得尤為重要。 這幾天在用requests模塊掃描大量網站首頁的時候發現有大量的亂碼，我們都知道requests中的encoding屬性是可以自動識別網…繼續閱讀 »

這個模塊在很多爬蟲項目里應該還是挺實用的，不過我是用來批量查詢whois和備案單位的，因為庫里有大量的子域名，所以只需要對同頂級域名的其中一個域名獲取信息即可，否則會造成數據庫大量冗余信息，而且在后期更新的時候還會造成系統及網絡不必要的壓力。 找了這么個提取頂級域名的模…繼續閱讀 »

全網域名掃描項目還在進行中，之前想的很簡單的whois提取本以為很簡單，看了下linux下whois出來的結果格式很多都不一樣，自己寫的話是比較麻煩的。 在線接口的話找了很多，還是只有站長之家最靠譜，但是由于量很大，而且又有請求限制，還是決定再找找whois的輪子，找了兩個，一個很爛，.cn ?.com…繼續閱讀 »