主頁 > 知識庫 > PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件

PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件

熱門標簽:黔江400電話如何辦理 電銷機器人便宜的有嗎 ai電話機器人加盟代理 400電話鄭州申請 中原區(qū)電話機器人價格 招標自動語音外呼系統(tǒng) gps 地圖標注軟件 地圖標注視頻廣告入駐 OMG地圖標注app

前言: 很多時候,因為數(shù)據(jù)統(tǒng)計,我們需要將數(shù)據(jù)庫的數(shù)據(jù)導出到Excel等文件中,以供數(shù)據(jù)人員進行查看,如果數(shù)據(jù)集不大,其實很容易;但是如果對于大數(shù)集的導出,將要考慮各種性能的問題,這里以導出數(shù)據(jù)庫一百萬條數(shù)據(jù)為例,導出時間不過20秒,值的學習的一種大數(shù)據(jù)導出方式。

一、導出思路

  • 需要考慮服務器內(nèi)存
  • 需要考慮程序運行的最大時間
  • 缺少BOM頭導致亂碼的處理
  • 如果導出數(shù)量過大,推薦使用循環(huán)導出,每次循環(huán)這里以導出一萬條為例,循環(huán)100次即可全部導出

二、導出源碼

  • 下面源碼將數(shù)據(jù)庫信息修改成自己的即可使用
  • 親測導出一百萬條數(shù)據(jù),3個字段,不過20秒
  • 如果服務器硬件不支持一次讀取一萬條數(shù)據(jù),可將循環(huán)次數(shù)提高,導出數(shù)量降低
?php
  //讓程序一直運行
  set_time_limit(0);
  //設(shè)置程序運行內(nèi)存
  ini_set('memory_limit', '128M');
 
  $fileName = '測試導出數(shù)據(jù)';
  header('Content-Encoding: UTF-8');
  header("Content-type:application/vnd.ms-excel;charset=UTF-8");
  header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
  
  //打開php標準輸出流
  $fp = fopen('php://output', 'a');
 
  //添加BOM頭,以UTF8編碼導出CSV文件,如果文件頭未添加BOM頭,打開會出現(xiàn)亂碼。
  fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));
  //添加導出標題
  fputcsv($fp, ['姓名', '年齡', '地區(qū)']);
  
  //鏈接數(shù)據(jù)庫
  $dsn = "mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8";
  $pdo = new PDO($dsn, 'root', '');
 
  $step = 100; //循環(huán)次數(shù)
  $nums = 10000; //每次導出數(shù)量
 
  for($i = 0; $i  $step; $i++) {
    $start = $i * 10000;
    $sql = "SELECT uname,age,city FROM `hd_test` ORDER BY `id` LIMIT {$start},{$nums}";
    $pdostatement = $pdo->query($sql);
    $result = $pdostatement->fetchAll(PDO::FETCH_ASSOC);
    foreach ($result as $item) {
      fputcsv($fp, $item);
    }
    //每1萬條數(shù)據(jù)就刷新緩沖區(qū)
    ob_flush();
    flush();
  } 

三、快速生成百萬條測試數(shù)據(jù)

這里推薦數(shù)據(jù)庫的蠕蟲復制命令
先建好表后,插2條測試數(shù)據(jù)后,執(zhí)行幾次下列命令,即可指數(shù)增長

INSERT INTO hd_test (uname,age,city) SELECT uname,age,city FROM hd_test;

到此這篇關(guān)于PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件的文章就介紹到這了,更多相關(guān)PHP 導出百萬級數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 利用phpExcel實現(xiàn)Excel數(shù)據(jù)的導入導出(全步驟詳細解析)
  • ThinkPHP使用PHPExcel實現(xiàn)Excel數(shù)據(jù)導入導出完整實例
  • php中導出數(shù)據(jù)到excel時數(shù)字變?yōu)榭茖W計數(shù)的解決方法
  • 使用PHPExcel實現(xiàn)數(shù)據(jù)批量導出為excel表格的方法(必看)
  • php+ajax實現(xiàn)帶進度條的大數(shù)據(jù)排隊導出思路以及源碼
  • PHP導出MySQL數(shù)據(jù)到Excel文件(fputcsv)
  • php把數(shù)據(jù)表導出為Excel表的最簡單、最快的方法(不用插件)
  • php導出excel格式數(shù)據(jù)問題
  • PHP使用mysqldump命令導出數(shù)據(jù)庫

標簽:北京 池州 哈密 阿里 孝感 那曲 日照 濟源

巨人網(wǎng)絡通訊聲明:本文標題《PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件》,本文關(guān)鍵詞  PHP,快速,導出,百萬,級,數(shù)據(jù),;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件》相關(guān)的同類信息!
  • 本頁收集關(guān)于PHP快速導出百萬級數(shù)據(jù)到CSV或者EXCEL文件的相關(guān)信息資訊供網(wǎng)民參考!
  • 企业400电话

    智能AI客服机器人
    15000

    在线订购

    合计11份范本:公司章程+合伙协议+出资协议+合作协议+股权转让协议+增资扩股协议+股权激励+股东会决议+董事会决议

    推薦文章