TermExtract::ChainesPlainTextGB -- 検餤モテユZウ魑筵ク・蟀`・襭亶橆ZGB井)
use TermExtract::ChainesPlainTextGB;
嶄忽孳、ホ・ニ・ュ・ケ・ネ・ヌゥ`・ソ、ォ、鬢ス、ホ、゛、゛検餤モテユZ、魑ケ、ラ・愠ー・鬣爍」
オア・筵ク・蟀`・襪諒荒歎┐砲弔い討蓮HクラスTermExtract::Calc_Imp)か、 參和のサンプルスクリプトを歌孚のこと。
#!/usr/local/bin/perl -w # # ex_CPT_GB.pl # # # 侏慳ウヲ、ヒ検餤モテユZ、ネ、ス、ホヨリメェカネ、オ、ケ・ラ・愠ー・鬣 # # version 0.11 # # use TermExtract::ChainesPlainTextGB; #use strict; my $data = new TermExtract::ChainesPlainTextGB; my $InputFile = "ChainesPlainText_out.txt"; # 秘薦ファイル峺協 # プロセスのョ正」スKチヒ瓶Иタ # (ロックディレクトリを聞喘した因コマ、ホ、゜」ゥ $SIG{INT} = $SIG{QUIT} = $SIG{TERM} = 'sigexit'; # ウヲ・筰`・ノ、クカィ # 1 。検餤モテユZ」ォヨリメェカネ。「2 。検餤モテユZ、ホ、゜ # 3 。カンマ曝俳り my $output_mode = 1; # # 嶷勣業モ桐网ヌ。「゜BスモユZ、ホ"ムモ、ルハquot;、"ョ畝ハ、quot;。「"・ムゥ`・ラ・譽⑤轡謄quot;のい # ずれをとるか゜x談。」・ムゥ`・ラ・譽⑤轡謄蓮狐Я蕗Cトワ。ケ、ケ、ィ、ハ、、 # 、゛、ソ。「"゜BスモユZ、ホヌ驤ケ、ハ、、"゜x談、筅「、遙「、ウ、ホ因コマ、マモテユZウFサリハ # (、ネヤOカィ、オ、ニ、、、ミIDF、ホスM、゜コマ、錣撮④盃慴ⅱ飯磴鯰个 # デフォルトは"决べ方"をとる $obj->use_total) # #$data->use_total; # 决べ方をとる #$data->use_uniq; # ョ畝ハ、ネ、 #$data->use_Perplexity; # ・ムゥ`・ラ・ュ・キ・ニ・」、ネ、TermExtract 3.04 メヤノマ) #$data->no_LR; # スモヌ驤ケ、ハ、、 (TermExtract 4.02 メヤノマ) # # ヨリメェカネモ桐网ヌ。「゜Bスモヌ驤ヒ廷、アコマ、サ、テユZウF精カネヌ驤x談、ケ、 # $data->no_LR; との粛、゜コマ、サ、ヌモテユZウF精カネ、ホ、゜、ホヨリメェカネ、簍羌ノトワ # 」ィ・ヌ・ユ・ゥ・襯箸"Frequency" $data->use_frq) # TFはある喘ユZ、ャヒ訷ホモテユZ、ホメサイソ、ヒハケ、ニ、、、ソ因コマ、ヒ、筵ォ・ヲ・ネ # Frequency 、マモテユZ、ャヒ訷ホモテユZ、ホメサイソ、ヒハケ、錣譴討い呂縫㎤Ε鵐箸靴覆 # #$data->use_TF; # TF (Term Frequency) (TermExtract 4.02 參貧) #$data->use_frq; # Frequencyによる喘ユZ精カネ #$data->no_frq; # 精カネヌ驤ケ、ハ、、 # # ヨリメェカネモ桐网ヌ。「ムァチ蕗Cトワ、ケ、ヲ、ォ、ノ、ヲ、ォ゜x談 # 」ィ・ヌ・ユ・ゥ・襯箸蓮∧荒辰靴覆$obj->no_stat) # #$data->use_stat; # 僥チ蕗Cトワ、ケ、ヲ #$data->no_stat; # ムァチ蕗Cトワ、ケ、錣覆 # # 嶷勣業モ桐网ヌ。「。ク・ノ・ュ・螂皈ネヨミ、ホモテユZ、ホ精カネ。ケ、ネ。ク゜BスモユZ、ホヨリメェカネ。ケ # 、ホ、ノ、チ、鬢ヒアネヨリ、ェ、ッ、ォ、Oカィ、ケ、襦 # デフォルトn、マ」ア # n、ャエュ、、、ロ、ノ。ク・ノ・ュ・螂皈ネヨミ、ホモテユZ、ホ精カネ。ケ、ホアネヨリ、ャク゜、゛、 # #$data->average_rate(0.5); # # ムァチ蕗CトワモテDB、ヒ・ヌゥ`・ソ、﨧e、ケ、襪㎠匹Δx談 # ヨリメェカネモ桐网ヌ。「ムァチ蕗Cトワ、ケ、ヲ、ネ、ュ、マ。「・サ・テ・ネ、キ、ニ、ェ、、、ソ、ロ、ヲ、ャ # 殪︻。」Иタ甯斫ヒムァチ蕗CトワモテDB、ヒオヌ乕、オ、譴討い覆ふZが根まれる # と屎しく恬しない。 # デフォルトは、們キe、キ、ハ、、 $obj->no_storage」ゥ # #$data->use_storage; # ミ﨧e、ケ、 #$data->no_storage; # ミ﨧e、キ、ハ、、 # # ムァチ蕗CトワモテDB、ヒハケモテ、ケ、訥BMをSDBM_Fileに峺協 # デフォルトは、DB_FileのBTREEモ❹・ノ」ゥ # #$data->use_SDBM; # # ゜^ネ・、ホ・ノ・ュ・螂皈ネ、ホタロキeスyモ共ケ、ヲ因コマ、ホ・ヌゥ`・ソ・ルゥ`・ケ、ホ # ・ユ・。・、・訝獷鬟札奪 # デフォルトは "stat.db"と"comb.db" # $data->stat_db("statGB.db"); $data->comb_db("combGB.db"); # # デ❹・ソ・ルゥ`・ケ、ホナナヒ詹愠テ・ッ、ホ、ソ、皃ホメサ瓶・ヌ・」・譽肇蠅鰆原 # ディレクトリ兆が腎猟忖双デフォルトの因コマ、マ・愠テ・ッ、キ、ハ、、 # #$data->lock_dir("lock_dir"); # # ・ヌゥ`・ソ、i、゜゛z、゜ # 検餤モテユZ・ケ・ネ、菽ミ、ヒキオ、ケ # 」ィタロキeスyモ汽Bハケモテ。「・ノ・ュ・螂皈ネヨミ、ホ精カネハケモテ、ヒ・サ・テ・ネ」ゥ # #my @noun_list = $data->get_imp_word($str, 'var'); # ネ訌Δ篳 my @noun_list = $data->get_imp_word($InputFile); # 秘薦がファイル # # 念指實、゜゛z、タ・ニ・ュ・ケ・ネ・ユ・。・、・襪鰓Ⅳ # モ❹・ノ、荀ィ、ニ。「検餤モテユZ・ケ・ネ、菽ミ、ヒキオ、ケ #$data->use_stat->no_frq; #my @noun_list2 = $data->get_imp_word(); # 、゛、ソ。「、ス、ホスYケ訷e、ホ・筰`・ノ、ヒ、隍Yケ訷ネ廷、アコマ、サ、 #@noun_list = $data->result_filter (\@noun_list, \@noun_list2, 30, 1000); # # 検餤モテユZ・ケ・ネ、ネモ桐网キ、ソヨリメェカネ、ヒ慳ウヲ、ヒウケ # foreach (@noun_list) { # ハ痔ホ、゜、マア桄セ、キ、ハ、、 next if $_->[0] =~ /^\d+$/; # 1ホトラヨ(GB)、ホ、゜、マア桄セ、キ、ハ、、 next if $_->[0] =~ /^[\x00-\x7F]$/; next if $_->[0] =~ /^[\x81-\xFE][\x40-\xFE]$/; next if $_->[0] =~ /^[\x81-\xEF][\x30-\x39][\x81-\xEF][\x30-\x39]$/; # スYケ﨣桄セ」ィ$output_mode、ヒ場、ク、ニ。「ウヲハス、荳 printf "%-60s %16.2f\n", $_->[0], $_->[1] if $output_mode == 1; printf "%s\n", $_->[0] if $output_mode == 2; printf "%s,", $_->[0] if $output_mode == 3; }
このモジュ❹・ヌ、マ。「get_imp_word 、ホ、゜携ラー、キ。「、ス、ヤヘ筅ホ・皈ス・テ・ノ、マモH ・筵ク・蟀`・TermExtract::Calc_Imp 、ヌ携ラー、オ、譴討い襦 get_imp_word はストップワゥ`・ノ、ヒ、隍トユツ、}コマユZ、ホ⑽ホサ、゛、ヌ、ヒキヨク釥キ、ニ 、、、襦修賻塒發離瓮愁奪匹砲弔い討蓮ermExtract::Calc_Imp のPODドキュ メントを歌孚すること。
嶄忽孳ホト、ホ、ホ・覃`ルによりム}コマユZ、ヒノ嵭ノ、ケ、」オレ」アメマ。「Иタ甯斫ホ・ヌ ゥ`・ソ。「オレ」イメマオレ」アメホキN、ヌ、「、」・ヌ・ユ・ゥ・ネ、ヌ、マ。「オレ」アメマ。「ヨミケ ユZホト、ホ・ニ・ュ・ケ・ネ・ユ・。・、・襪箸覆襦5擅禍卜鍔崛丼var'がセットされたときに は、及匯哈方を嶄忽ユZホト、ホ・ニ・ュ・ケ・ネ・ヌゥ`・ソ、ャネテ、ソ・ケ・ォ・鬩`我ハネス粃共ケ、」
」ア」ョヨミケ晥Zホト、ホ、ホフヒ、隍遙「ム}コマユZ、ヒキヨク釥ケ、 」ア」ゥクトミミ、ャ、「、テ、ソ因コマ、マ。「、ス、ウ、ヌム}コマユZ、ホヌミ、熙ネ、ケ、觴/pre>2峺協したストップワゥ`・ノ、ャウF、キ、ソ因コマ、マ。「、ス、ウ、ヌム}コマユZ、ホヌミ、 とする。ストップワ❹ドは參和のとおり。羨圭舌致 餓泣隅短 挫音否叟 涙胎泌採 琥賎転晴 獎獎臥臥 某某性性 陽賎陽晴 熨賎皐晴 序匯化 餓音謹 餓泣隅 匯和徨 際載議 葎焚担 椎氏隅 音誼音 匯氏隅 匯泣泣 椎担劔 峠圭致 噴屈蛍 喘音彭 嗤扮昨 嗤匯爺 囂賑簡 奕担劔 宸氏隅 宸担劔 匯翠隅 傍音協 挫否叟 陳氏隅 音喇誼 旺拝 音駅 音寄 音徽 音砿 音叙 音鋤 音創 音胎 音隼 音泌 音頁 音和 音勣 音喘 音岑 械械 茅掲 茅阻 諌諌 諌脱 貫栖 鑑派 寄古 寄社 寄埃 徽頁 欺侃 欺久 議三 吉噐 叫円 叫中 斤噐 禽扮 謹雛 謹担 謹富 躯矧 遇拝 遇厮 群頁 郡遇 郡屎 掲械 蛍翌 倦夸 孤巌 枯諸 枯酔 糊噐 胡胡 鯉翌 功云 功象 厚紗 巷樫 巷蛍 巷緒 巷幅 絞吭 耕隼 挫消 挫壓 採趨 採泌 採參 坂臓 朔円 朔中 朔爺 朔遊 策隼 鮭岱 札 賜頁 賜宀 自極 自阻 自凪 軸聞 叱窄 叱扮 屡隼 邪泌 邪聞 酒岷 愁愁 繍除 繍勣 書爺 叙叙 勝砿 勝楚 将械 捷隼 梢捷 祥頁 祥勣 肖隼 象傍 心栖 辛嬬 辛頁 辛參 刃協 尋俳 訊殿 趨拝 栖傍 舌致 戦遊 煽栖 箭泌 羨軸 羨震 銭銭 銭脱 銭匚 総翌 遜偬 待裏 瀧貧 短嗤 値隼 苧苧 苧爺 陳隅 陳戦 陳殿 椎隅 椎戦 椎担 椎乂 椎劔 栂採 掴円 掴中 佃祇 坪円 坪中 嬬校 低断 定定 逓辛 甜櫛 甜隼 都円 陶陶 陶派 頭震 如如 認嵐 念円 念中 念遊 牌附 牌返 牌凛 煤叟 畠何 隼遇 隼朔 繁社 挽症 晩晩 泌緩 泌惚 飛採 貧円 貧中 貧遊 貧巓 不裏 封担 噴蛍 噴怎 扮械 扮遇 扮扮 焚担 聞誼 兵嶮 並枠 頁絞 頁參 遍枠 豊脅 乏宴 乏彭 埋隼 昧朔 昧扮 昧返 沫來 侭參 麿断 麿晩 万断 慢断 免飛 蒙艶 蒙仇 蒙吭 爺爺 宥狛 由由 裕裕 融隼 翌円 翌中 翌遊 嵐蛍 嵐匯 吏吏 裏裏 葎彭 隆駅 厘断 輪柵 廉円 廉中 和円 和中 和遊 枠朔 輝 栖 吏 侑雛 倬 冽彭 凛心 勣音 勣担 匆俯 匯稀 匯協 匯慌 匯軟 匯晩 匯遊 匯 匯壅 匯岷 卆隼 厮将 參臼 參朔 參式 參掴 參坪 參念 參貧 參翌 參廉 參和 參嘔 參恣 呟械 咀緩 咀葎 哘輝 哘乎 喟垓 亜兔 喩凪 喇噐 嗤泣 嗤扮 亜售 嗤乂 梓孚 嘔円 嘔中 噐頁 嚥凪 圧圧 圓枠 垳吭 壅眉 壑断 壙扮 壼祥 壼厮 奕担 意阻 奕劔 奚将 宸隅 臼円 宸戦 宸担 臼中 宸乂 宸劔 屎挫 屎派 屎壓 岻臼 岻朔 岻寂 岻掴 岻坪 岻念 岻貧 岻翌 岻廉 岻和 岻嘔 岻嶄 岻恣 峪挫 峪頁 峪勣 峪嗤 崛謹 崛書 崛富 崛噐 嶮噐 幟化 幟愁 廬凛 徭貫 徭失 悳慌 悳麻 忿隼 恍爺 恣中 唖門 默默 糺糺 煌聡 巌伏 砧基 供輝 限依 食屹 江瀚 江狃 江玻 濾濾 込込 在込 柵玻 皐晴 澳澳 限限 奠奠 云埖 胴賭 橡宥 曳熟 穎捷 駅協 駅隼 煉煉 泣隅 勣頁 匯円 匯中 匆勣 匆音 艶心 艶傍 採駅 哀兔 厘忽 軟栖 栖彭 侭僚 氏誼 圭書 圭誼 亜 梓 杏 委 瓜 曳 泳 駅 円 宴 艶 旺 音 嘉 茅 肝 貫 嬉 徽 輝 宜 欺 誼 吉 泣 競 脅 斤 欽 謹 躯 遇 串 櫛 群 倖 効 厚 絞 綱 狛 採 載 在 朔 窄 珊 賜 自 式 軸 叱 屡 寂 繍 出 書 捷 昌 消 祥 食 辛 趨 晴 戦 銭 曾 阻 待 啄 宅 短 挑 暢 陳 椎 痛 椿 嬬 低 艇 逓 都 督 凪 軟 難 拝 肇 抜 蛤 隼 斑 飛 賓 富 封 頁 鞭 褒 豊 麿 万 慢 湊 緬 訳 勇 立 葎 隆 厘 令 齢 劣 枠 丶 俚 兔 冑 匆 匈 厮 厶 參 呀 咀 喘 喇 嗤 嗽 噐 噫 嚠 壞 壅 壓 壙 壟 夸 宸 岻 峪 廖 彈 彭 恠 怎 犇 猩 玳 琅 糊 刃 乂 宣 狎 愛 身 哦 モエ ホケ エヒ キ栖 貧 和 圭 、 。 ‾ ^ ゞ 〃 ( ) ヾ ゝ 仝 々 〆 〇 ‐ / _ ヽ ? ❹ - ゥ` 。ュ 。ョ 。ッ 」ッ . ; , \/ ! 。ェ 0 1 2 3 4 5 6 7 8 9 」ー 」ア 」イ 」ウ 」エ 」オ 」カ 」キ 」ク 」ケ」イ」ョヨリメェカネ、ヒ、ェ、ア、諧Bスモヌ驤ホn、ホモ桐网マ。「拮ラヨ」アホトラヨ⑽ホサ、ヌミミ、ヲ。」、ハ、ェ。「 ゜BセA、キ、ソ1・ミ・、・ネホトラヨ」ィー觸排∧覆稗④ホ因コマ、マ。「、゛、ネ、皃ニ」アユZ、ネ、キ、ニ嘆 、ヲ。」」ウ」ョヨリメェカネモ桐网ヒ、ェ、、、ニエホ、ホユZ、マ殪メ弗ケ、 才 嚥 議
SEE ALSO
TermExtract::Calc_Imp TermExtract::Chasen TermExtract::MeCab TermExtract::BrillsTagger TermExtract::EnglishPlainText TermExtract::ChainesPlainTextUC TermExtract::ICTCLAS TermExtract::JapanesePlainTextEUC TermExtract::JapanesePlainTextSJIS
COPYRIGHT
このプログラムは、翻セゥエァ ヨミエィヤ」ヨセスフハレ、ホヨミホト検餤モテユZウ魑ホ・「・、・ヌ・「 。。、ェ、ヒ。「翻セゥエァ ヌーフ鐇(maeda@lib.u-tokyo.ac.jp)が恬撹したものである。 ストップワゥ`・ノ、ホユ{ユ訷マ。「翻セゥエァ ミ。講コニヨョ(kojima@e.u-tokyo.ac.jp)、ャ ミミ、テ、ソ。」、ハ、ェ。「アセ・ラ・愠ー・鬣爨ホハケモテ、ヒ、ェ、、、ニノ妤ク、ソ、、、ォ、ハ、觸Yケ訷ヒ騅、キ、ニ、箏アキス、ヌ、マ メサヌミリ淙ホ、豆錣覆ぁ/pre>