AdaBoost

AdaBoost は Freund と Schapier によって提案された.
学習データが外れ値などのノイズをあまり含まなければ,高い判別能力を示す.
変種として Discrite AdaBoost, Gentle AdaBoost, Real AdaBoost, Logit AdaBoost, Modest adaBoost などがある.

損失関数

上記の AdaBoost, Logit Boost, MadaBoost は損失関数によって異なるのみ(?)
(http://www.msi.co.jp/vmstudio/materials/files/misc/boosting.ppt を見よ)

AdaBoost に関する解説

  • S-PLUSによる AdaBoost の実装

AdaBoost の説明が分かりやすく,かつ S-PLUS による実装(プログラム)と実験結果を掲載 (Powerpoint)
http://www.msi.co.jp/splus/events/student/2003pdf/sano.pdf

  • RによるAdaBoost の実装

Bagging, AdaBoost, Random Forest の解説とそれらの実装
http://www1.doshisha.ac.jp/~mjin/R/0603_32.pdf

  • 判別分析 : AdaBoost Algorithm

アルゴリズム,欠点などが示されている (Powerpoint)
http://www.iu.a.u-tokyo.ac.jp/lectures/biostatistics/20050426_1.pdf

  • 情報生命科学演習 AdaBoostの実装

単純なデータを用いて AdaBoost の原理を説明している.かなり分かり易い(Powerpoint)
http://mlab.cb.k.u-tokyo.ac.jp/~moris/lecture/cb-exp/AdaBoost.pdf

  • AdaBoost Algorithm の解説

プログラムによる実装(MATLAB ?)
www.geocities.jp/ismstats/eguchi/pdf/adaboost-rev.pdf

  • An applet demonstraing adaBoost

2次元平面上で線形識別器を weak classifier として用いているみたい.
http://www.cse.ucsd.edu/~yfreund/adaboost/

  • AdaBoost(重みの更新などが分かり易い)

http://schubert.cs.shinshu-u.ac.jp/~maruyama/course/learning/2002/pps/boosting.pps

AdaBoost に関する論文

  • Y.Freund, R.Schapire, N.Abe, ブースティング入門,人工知能学会誌, Vol.14, No.5, pp.771-780 (1999)

厳密には論文でなく解説文である.
CiNiiから入手可能.

  • 山田,呉,和田,GAとAdaboostを用いた顔検出,電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol.106, No.469(20070111) pp. 43-48 (2007).
  • 塚本,颯々野,AdaBoostと能動学習を用いたテキスト分類,情報処理学会研究報告. 自然言語処理研究会報告, Vol.2001, No.112(20011120) pp. 81-88 (2001).

対象文書としてReutesr-21578コレクションを用いている

  • R.E.Schapire, The Boosting Approach to Machine Learning : An Overview, MSRI Workshop on Nonlinear Estimation and Classification (2002)

www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/mlc/2002/boosting-schapire-2002.ps
理論が主.

  • 木谷,安村,上原,アンサンブル学習を用いた Concept Drift への適応手法, The 20th Annual Conference of the Japanese Society for Artificial Intelligence, 2006

http://www.jaist.ac.jp/jsai2006/program/pdf/100188.pdf

  • 柳本,ユーザの興味を反映した情報フィルタリングの構築に関する研究,大阪府立大学博士論文

(2006)
http://www.cs.osakafu-u.ac.jp/thesis/yanagimoto_thesis.pdf

  • 平,春野,トランスダクティブ・ブースティング法によるテキスト分類,情報処理学会論文誌,Vol.43, No.6, pp.1843-1851 (2002).

R.E.Schapire, Y.Singer, Boostexter : a boosting-based system for text categorization, Machine Learn, Vol.39(2/3), pp.135-168 (2000).

  • M.Skurichina, L.I.Kuncheva, R.P.W.Duin, Bagging and Boosting for the Nearest Mean Classifier: Effects of Sample Size on Diversity and Accuracy, Springer Berlin / Heidelberg (2002)
  • M.Skurichina, R.P.W.Duin, Boosting in Linear Discriminant Analysis
  • BoosTexter

http://www.cs.princeton.edu/~schapire/boostexter.html

  • LogitBoost

http://citeseer.ist.psu.edu/friedman98additive.html

  • Experiments with a New Boosting Algorithm, Proc. of The 13th Int'l Conf. on Machine Learning, pp.148-156 (1996).

http://citeseer.ist.psu.edu/freund96experiments.html
紙ベースの論文コピーあり.
中身の解説は http://inakoshi.cocolog-nifty.com/booksblog/2007/01/experiments_wit.html を読む方が早い.
最近傍識別器の boosting について触れているが,その目的は「精度向上でなく,識別速度の向上にある」と述べられている.

  • A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting

http://citeseer.ist.psu.edu/89601.htm

実装

  • Rを用いた AdaBoost の実装

http://www.ism.ac.jp/~kawakita/R_jp.html