Règles de décision de Bayes et méthodes statistiques de discrimination

Revue d'Intelligence Artificielle

Volumn 10, Issue 2-3, 1996, Pages 219-283

  Caraux, Gilles ^a   Lechevallier, Yves ^b  

^a LIRMM   (France)

^b INRIA ROCQUENCOURT   (France)

Author keywords

Bayesian inference; Classification tree; Decision rule; Discriminant analysis; Discriminant function; Statistical inference

Indexed keywords

ERROR PROBABILITY; STATISTICAL METHODS;

BAYES DECISION; BIAS; CLASSIFICATION; CONVERGENCE; DECISION RULE; DISCRIMINANT ANALYSIS; INFERENCE; LEARNING; PRUNING(TREE);

DECISION MAKING;

EID: 0030351647     PISSN: 0992499X     EISSN: None     Source Type: Journal    
DOI: None     Document Type: Article

References (118)

1. AITCHISON J. et AITKEN C.G.G., « Multivariate binary discrimination by the kernel method », Biometrika, 63, 1976, p. 413-420.
2. AITKEN C.G.G., « Kernel methods for the estimation of discrete distribution », J. Statistist.Comput. Simul., 16, 1983, p. 189-200.
3. ALBERT A., Quelques apports nouveaux à l'analyse discriminante, Thèse de doctorat, Faculté des sciences de l'université de Liège, 1978.
4. ALVES D.S. et QUINQUETON J., « Un algorithme rapide de recherche des plus proches voisins », in 4 ème Congrès de reconnaissance des formes et IA, Paris, (1984).
5. Anderson T.W. et Bahadur R.R., « Classification into two multivariate normal distributions with different covariance matrices », Ann. Math. Statist., 33, 1962, p. 420-421.
6. ANDERSON J.A., « Separate sample logistic discrimination », Biometrika, 59, 1972, p. 19-35.
7. ANDERSON J.A., « Logistic discrimination with medical applications », In: T. Cacouillos, eds., Discriminant analysis and applications, Academic Press, 1973, p. 1-15.
8. ANDERSON J.A., « Quadratic logistic discrimination », Biometrika, 62, 1975, p. 149-154.
9. ANDERSON J.A., « Logistic discrimination », In : Krishnaiah and L.N. Kanal, eds., Handbook of statistics, Vol. 2, Classification pattern recognition and reduction of dimensionality. Chapitre 7, North-Holland, 1982, p. 169-191.
10. BAKER R. J. et NELDER J.A., The GUM system, Release 3, Generalized Linear Interactive Modeling, Numerica' algorithms group, 1978.
11. BARNDORFF-NIELSEN O., « Exponential families », In : S. Kotz and N.L. Johnson, eds., Encyclopedia of stastistical sciences, Vol. 2, John Wiley, 1981, p. 587-596.
12. BEALE R. et JACKSON T., Neural computing : an introduction, Adam Hilger, 1990.
13. BERLINET A. et DEVROYE L., « A comparaison of kernel density estimates », Pub. Inst. Stat. Univ. Paris, 38, no3, 1994, p. 3-59.
14. BOUROCHE J. P. et TENENHAUS N., « Quelques méthodes de segmentation », RAIRO, 42, 1970, p. 29-42.
15. BOX G.E.P. et TIAO G.C., Bayesian inference in statistical research, Addison Wesley, 1973.
16. BRAZDIL P.B. et HENERY R.J., « Analysis of results », In : D. Michie, D.J. Spiegelhalter, et C. Taylor, eds., Machine learning, neural and statistical classification, Chapitre 10, Ellis Horwood, 1994, p. 175-212.
17. BREIMAN L., FRIEDMAN J.H., et al., Classification and Regression Trees, Wadsworth, 1984.
18. BREHELIN L., Etude du taux d'erreur de Bayes du problème des formes d'ondes, Mémoire de DEA, Université Montpellier II, 1995.
19. BURSTCHY B. et NIVELLE F., « Un exemple de discrimination, la reconnaissance d'objets par radar », In : G. Celeux, eds., Analyse discriminante sur variables continues, Chapitre 7, INRIA, 1990, p. 101-125.
20. CACOULLOS T. et STYAN G.P.H., « A bibliography of discriminant analysis », In : T. Cacouillos, eds., Discriminant analysis and applications, Academic Press, 1973, p. 375-434.
21. CARLIER A. et GUEGUEN A., « Etudes de cas », In : G. Celeux et J.P. Nakache, eds., Analyse discriminante sur variables qualitatives., Chapitre 9, Polytechnica, 1994, p. 228-253.
22. CELEUX G., « Règles statistiques de décision », In : G. Celeux, eds., Analyse discriminante sur variables continues. Chapitre 2, INRIA, 1990, p. 15-36.
23. CELEUX G., DIDAY E., et al., Classification automatique des données; environnement statistique et informatique, Dunod, 1989.
24. CELEUX G. et LECHEVALLIER Y., « Méthodes de segmentation non-paramétriques », Revue de Statistiques Appliquées, 30, 1982, p. 39-53.
25. CELEUX G. et LECHEVALLIER Y., « Méthodes de segmentation », In : G. Celeux, eds., Analyse discriminante sur variables continues, Chapitre 8, INRIA, 1990, p. 127-147.
26. CELEUX G. et MKHADRIA., « Méthodes dérivées du modèle multinomial », In : G. Celeux et J.P. Nakache, eds., Analyse discriminante sur variables qualitatives, Chapitre 2, Polytechnica, 1994, p. 19-41.
27. CHAMBERS J.M. et HASTIE T.J., Statistical models in S, Chapman & Hall, 1993.
28. CHERKAOI O. et CLEROUX R., « Comparative study of six discriminant analysis procedures for mixtures of variables », in Proceedings of interface conference 1991, Morgan Kaufmann, San Mateo, (1991).
29. CHOU P.A., « Optimal partioning for classification and regression trees », IEEE Trans. Pat. Anal. and Mach. Intel, PAMI 13, 1991, p. 340-354.
30. CHOW C.K. et LIU C.N., « Approximating discrete probability distributions with dependences trees », IEEE Trans. Info. Theory, IT 14, 1968, p. 462-467.
31. CIAMPI A., « Generalized Regression Trees », Computational Statist. and Data Analysis, 12, 1991, p. 57-78.
32. CLARK L.A. et PREGIBON D., « Tree-Based Models », In : J.M. Chambers and T.J. Hastie, eds., Statistical models in S, Chapitre Chapitre 9, Wadsworth, 1992, p. 377-419.
33. COVER T.M. et HART P.E., « Nearest neighbor pattern classification », IEEE Trans. Info. Theory, IT 13, 1967, p. 21-27.
34. COX D.R., « Some procedures associated with the logistic qualitative response curve », In : F.N. David, eds., Research papers in Statistics : Festschrift for J. Neyman, John Wiley, 1966, p. 55-71.
35. DAY N.E. et KERRIDGE D.F., « A general maximum likelihood discriminant », Biometrics, 23, 1967, p. 313-323.
36. de FINETTI B., « La prévision : Ses lois logiques, ses sources subjectives », Annales, 7, no1, 1937, p. 1-68.
37. DELECROIX M., Histogrammes et estimation de la densité, PUF, 1983.
38. DELANNOY C., « Un algorithme rapide de recherche de plus proches voisins », RAIRO Informatique, 14, 1980, p. 275-286.
39. DEVROYE L.P. et WAGNER T.J., « Distribution free consistency results in nonparametric discrimination and regression function estimation », Ann. Statist., 8, 1980, p. 231-239.
40. DEVROYE L.P. et WAGNER T.J., « Nearest neighbor methods in discrimination », In : Krishnaiah and L.N. Kanal, eds., Handbook of statistics, Vol. 2, Classification pattern recognition and reduction of dimensionality, Chapitre 8, North-Holland, 1982, p. 193-197.
41. DIXON W.J., BMDP Statistical Software, Univ. California Press, Berkeley, 1981.
42. DUBUISSON B., Diagnostic et reconnaissance des formes, Hermès, 1990.
43. DUDA R.O. et HART P.E., Pattern classification and scene analysis, John Wiley, 1973.
44. FENG C. et MICHIE D., « Machine learning of rules and trees », In : D. Michie, D. J. Spiegelhalter, et C. Taylor, eds., Machine learning, neural and statistical classification, Chapitre 10, Ellis Horwood series in artificial intelligence, J. Campbell, eds., Ellis Horwood, 1994, p. 175-212.
45. FISHER R.A., Metron, 1, 1921, p. 3-32.
46. FISHER R.A., « The use of multiple measurements in taxonomic problems », Annals of Eugenics, 7, 1936, p. 179-188.
47. FRIEDMAN J. H., « A recursive partitionning decision rule for non-parametric classification », IEEE Trans. on Comp., C 26, no4, 1977, p. 404-408.
48. FRIEDMAN J.H., BENTLEY R., et FINKEL A., « An algorithm for finding nearest neighbors », IEEE Trans. on Comp., C 24, 1975, p. 1000-1006.
49. FUKUNAGA K., Introduction to statistical pattern recognition, Academic press, 1972.
50. FUKUNAGA K. et NARENDRA P.M., « A branch and bound algorithm for computing k-nearest neighbors », IEEE Trans. on Comp., C 24, 1975, p. 750-753.
51. GUEGUEN A., « Arbres de discrimination binaire », In : G. Celeux and J.P. Nakache, eds., Analyse discriminante sur variables qualitatives, Chapitre 7, Polytechnica, 1994, p. 183-208.
52. [GEI82] GEISSER B., « Bayesian discrimination », In : Krishnaiah and L.N. Kanal, eds., Handbook of statistics, Vol. 2, Classification pattern recognition and reduction of dimensionality, Chapitre 4, North-Holland, 1982, p. 101-120.
53. GELFAND S.B., RAVISHANHAR C.S., et DELP E.J., « An iterative growing and pruning algorithm for classification tree design », IEEE Trans. on Comp., C 26, no4, 1991.
54. [GIL72] GILL P. et MURRAY W., « Quasi-Newton methods for unconstrained optimisation », J. Inst. Math. Appl., 9, 1972, p. 91-108.
55. GNANADESIKAN R. et al. (article collectif de PANEL ON DISCRIMINANT ANALYSIS, CLASSIFICATION, AND CLUSTERING), « Discriminant Analysis and Clustering », Statistical Science, 4, no1, 1989, p. 34-69.
56. HABBEMA J.D.F., HERMANS J., et REMME J., « Variable kernel density estimation in discriminant analysis », in Compstat 1978 : Proceedings of Computational Statistics, Physica Verlag, (1978), p. 101-110.
57. HAND D.J., Discrimination and classification, John Wiley, 1981.
58. HAND D.J., Kernel discriminant analysis, Research studies press, 1982.
59. HART P.E., « The condensed nearest neighbor rule », IEEE Trans. Info. Theory, IT 14, 1968, p. 515-516.
60. HATON J.P., BOUZID N., et al., Le raisonnement en intelligence artificielle, InterEditions, 1991.
61. HERTZ J., HROGH A., et PALMER R.G., Introduction to theory of neural computation, Addison Wesley, 1991.
62. HILLS M., « Allocation rules and their error rates », J.Roy. Statist. Soc. Ser. B, 28, 1966, p. 1-31.
63. JOSHI V.M., « Likelihood principle », In : S. Kotz and N.L. Johnson, eds., Encyclopedia of stastistical sciences, Vol. 4, John Wiley, 1981, p. 644-647.
64. KING R.D., FENG C., et SUTHERLAND A., « Statlog : Comparison of classification algorithms on large real-world problems », Applied Artificial Intelligence, 9, 1995, p. 289-333.
65. KLEENE S.C., Logique mathématique, Armand Colin, 1971.
66. LACHENBRUCH P.A., Discriminant analysis, Hafner Press, 1975.
67. LEBART L., « Discrimination through the regularized nearest cluster method », in Computational Statistics, Physica Verlag, (1992), p. 103-108.
68. LEBART L. et SALEM A., Statistique textuelle, Dunod, 1994.
69. LOFTGAARDEN D. et QUESENBERRY C.P., « A nonparametric density function », Ann. Math. Stat., 36, 1965, p. 1049-1051.
70. LOPEZ DE MANTARAS R., « A distance-based attribute selection measure for decision tree induction », Machine Learning, 6, 1991, p. 81-92.
71. MARKS S. et DUNN O.J., « Discriminant functions when covariance matrices are unequal », J.Amer. Statist. Assoc., 69, 1974, p. 555-559.
72. MARDIA K.V., KENT J.T., et BIBBY J.M., Multivariate analysis, Academic press, 1979.
73. MCLACHLAN G.J., Discrimination Analysis and Statistical Pattern Recognition, John Wiley, 1992.
74. MEISEL W.S. et MICHALOPOULOS D.A., « A partitionning algorithm with application in pattern classification and optimization of decision trees », IEEE Trans. on Comp., C 22, 1973, p. 93-103.
75. MICLET L. et DABOUR M., « Approximative fast neighbor recognition », Pattern Recognition Letter, 1, 1983, p. 277-285.
76. MILGRAM M., Reconnaissance des formes : Méthodes numériques et connexionnistes, Armand Colin, 1993.
77. MINGERS J., « Rule induction with statistical data », J. Oper. R es. Society, 38, 1987, p. 39-47.
78. MINGERS J., « An empirical comparison of selection measures for decision-tree induction », Machine Learning, 3, 1989, p. 319-342.
79. MKHADRI A., « Discrimination binaire non-paramétrique, méthodes d'estimation du paramètre de lissage », Revue de Statistiques appliquées, 39, 1991, p. 37-55.
80. MORGAN J.N. et SONQUIST J.A., « Problems in the analysis of survey data and a proposal », J. Amer. Statist. Assoc., 58 , 1963, p. 415-435.
81. NAKACHE J.P. et TURLOT J.C., « Discrimination logistique », In : G. Celeux and J.P. Nakache, eds., Analyse discriminante sur variables qualitatives, Chapitre 3, Polytechnica, 1994, p. 43-85.
82. NELDER J.A. et WEDDERBURN R.W.M., « Generalized linear models », J. R. Statis. Soc., A 135, 1972, p. 370-384.
83. PARZEN E., « On estimation of a probability density function and mode », Ann. Math. Stat., 33, 1962, p. 1065-1076.
84. PAYNE H.J. et MEISEL W.S., « An Algorithm for Constructing Optimal Binary Decision Trees », IEEE Trans. on Comp., C 26, no9, 1977, p. 905-916.
85. PENG Y. et REGGIA J., « A probabilistic causal model for diagnostic problem solving », IEEE Trans. on systems Mass and Cybernetics, 19, no2, 1987.
86. PRESS S.J., Bayesian Statistics : Principles, models, and applications, John Wiley, 1989.
87. QUILAN J.R., « Induction of decision trees », Machine Learning, 1, 1986, p. 81-106.
88. RAMASUBRAMIAN V. et Paliwal K.K., « An efficient approximation-elimination algorithm for fast nearest-neighbor search based on spherical distance coordinate formulation », Pattern Recognition Letter, 13, 1992, p. 471-480.
89. RAO C.R., Linear statistical inference and its applications, John Wiley, 1965.
90. REMME J., HABBEMA J.D.F., et HERMANS J., « A simulative comparison of lenear, quadratic and kernel discrimination », Journal of Statistics and Computer Simulation, 11, 1980, p. 87-106.
91. RIFFENBURGH R.H. et CLUNIES-ROSS C.W., « Linear discriminant analysis », Pacific Sci., 14, 1960, p. 251-256.
92. ROBERT C., L'analyse statistique bayésienne, Economica, 1992.
93. ROUNDS E.M., « A combined nonparametric approach to feature selection and binary decision tree design », Pattern Recognition, 12, 1980, p. 313-317.
94. SAPORTA G., Liaisons entre plusieurs ensembles de variables et codage de données qualitatives, Thèse de 3ème cycle, Université Paris VI, 1975.
95. SAPORTA G., Probabilités, analyse des données et statistique, Technip, 1990.
96. SAS INSTITUTE, INC., SAS User's Guide : Statistics, Version : 6.03, SAS Institute Inc, Cary, N.C., 1990.
97. SCHALKOFF R., Pattern recognition : Statistical, Structural and neural approaches, John Wiley, 1992.
98. SCOTT D.W., Multivariate density estimation, John Wiley, 1992.
99. SETHI I.K. et Chatterjee B., « Efficient decision trees design for discrete variable pattern recognition problems », Pattern Recognition, 9, 1977, p. 197-206.
100. SHAVLIK J.W., Mooney R.J., et Towell G.G., « Symbolic and Neural Learning Algorithms : An Experimental Comparison », Machine Learning, 6, 1991, p. 1111-1143.
101. SILVERMAN B.W., « Choosing the window width when estimating a density », Biometrika, 65, 1978, p. 45-54.
102. SILVERMAN B.W., Density estimation for statistics and data analysis, Chapman and Hall, 1986.
103. STATISTICAL SCIENCES, S-Plus for windows, Version : 3.2, MathSoft Inc., Seattle, 1994.
104. STONE C.J., « Consistent nonparametric regression », Ann. Statist., 5, 1977, p. 595-645.
105. SYMENU, « Méthodes symboliques-numériques de discrimination », in Actes des 5èmes Journées nationales du PRCIA, Teknea, (1995), p. 29-73.
106. THERRIEN C.W., Decision Estimation anc classification : An introduction to pattern Recognition and related Topics, John Wiley, 1989.
107. TITTERINGTON D.M., MURRAY G.D., et al., « Comparison of discrimination techniques applied to a complex data set of head injured patients », Journal of the Royal Statistical Society, 144, 1981, p. 145-175.
108. TOMASSONE R., Danzart M., et al., Discrimination et classement, Masson, 1988.
109. TUTZ G., « An alternative choice of smoothing for kernel-based density estimates in discrete discrimination analysis », Biometrika, 75, 1986, p. 405-411.
110. UTGOFF P.E., « Incremental induction of decision trees », Machine Learning, 4, 1989, p. 161-186.
111. VIDAL E., « An algorithm for finding nearest-neighbours in approximately constant average time complexity », Pattern Recognition Letter, 4, 1986, p. 145-157.
112. VON NEUMANN J. et MORGENSTERN O., Theory of games and economic behavior, 2 ed, Princeton University Press, 1974.
113. WAGNER T.J., « Nonparametric estimates of probabilities », IEEE Trans. on Inf. Theory., IT 21, 1975, p. 438-440.
114. WALD A., Statistical decision functions, John Wiley, 1950.
115. WONNACOTT T.H. et WONNACOTT R.J., Statistique, 4ème ed, Economica, 1991. (Traduction francaise de l'ouvrage Statistique paru en 1990 chez John Wiley).
116. WONNACOTT T.H. et WONNACOTT R.J., Statistic, Economica, 1991.
117. WEISBUCH G., Dynamique des systèmes complexes : une introduction aux réseaux d'automates, InterEdition/Edition du CNRS, 1989.
118. WILSON D.L., « Asymptotic properties of nearest neighbor rules using edited data », IEEE Trans. on Systems Man and Cybernetics, SMC 2, no3, 1972, p. 408-421.