Главная » Научные ресурсы »

Статистический анализ

Универсальная статистическая диалоговая система STADIA

Развиваемая с 1977 г на кафедре ВНД программная система STADIA-8.0.

 

STADIA.ZIP Скачать инсталлятор свободно распространяемой учебной версии

9.8MB Скачать

• является стандартом де-факто для России: десятки тысяч пользователей во всех областях, включена в Государственный образовательный стандарт.
• содержит исчерпывающий набор самых современных и эффективных методов анализа: описательная статистика, параметрические и непараметрические критерии различия, категориальный, дисперсионный, корреляционный и спектральный анализ, сглаживание, фильтрация, прогнозирование, простая, множественная, пошаговая и нелинейная регрессия, дискриминантный, кластерный и факторный анализ, многомерное шкалирование, методы контроля качества, анализ выживаемости, вычисление и согласие распределений, последовательный анализ, анализ и замена пропущенных значений и т. д.
• включает полный комплект деловой и научной графики: функции, зависимости, распределения, диаграммы рассеяния, многомерные диаграммы, карты, поверхности, вращения, сплайны, прогнозы, гистограммы, столбиковые, башенные и круговые диаграммы, дендрограммы, установка размеров, надписей по осям и под рисунком, графический архив и проч.;
• выполняет разнообразные преобразования данных и вычисления;
• имеет простой и понятный диалог, развитая экранная помощь, совет, словесная интерпретация результатов;
• сопровождается учебными файлами задач и примеров по всем разделам;
• вся необходимая информация по работе с STADIA содержится в ее контекстном экранном справочнике.
• Сопровождается фундаментальным учебным пособием для классического университетского образования Кулаичев А.П. «Методы и средства комплексного анализа данных». Изд. 4-е, перераб. и доп., 512 с.,ил., - М.: ИНФРА-М, 2006-2014, ISBN 5-819-0234-3

Уже давно STADIA стала своеобразным стандартом де-факто в качестве статистического пакета в РФ. Так к 1998 г. только по официальным данным одной государственной программы "Университеты России" пакетом STADIA пользовалось более 120 вузов и университетов России, более 60 научно-исследовательских центров, более 90 государственных, медицинских, промышленных и коммерческих организаций. И это не считая неисчислимого количества незарегистированных пользователей.

В 2009 г. STADIA включена в качестве одного из рекомендуемых программных средств в Государственный образовательный стандарт РФ.

История развития и совершенствования

• 1977 — создание певого прототипа - диалоговой системы СТАТИС на легендарной супер-ЭВМ БЭСМ-6 в режиме коллективного доступа с удаленных терминалов. Несмненно, что СТАТИС (написанная на макроязыке АСТРА, созданного в ИПМ АН СССР В.М.Михелевым) явилась первой в мире диалоговой статистической системой. Она включала описательную статистику, критерии Пирсона, Стьюдента, Фишера, Спирмана, Вилкоксона, хи-квадрат, гистограмму, 1 и 2-факторнаую АNOVA, простую и множественную линейную регрессию, авто и кросс-корреляционные функции и кластерный анализ.

В те времена статистическая обработка данных производилась посредством пакетного вызова процедур из библиотек программ на Фортране, подобных BMDP, IMSL, позднее SAS, а первый диалоговый пакет STATGRAPHICS был выпущен только в середине 80-х. Первая диалоговая версия нынешнего доминатора SPSS была выпущена только в 1992, до этого он существовал только в пакетном варианте, возможности которого по документации 1986 были ограничены следующим: описательная статистика, кросстабуляция, Пирсон, Стьюдент, Фишер, гистограмма, хи-квадрат, Кедалл, Колмогоров-Смирнов, Фридман, знаков, другая вспомогательная и ненужная непараметрика (Манн-Уитни, Вальд-Вольфович, Кохран, медианный, биномиальный, МакНемар), 1 и 2-факторная АNOVA с одной моделью, простая, множественная линейная и пошаговая регрессия.

Напомним также, что БЭСМ-6 была создана в 1965 в ИТМ АН СССР под руководством академика С.А.Лебедева, затем законсервирована госкомиссией на два года по причине использования не перспективной, а уже существующей элементной базы (там посчитали, что вычислительные проекты должны стимулировать, а не тормозить развитие элементной базы), а затем еще на 20 лет она стала ведущей и мощнейшей отечественной ЭВМ (последующий переход на СЭВ-овоские аналоги серии IBM/360 в плане процессорной архитектуры выглядел как огромный шаг назад). Подобное долголетие в мировой истории вычислительной техники является столь же уникальным, как легендарный Дуглас-ДС в авиации.

• 1985 — создание диалоговой графической системы DIASTA для персональных компьютеров с процессорами 6502, Zilog-80 и Motorola-68010 и легендарной OS CP/M. Это была первая в СССР статистическая система для персональных компьютеров, являлась развитием и методическим расширением системы СТАТИС с цветной графикой. Создана в один временной период и независимо от STATGRAPHICS – первым зарубежным статпакетом для ПК.

Напомним, что OS CP/M была разработана в Digital Research под руководством Гари Килдалла и долго была мировым стандартом de facto для всех ПК ведущих тогда фирм Comodore, Acorn, Apple. Когда IBM с большим опозданием в 1980 слепила свой первый примитивный ПК на основе процессора Intel 8088, то обратилась к Г. Килдаллу с предложением переделать . CP/M для i8088. Однако из-за взаимных амбиций переговоры затянулись. Тогда молодой талантливый аналитик Тим Патерсон из мелкой компании Seattle Computer в виде некого издевательства по этому поводу за две недели написал для i8086 CP/M-подобную ОС, которую он в шутку назвал QDOS (Quick and Dirt Operation System). Об этом прослышал бывший однокашник Тима, новый янки Б.Гейтс, который заняв в банке $50000 быстренько купил и сразу же перепродал IBM права на эту ОС уже от своего имени, подкорректировав название на PC-DOS (Disc Operation System) и оставив за собой права на последующие версии системы. Быстрый успех DOS определился демпинговой политикой IBM — она продавалась в 10 раз дешевле аналогов. Именно отсюда мелкая компания Microsoft, ранее промышлявшая примитивными школьными бейсиками, и пошла в гору.

Инструментальным базисом DIASTA и STADIA под CP/M и DOS был изумительный по мощности, компактности, графическим возможностям и быстродействию интерпретатор BBCBASIC Ричарда Рассела (Кембридж) со встроенным ассемблером i8086, в сравнении с которым микрософтовские и все прочие бейсики смотрелись просто как примитивные школярские поделки. Ряд вычислительных процедур был позаимствован из BBC-бейсиковой библиотеки программ MicroStat разработки Ecosoft.Inc. Мы также чрезвычайно признательны молекулярному биологу и талантливому системному аналитику Ивану Алексеевичу Аджубею, за неоценимую помощь в овладении новыми микропроцессорными платформами.

• 1988 — создание первой версии STADIA 1.5 для IBM/PC под DOS. Начальный благословенный импульс к созданию DOS-овской версии дал профессор МГУ Василий Васильевич Налимов, который в одной из наших бесед (где-то в 1987, до этого мы познакомились на почве обсуждения результатов математического исследования Шри-Янтры) восторженно рассказал о виденном им в США статпакете, в котором вычисления производились в диалоговом режиме (не только в вопросно-ответном, но и с диалоговыми меню), гармонично сопровождаясь графическим представлением результатов (вероятно, речь шла о первой версии STAGRAPHICSа).

Напомним, что в то время доминировала обработка данных с использованием мощных библиотек (преимущественно фортрановских) программ типа BMDP, IMSL, SAS. Безусловно, уже система СТАТИС была в полном смысле интерактивной, а DIASTA - к тому же и сопровождалась разнообразной экранной графикой, но диалог в них велся в командном режиме (подобно командным языкам ОС ДИСПАК на БЭСМ-6, CP/M и DOS). Что же касается версии для IBM PC, то она безусловно рано или поздно была бы создана, но авторитетное мнение В.В. Налимова дало мощный стартовый импульс и честолюбивое стремление к совершенству в этом творческом процессе. Ряд вычислительных процедур был позаимствован (преимущественно в регрессионных и многомерных методах) из фортрановской библиотеки IMSL, перевоплощение которых на BBCBASICе из-за глубокой архитектурной несовместности этих языков потребовало значительного упорства. Некоторые оформительские заимствования были и из STATGRAPHICS, которые вскоре стали общепринятыми и стандартными для статпакетов. Напомним также, что в эпоху DOS не было средств визуального программирования, API, объектных библиотек и т.п., поэтому всю графику и диалог от начала до конца приходилось писать на ассемблере, а рисовать на экране не через бейсиковые процедуры или даже функции BIOS, а для повышения быстродействия — непосредственной записью цветовых кодов экранных точек в область видеопамяти ПК. Кроме этого приходилось вести жесткую борьбу за компактность программного кода, чтобы вместе с рабочими массивами уместиться в доступной оперативной памяти (около 560 Кбайт), сводя к минимуму подкачки с диска.

• 1988, сентябрь — заключение первого договора с кооперативом НТТМ в г. Королев на распространение 100 копий STADIA, который через полгода сулил покупку сверхпрестижного в то время шведского оцинкованного автомобиля Вольво (этот договор, как и многие последующие, оказался пустышкой).
• 1989, январь — первая и последняя зарубежная продажа STADIA за $200 в университете г. Коляпур, штат Махараджа в ходе персональной экспедиции в Индию по письменным откликам на математическое исследование Шри-Янтры.
• 1989 — начало массового распространения STADIA 2.0 через СП «Интерквадро» (ведущая тогда в СССР компьютерная фирма, там же началось творческое сотрудничество с Виктором Эвальдовичем Фигурновым и Дмитрием Семеновичем Шмерлингом) и выпуск первой ее документации. Несколько последующих лет STADIA оставалась единственной отечественной статистической системой, монопольно представляемой на первых всесоюзных выставках программного обеспечения SofTool. На одной из выставок произошло знакомство с Алексеем Николаевичем Гусевым, научным сотрудником ф-та психологии МГУ, увлеченным внедрением статистических методов в научные исследования и учебный процесс. Это знакомство быстро перешло в десятилетнее творческое сотрудничество по развитию и совершенствованию пакета STADIA.
• 1991 — создание НПО «Информатика и компьютеры» под руководством В.Э.Фигурнова. Основной доход фирма получала от продажи первых двух изданий бестселлера Фигурнова "IBM для пользователя", STADIA являлась лишь своеобразной интеллектуальной нагрузкой. Несмотря на занятость своей книгой Виктор Эвальдович оказывал неоценимую высокопрофессиональную помощь в совершенствовании документации пакета, демонстрируя потрясающе тщательное и требовательное отношение к качеству печатного текста, и создал редакторскую стилистику, сохранившуюся и в последующих переизданиях.
• 1994 — выпуск последней версии STADIA 5.2 под DOS (тогда мы об этом еще не догадывались).
• 1995 — выпуск первого издания учебника Ю.Н.Тюрина и А.А.Макарова «Статистический анализ данных на компьютере». Мы чрезвычайно признательны уважаемым авторам (в частности — Алексею Алексеевичу Макарову) за моментальную и постоянную духовную поддержку и позиционирование пакета, перспективные предложения, замечания и критику — без конструктивной критики творческий процесс замирает (часто — навсегда).
• 1995 — создание первой версии STADIA 6.0 под Windows 3.11 на Delphi-1.5. Что можно интересного вспомнить про этот период? Месяца два мучительно выбиралась новая инструментальная платформа между различными Visual-ами: си, бейсик, паскаль — выбор пал на последний и, как показала последующая практика, сравнительно удачно. Освоение нового инструмента, перепись вычислительных процедур с бейсика на паскаль, практически заново написание всей графики и диалога, отладка до уровня бета-версии и т.п. заняло около 7 месяцев плотного труда с утра до позднего вечера. Однако уже задолго до этого по поверхностному знакомству с Windows-приложениями закралось подозрение о кардинальной утрате знаний об эргономике и инженерной психологии у нового поколения системных (коммерческих) аналитиков. После этого посчастливилось вдоволь намучиться от повсеместной дезинформации и ошибок в Delphi и ее сателлитах (на запросы о которых «их сиятельство» Borland или вовсе не отвечал или же ссылался на отсутствие разработчиков), проводя мучительные научно-исследовательские эксперименты, от полного отчаяния регулярно строя и перепроверяя абсолютно немыслимые гипотезы (которые часто оправдывались). Эти наблюдения и обобщение собственного профессионального опыта привели к развитию концепции и технологии создания наукоемких эргономических приложений на основе авторского принципа в системной аналитике, опубликованной в изданиях монографии "Методы и средства анализа данных" 1996,97,99, в журнале "Мир ПК" (№ 5, 11-12, 1996, с сокращениями) и др., а сама ситуация (по контрасту с эпохой DOS) была наименована началом эры непознаваемого "Силиконового разума".

Мы признательны руководителям Московского городского научного семинара по системному программированию (на ф-те ВМК МГУ), профессорам МГУ Льву Николаевичу Королеву и Михаилу Романовичу Шура-Бура, под конструктивной критикой которых эти концепции шлифовались в трех наших научных докладах 1993-96, проходивших в обстановке «всеобщей оконной эйфории». Критические статьи об этой эпохе:

1. Кулаичев А.П. Некоторые пробелы в эргономике среды Windows. «Мир ПК», № 5, 1996. 10 с.
2. Кулаичев А.П В пучине непознаваемого Windows. «Компьютерра», №7, 1996. 10 с.
3. Кулаичев А.П. Windows как предмет научного исследования. «Мир ПК», №11-12, 1996. 8 с.
4. Кулаичев А.П. Недостатки в преподавании прикладной статистики. Тезисы международной конференции "Статистическое образование в современном мире", СПб, 1996.3 с.

• 1996, сентябрь — выпуск первого издания научно-методической монографии «Методы и средства анализа данных в среде Windows» (здесь также появились критические замечания к эпохе Windows и прочие философские отступления).
• 1997–2013 — выпуск последующих версий STADIA под Windows 95/98/МЕ/NT/2000/ХР/Vista/7/8/9/10 и 4-х дополненных переизданий монографии. Об этом периоде мало чего можно добавить. Шло расширение системы в отдельных разделах и развитие методологии анализа данных. После знакомства с 32-разрядной средой выявился пренеприятнейший факт - принципиальная несовместимость платформ Windows 98 и NT по графическим процедурам нижнего уровня API и многому другому. Более того, Delphi-32 оказалась несовместимой с Delphi-16 по огромнейшему числу позиций, а многочисленные "баги" и вранье в документации снова потребовали проведения длительных и мучительных научно-исследовательских экспериментов с проверкой всех мыслимых и немыслимых гипотез. Несмотря на все подобные трудности в 2011 г. была создана 32-разрядна версия STADIA 8.0.

История западных универсальных пакетов

• STATGRAPHICS (статистической графический пакет). Первый в мире диалоговый пакет для IBM-РС, долгое время служивший своеобразным эталоном. DOS-версия создана в 1980 Dr. Neil Polhemus, затем начала развивался американской корпорацией Manugistics (до 1.05.1992 называвшейся Scientific Time Sharing Corp.). Самая популярная версия 3.0 была создана в 1988. В 1994 вышла версия для Windows. В настоящее время распространение крайне узкое.
• SPSS (Statistical Package for the Social Sciences, затем Statistical Product and Service Solutions). Первую версию в виде библиотеки программ с командным языком на перфокартах разработали Норман Най, Хедли Халл и Дейл Бент в 1968, затем этот пакет развивался в рамках Чикагского университета. Первое руководство пользователя вышло в 1970 в издательстве McGraw-Hill. С 1975 проект выделился в отдельную компанию SPSS Inc. Первая диалоговая версия для Windows вышла только в 1992. До этого существовала только пакетная версия с командным языком формирования заданий (в пакетном batch-файле на перфокартах). По документации 1986 ее возможности были ограничены следующим: описательная статистика, кросстабуляция, Пирсон, Стьюдент, Фишер, гистограмма, хи-квадрат, Кедалл, Колмогоров-Смирнов, Фридман, знаков, другая вспомогательная и ненужная непараметрика (Манн-Уитни, Вальд-Вольфович, Кохран, медианный, биномиальный, МакНемар), 1 и 2-факторная АNOVA с одной моделью, простая, множественная линейная и пошаговая регрессия. Это существенно уступает диалоговой версии СТАТИС 1977 г. В настоящее время SPSS один из лидеров мирового рынка.
• STATISTICA. Первая диалоговая DOS-версия STATISTICA была создана в 1991, следуя 1986 версии CSS (Complete Statistical System), разработанной в StatSoft. В 1995 была выпущена версия 5.0 для Windows 95/NT и старой версии Windows 3.1. В 2009 была создана 32-битная версия 9.0. В настоящее время STATISTICA второй по объему продаж лидер мирового рынка.
• BMDP (BioMeDical Package) в виде библиотеки программ с командным языком на перфокартах был разработан в 1965 Dr. Wilford Dixon из Калифорнийского университета на базе предыдущей BIMED программы 1960 для биомедицинских приложений. Содержал: simple data description, survival analysis, ANOVA, multivariate analyses, regression analysis, and time series analysis. С 1990 выпускались диалоговая версии для нескольких платформ Windows. Последнее издание учебника вышло в 1992 г.
• IMSL (International Mathematics and Statistics Library) создан в 1970 в виде объемной библиотеки программ на фортране с открытыми исходниками. Исходники высококачествено написанных программ использовались при создании многих позднейших пакетов. Переписан в 1991 на С, последнее обновление вышло в 2010.
• SAS. Первая версия SAS (название дано в 1971) в виде библиотеки программ с командным языком на перфокартах разработана в 1966 Anthony J. Barr в SAS институте из North Carolina State University и развивалась до 1976. В 1985 пакет был переписан на С в диалоговых версиях для DOS и Windows 3.1. Продолжает развиваться и переносится на новые платформы, имеет ограниченное распространение.

версия для печати