Канонические и граничные представления на сфере с действием обобщенной группы Лоренца тема автореферата и диссертации по математике, 01.01.01 ВАК РФ

На правах рукописи

Артемов Анатолий Анатольевич , .

КАНОНИЧЕСКИЕ И ГРАНИТНЫЕ / ПРЕДСТАВЛЕНИЯ НА СФЕР/Е С ДЕЙСТВИЕМ ОБОБЩЕННОЙ ГРУППЫ ЛОРЕНЦА

01.01.01 — вещественный, комплексный и функциональный анализ

Автореферат диссертации на соискание учёной степени доктора физико-математических наук

1 2 МАЙ 2011

Москва — 2011 год

4845969

Работа выполнена на кафедре математического анализа Табовского государственного университета имени Г. Р. Державина

Научный консультант доктор физико-математических наук, профессор В. Ф. Молчанов

Официальные оппоненты доктор физико-математических наук, профессор P.C. Исмагилов, профессор МГТУ им. Н.Э.Баумана

доктор физико-математических наук, профессор В.- Б.К. Рогов,

профессор МГУ ПС (МИИТ) доктор физико-математических наук, профессор С.С. Платонов, профессор Петрозаводского ГУ

Ведущая организация Московский государственный университет им. М. В. Ломоносова

Защита состоится 7 июня 2011 года в 16 час. 30 мин. на заседании Совета по защите докторских и кандидатских диссертаций Д 212.203.27 при Российском университете дружбы народов по адресу: 117198 г. Москва, ул. Орджоникидзе, 3, ауд. 495".

С диссертацией можно ознакомиться в научной библиотеке Российского университета дружбы народов по адресу: 117198 г. Москва, ул. Миклухо-Маклая, 6.

Автореферат разослан "26" апреля 2011 года

Ученый секретарь

Совета по защите

докторских и кандидатских диссертаций

кандидат физико-математических наук,

доцент

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы исследования. Канонические представления на эрмитовых симметрических пространствах G/K были введены в работах Ф.А.Березина1 и А.М.Вершика, И.М.Гельфанда, М.И.Граева2 - для нужд квантования и квантовой теории поля. Эти представления действуют сдвигами в функциях на G/K и являются унитарными относительно некоторого нелокального скалярного произведения, теперь называемого формой Березина. Они являются деформациями квазирегулярного представления группы G, действующего сдвигами в пространстве L2 на G/K (ядро скалярного произведения в L? есть дельта-функция, это - локальное скалярное произведение). Разложение квазирегулярного представления на однородном пространстве на неприводимые составляющие есть основная задача абстрактного (некоммутативного) гармонического анализа. Появление нелокального скалярного произведения делает теорию (некоммутативный гармонический анализ) значительно более богатой и интересной - как для самой математики, так и для ее приложений.

Изучение канонических представлений на эрмитовых симметрических пространствах G/K стало в последнее время привлекательной и популярной задачей для математиков из многих стран: Г.ван Дейк3, С.Хилле4 (Нидерланды), А.Унтерберже5, М.Певзнер6, А.Паскуале7 (Франция), Т.Номура 8, Т.Кобаяси (Япо-

1 Веречии Ф. А. Квантование в комплексных симметрических пространствах // Изв. Акад. Наук СССР, сер. матсм., 1975, том 39, Ji» 2, 363-402.

2Вершик A.M., Гельфанд И.М., Граев М.И. Представления группы SL(2,R), где R - кольцо функций // Успехи матем. наук, 1973, том 28, № 5, 83-128.

3Dijk G. van. Canonical representations // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 1997, Т. 2, вып. 4, 350-366 и др.

^Dijk G. van, Hille S. Canonical representations related to hyperbolic spaces // J. Funct. Anal., 1997, vol. 147, 109-139.

5Unterberger A., Upmeier H. The Berezin transform and invariant differential operators // Comm. Math. Phys., 1994, vol 164, No. 3, 563-597.

6Dijk G. van, Pevzner M. Berezin kernels of tube domains // J. Func. Anal., 2001, vol. 181, 189-208.

7Dijk G. van, Pasquale A. Canonical representations of Sp(l,n) accociated with representations of Sp( 1) // Commun. Math. Phys., 1999, vol. 202, 651-667 и др.

8Nomura T. Berezin transforms and group representations // J. Lie Theory, 1998, vol. 8, 433-440 и др.

ния), Г.Чжанг9 (Швеция), Б.Орстед (Дания), Я.Петре10 (Финляндия), Дж.Арази (Израиль), Г.Упмайер6 (Германия), М.Энглис11 (Чехия), В.Ф.Молчанов12, Ю.А.Неретин13 (Россия) и другие.

Новый подход к этому понятию канонического представления предлагается В.Ф.Молчановым12'14. Основная идея состоит в расширении этого понятия и распространении его с класса эрмитовых симметрических пространств G/K, рассматривавшегося ранее, на другие классы симметрических полупростых пространств G/H, используя для этого понятия надгруппы.

При этом оказывается естественным отказаться от слишком стеснительного условия унитарности, нужно позволить каноническим представлениям действовать в достаточно широких пространствах функций и даже более того - в пространствах сечений линейных расслоений, в частности, в пространствах обобщенных функций. Эти пространства не обязательно гильбертовы (или банаховы). Более естественной для такой цели является структура ядерного пространства. Кроме того, естественным является расширение рамок для изучения гармонического анализа: теория должна включать действие группы G не только на ее однородных пространствах, но и на многообразиях с нетранзитивным действием группы G. В качестве таких многообразий мы берем флаговые пространства надгрупп G.

Этот подход состоит в следующем. Пусть G - полупростая группа Ли и G - надгруппа для G, это означает, что G есть подгруппа группы G и эта подгруппа - сферическая, т. е. выделяется из G некоторой инволюцией. Пусть Р - максимальная параболическая подгруппа группы G, пусть R\, АбС, - серия представлений группы G, индуци-

9Zhang G. Berezin transform on line bundles over bounded symmetric domains // J. Lie Theory, 2000, vol. 10, 111-126.

10Peetre J. The Berezin transform and Ha-plitz operators // J. Operator Theory, 1990, vol. 24, 165-186.

nEnglis M. Invariant operators and the Berezin transform on Cartan domains // Math. Nachr., 1998, vol. 195, 61-75 и др.

12Молчанов В.Ф. Канонические представления на двуполостных гиперболоидах // Записки научных семинаров ПОМИ, 2006, том 331, 91-124 и др.

13Neretin Yu.A. Boundary values of holomorphic functions and spectra of some unitary representations // Вестник Тамбовского ун-та. Серия: Естеств. и техн. науки, 1997, том 2, вып. 4, 386-397 и др.

14Молчанов В.Ф., Артемов A.A., Грошева Л.И. Канонические и граничные представления // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 6, ч. 3, 1367-1425. и др.

рованиых характерами (одномерными представлениями) подгруппы Р. Представления R\ могут зависеть еще от некоторых дискретных параметров, сейчас мы их не пишем. Как правило, представления R\ неприводимы. Они действуют в функциях на некотором компактном многообразии Г2 (пространстве флагов для надгруппы G).

Обозначим через R\ ограничения представлений R\ на группу G:

Их = R\

Мы называем эти представления R\ каноническими представлениями группы G. Они действуют в функциях на П.

Вообще говоря, многообразие П не является однородным пространством группы G, эта группа имеет несколько орбит на П. Открытые G-орбиты являются полупростыми симметрическими пространствами G/Hi. Подгруппы Hi получаются как пересечения Hi=G П 9~lPgu где - некоторые элементы из G. Эти подгруппы могут оказаться неизоморфными. Многообразие О есть замыкание объединения открытых С-орбит. __

Серия представлений R\ обладает сплетающим оператором Ау. он сплетает представления со значениями параметра Л и A*=iV—А, где N - некоторое число, зависящее от ÎÎ. Композиция этого оператора и инволюции, выделяющей группу G в G, порождает некоторый оператор Q\, который играет важную роль во всей теории. Мы называем этот оператор Q\ преобразованием Березина. Он сплетает канонические представления с параметрами Л и Л*.

Наряду с указанным понятием канонического представления можно рассматривать несколько другую его версию (более раннюю): ограничение канонических представлений в первом смысле на какую-нибудь одну G-орбиту G/H в Q. Оба варианта должны быть предметом изучения. Но первый из них приводит к более естественной и прозрачной теории. Например, в первом варианте легко написать оператор, обратный к преобразованию Березина Q\, это -оператор Q\-, а во втором - это трудная задача.

Граничные представления, порождаемые каноническими представлениями R\, связаны с границами (7-орбит G/Hi, эти границы состоят из G-орбит меньшей размерности. Граничные представления распадаются на два типа: представления одного типа действуют в обобщенных функциях, сосредоточенных на объединении S границ,

представления другого типа действуют в струях, трансверсальных к S (в коэффициентах рядов Тейлора по степеням "расстояния" до границы). Эти два типа двойственны друг другу. Появление граничных представлений связано как раз с широкой трактовкой понятия канонического представления. Граничные представления интересны как сами по себе (вообще, изучение представлений в обобщенных функциях, сосредоточенных на подмногообразиях, - одна из самых "горячих тем" и интригующих задач в некоммутативном гармоническом анализе), так и с точки зрения разложения канонических представлений, они "склеивают" представления на отдельных орбитах G/Hi.

Квантование в духе Березина на пара^эрмитовых симметрических пространствах G/H тесно связано с каноническими представлениями.15 Здесь роль переполненной системы играет ядро (функция) сплетающего оператора для представлений группы G максимально вырожденных серий. С одной стороны, преобразование Березина переводит контравариантные символы в ковариантные, с другой - его ядро (функция) дает умножение в алгебре ковариантных символов.

Основными задачами развиваемой теории являются следующие:

а) разложить канонические представления на неприводимые составляющие (тот факт, что канонические представления не обязательно унитарны, вносит особые трудности в эту задачу и предъявляет особые требования к построению теории);

б) найти дискретные составляющие канонических представлений, эквивалентные частям граничных представлений;

в) разложить граничные представления (решение этой задачи тесно связано с мероморфной структурой преобразований Пуассона и Фурье, ассоциированных с каноническими представлениями);

г) разложить преобразование Березина (основной объект в теории квантования) по операторам Лапласа;

д) найти асимптотику преобразования Березина, когда комплексный параметр, нумерующий канонические представления, стремится к бесконечности, это включает в себя отыскание принципа соответствия из теории квантования по Березину, заметим, что указанный параметр тесно связан с "постоянной Планка", таким образом, в те-

15Fujita Е., Nomura Т. Spectral decompositions of Berezin transformations on Cn related to the natural U(n)-action // J. Math. Kyoto Univ., 1996, vol. 36, 877-888.

орию включается постоянная Планка, принимающая комплексные значения;

Однородные пространства С/Н, для которых ставятся сформулированные задачи, это - симметрические полупростые пространства. Такие пространства образуют обширный и крайне важный класс (как для математики, так и для приложений - в космологии, квантовой теории, теории относительности и т. д.) однородных пространств.

Подкласс римановых симметрических пространств (здесь инвариантная метрика положительно определена) более прост в изучении. При переходе от римановых пространств к другому подклассу - псевдоримановых симметрических пространств (здесь инвариантная метрика не является знакоопределенной) трудности в изучении гармонического анализа резко возрастают.

Среди всех симметрических полупростых пространств (7/Я (как римановых, так и псевдо-римановых) выделяется подкласс симплек-тических симметрических пространств. Именно на пространствах этого класса должно строиться квантование в смысле Березина.

Помимо симплектичееких симметрических пространств чрезвычайно важный класс образуют гиперболические пространства - вещественные (гиперболоиды), комплексные, кватернионные и октав-ное:

ЗОо(р, д)/8О0(р, <?-1),

8и(р,9)/Б(и(р,9-1) х и(1)),

8р(р,д)/8р(р,д-1) х 8р(1),

•^4,-го/8рт(9).

Именно вещественные гиперболоиды служат открытыми (7-орбитами на многообразии П в нашей работе.

Цель исследования. Данная работа посвящена решению важных задач некоммутативного гармонического анализа, а именно, развитию теории канонических представлений на многообразиях. В работе изучаются канонические и граничные представления на сфере О, с действием обобщенной группы Лоренца для двух вариантов над-группы, следуя расширенному трактованию, см. выше. В этом случае сфера не является однородным пространством, действие группы не транзитивно, представления не унитарны.

Основной результат работы состоит в разложении канонических

и граничных представлений на сфере П для обоих вариантов по неприводимым представлениям, связанным с конусом, включающий формулу обращения и формулу разложения формы Березина. В работе содержится и ряд других результатов, связанных со сферическими функциями, "смешанными" сферическими функциями, сплетающими операторами, преобразованиями Фурье и Пуассона, ме-роморфной структурой этих преобразований, асимптотикой преобразований Пуассона, связанных с каноническими представлениями, асимптотикой преобразования Березина, гармоническим анализом на паре гиперболоидов, вычислением "собственных чисел" преобразования Березина и др.

Методы исследования. Мы используем как достаточно традиционные современные методы математических разделов, связанных с поставленными задачами (аппарат теории представлений групп, ограничение на максимальную компактную подгруппу, разложение в ряды Фурье, связь различных базисов в изучаемых пространствах, действие некоторых операторов Ли, спектральные разложения для оператора Лежандра на различных интервалах, инструментарий спецфункций, ...), так и новые идеи, конструкции и методы (понятие канонического представления в широком смысле (не обязательно унитарного) для симметрических пространств и для С?-пространств, в том числе связанного с линейным расслоением, разложение канонических представлений на неприводимые представления, сферические функции на псевдо-римановых симметрических пространствах, сплетающие операторы, композиция преобразования Березина с другими преобразованиями, вычисление "собственных чисел" преобразования Березина, метод аналитического продолжения по размерности пространства, граничные представления, связь мероморфной структуры преобразований Пуассона и Фурье с разложением граничных представлений, граничные операторы, использование полного асимптотического разложения преобразования Пуассона, изучение представлений в обобщенных фуцкциях, сосредоточенных на подмногообразиях, новая форма разложения преобразования Березина по операторам Лапласа и др.)

Научная новизна. Сформулируем основные результаты работы, вперые полученные автором и выносимые на защиту.

Как уже было сказано выше, основной результат работы состоит

в разложении канонических представлений группы О = 80о(1,п-1) на сфере О, для обоих вариантов (А) и (В) по неприводимым представлениям Та, (ТбС, группы б, связанным с конусом, - результат под номером 1 в списке, следующем ниже. Этот результат получен с помощью некоторых конструкций, методов и вычислений, составляющих результаты с номерами 2-15. Многие из них представляют и самостоятельный интерес.

1. Разложение канонических представлений Н\и, АбС, 1>=0,1, обобщенной группы Лоренца <2=80о(1,п-1) на неприводимые составляющие - с действием группы С? на единичной сфере П в пространстве Кп, порожденным надгруппой б, для двух вариантов над-группы: (А) <5=8Ь(п,К), (В) ¿7=8О0(1,п).

2. Разложение граничных представлений, порожденных каноническими представлениями, группы (7 для обоих вариантов (А) и (В).

3. Определение (интегральное выражение) операторов, сплетающих канонические представления и представления Та, связанные с конусом (преобразования Пуассона и преобразования Фурье

4. Исследование мероморфной структуры преобразований Пуассона и Фурье как функций от параметра а представлений, связанных с конусом, при фиксированных значениях параметров А, и канонических представлений (нахождение полюсов, вычетов и т. д.).

5. Описание операторов, сплетающих граничные представления и представления, связанные с конусом ("граничных" операторов

и Ьа.ш), они появляются как вычеты преобразований Пуассона и Фурье.

6. Вычисление композиций преобразований Пуассона и Фурье и преобразования Березина (оператора, сплетающего канонические представления). Это - вычисление своего рода "собственных чисел" преобразования Березина (в случае (А) - это матрица второго порядка).

7. Вычисление композиций преобразования Березина и граничных операторов.

8. Описание частей граничных представлений, входящих в разложение канонических представлений: построение операторов, сплетающих канонические представления и неприводимые составляющие граничных представлений (операторы 7гд^1т и Пд11Лт), описание их

свойств (соотношения проектирования, соотношения ортогональности).

9. Нахождение асимптотики преобразования Пуассона на границе. Здесь получено разложение в ряд по степеням "расстояния до границы" преобразования Пуассона от /Г-финитных функций, а также асимптотическое разложение для произвольных, не обязательно К-финитных, функций.

10. Разложение форм Березина на гиперболоидах и парах гиперболоидов. В частности, это дает другое, независимое, вычисление "собственных чисел" преобразования Березина.

11. Явная формула для полного асимптотического разложения преобразования Березина в терминах оператора Лапласа-Бельтрами на однополостном гиперболоиде при А —> —оо. Первые два члена асимптотики дают аналог принципа соответствия из квантования.

12. Определение и вычисление в явном виде "смешанных" сферических функций. С их помощью делается разложение формы Березина на паре гиперболоидов.

13. Построение гармонического анализа на паре гиперболоидов.

14. Разложение функции Березина для пары гиперболоидов по смешанным сферическим функциям. Это делается на основе спектрального разложения оператора Лежандра на мнимой оси и с помощью аналитического продолжения по размерности пространства.

15. Явное выражение друг через друга различных базисов в пространстве обобщенных функций, сосредоточенных на границе.

Теоретическая и практическая значимость. Диссертация носит теоретический характер. Ее результаты могут найти применение в других областях функционального анализа и теоретической физике, а также в учебном процессе: при постановке спецкурсов, выполнении курсовых, дипломных работ и других диссертационных исследований. Идеи, конструкции, методы и вычисления, содержащиеся в диссертации, представляют самостоятельный интерес. Они могут быть использованы при изучении канонических и граничных представлений и связанных с ними вопросов на других многообразиях, а также применены при квантовании по Березину в достаточно более общей ситуации.

Апробация работы. Основные положения диссертации были представлены в докладах на следующих международных и общероссийских научных конгрессах и конференциям.

- Ежегодная общероссийская научная конференция "Державин-ские чтения", 1994-20И, Тамбов;

- Международная конференция "Современные физико-математические и информационные методы в естествознании, технике и гуманитарных науках", 2010, Тамбов;

- Международная конференция "Некоммутативный гармонический анализ, теория представлений групп и квантование", 2009, Тамбов;

- Международная конференция "Колмогоровские чтения. Общие проблемы управления и их приложения", 200.9, Тамбов;

- Международная конференция "Гармонический анализ на однородных пространствах и квантование", 2008, Тамбов;

- Международная конференция "Harmonie Analysis on Homogeneous Spaces and Quantization", 2008, Тамбара, Япония;

- Международная конференция "Современная математика и математическое образование, проблемы истории и философии математики", 2008, Тамбов;

- Международная конференция "Harmonie Analysis on Homogeneous Spaces and Quantization", 2008, Фукуока, Япония;

- Международная научная конференция "Гармонический анализ на однородных пространствах и квантование", 2007, Тамбов;

- Международный Конгресс Математиков (ICM), 2006, Мадрид, Испания;

- Международная конференция "Гармонический анализ на однородных пространствах, представления групп Ли и квантование", 2005, Тамбов;

- Международная научно практическая конференция "Фундаментальные и прикладные исследования в системе образования", 2003, Тамбов;

- Европейский Математический Конгресс (ЕСМ), 2000, Барселона, Испания;

- Летняя Школа "Алгебры Ивахори-Хекке и теория представлений", 1999, Martina-Franca, Италия;

- Европейская Школа по теории групп, 1998, Лейден, Нидерланды;

- Международная Школа-семинар "Гармонический анализ на однородных пространствах", 1996, Тамбов;

- Европейская Школа по теории групп, 1996, ВеПп^ев, Германия;

- Международная конференция "Группы в анализе и геометрии", 1995, Омск;

- Конференция "Классическая и квантовая геометрия однородных пространств", 1994, Москва;

- Летняя Школа "Гармонический анализ и геометрия", 1994, Тучно, Польша;

- Европейская Школа по теории групп, 1993, Тренто, Италия;

а также на следующих научных семинарах:

- Науный семинар по функциональному анализу профессора В.Ф.Молчанова (ТГУ им. Г.Р.Державина, Тамбов);

- Научный семинар по теории представлений групп профессора Д.П.Желобенко (РУДН, Москва);

- Научный семинар по общим проблемам управления и гармоническому анализу профессора В.М.Тихомирова (МГУ им. М.В.Ломоносова, Москва);

- Научный семинар по теории функций и функциональному анализу под руководством чл.-корр. РАН, профессора В.Д.Степанова (РУДН. Москва).

Публикации. Основные результаты диссертации опубликованы в 21 работах, список которых приведен в конце реферата. В их числе 13 работ из действующего Перечня ВАК, 2 монографии, 6 материалов международных конференций, включая тезисы Международного Конгресса Математиков (ЮМ), 2006, Мадрид, и Европейского Математического Конгресса (ЕСМ), 2000, Барселона.

Из совместных работ [11, 13, 16] в диссертации использованы только результаты автора.

Структура И объем диссертации. Диссертация состоит из введения и 35 параграфов, объединенных в семь глав:

Глава I. Представления обобщенной группы Лоренца, связанные с конусом

Глава II. Гармонический анализ на однополостном гиперболоиде

Глава III. Гармонический анализ на пространстве Лобачевского

Глава IV. Форма Березина на гиперболоидах с надгруппой SL(n,R)

Глава V. Максимально вырожденные серии представлений группы SL(n, R)

Глава VI. Канонические и граничные представления на сфере с надгруппой SL(n, Е)

Глава VII. Канонические и граничные представления на сфере с надгруппой SOo(l,n)

Нумерация формул и теорем (лемм) в работе единая. Первый символ означает номер параграфа, второй - номер формулы или теоремы.

Список литературы, включенной в диссертацию, содержит 61 наименование.

Полный объем диссертации (с оглавлением) 170 страниц, набранных в ТЕХ-е 12 шрифтом.

Благодарности. Автор выражает глубокую благодарность профессору В.Ф.Молчанову за внимание к работе, заинтересованное и плодотворное обсуждение по существу исследования.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Мы проводим изложенную выше программу для обобщенной группы Лоренца (псевдоортогоналыюй группы) G = SOo(l,n-l), действующей на единичной сфере ÍÍ в пространстве Кп. Мы рассматриваем два варианта действия группы G на сфере П. Они связаны с двумя вариантами надгруппы G.

Мы будем считать, что группы действуют в пространствах и на многообразиях справа: х >—> хд, в соответствии с этим мы будем записывать векторы в виде строк.

Группа G - это связная группа линейных преобразований пространства Rn, сохраняющих билинейную форму

[ж, у] = —х\у\ + х2у2 + ... + хпуп.

Ее орбиты в Rn - это однополостные гиперболоиды [ж, х]=с, с>0, полы двуполостных гиперболоидов [х,х\=с, с<0, две полы конуса [ж, ж]=0, Ху^О, и начало координат х=0.

Первый вариант - вариант (А) - состоит в том, что в качестве G мы берем специальную линейную группу SL(n, R). На пространстве R" она действует линейно: х хд . Это линейное действие на Rn дает действие и ид/\ид\ на единичной сфере П : |и|=1 (транзитивное) с помощью центрального проектирования х <—> х/\х\. Здесь через \х\ обозначается евклидова норма.

Соответствующее действие и н-> ид/\ид\ группы G на fi имеет 5 орбит. Это - три открытые орбиты: северная полярная шапка : [и,и}<0, и\>1/\/2, южная полярная шапка : [u,u]<0, U\< — l/\/2 и сферический пояс П+: [u,u]>0, они отвечают двум иолам \х,х)=-1, Xi^l, и У~: [х,ar]=—1, arj^-l, двуполостного гиперболоида [х,х}=-1 и однополостному гиперболоиду X: [х, ж]=+1, соответственно. Еще имеется две орбиты размерности п—2 (сферы): Пц : [u, и]=0, Ui = l/\/2, Пц : [и,ы]=0, щ=—1/\/2, находящиеся между открытыми; они отвечают двум полам конуса [ж, х]=0. Обозначим через и П0 объединение полярных шапок и орбит размерности п—2, соответственно.

Таким образом, сфера Í1 получается "склейкой" двуполостного гиперболоида и однополостного гиперболоида по их границам ("бесконечностям").

Многообразие есть пространство Лобачевского размерности п—1. Однополостный гиперболоид X иногда называют мнимым пространством Лобачевского.

Пусть у° = (1,0,..., 0) и х° = (0, ...,0,1) - "начальные" точки многообразий У+ и X. Стационарные подгруппы этих точек в (3 - это соответственно подгруппы К=80(п-1) и Я=80о(1,га-2). Первая га них компактна, вторая - некомпактна, стало быть - ргшаново пространство, а X - псевдориманово пространство.

Второй вариант - вариант (В) - состоит в том, что в качестве надгруппы С мы берем обобщенную группу Лоренца большей размерности, а именно, группу 80о(1,п). Мы расширяем пространство ¡5" до пространства Кп+1, добавляя координату хп+х, и рассматриваем в К"4'1 билинейную форму

[[ж, у]] = ~ХПЛ +Х2У2 + ... + ХпУп+ Хп+1Уп+1-

Сфера Г2 есть сечение конуса [[ж. х]]=0 плоскостью £1=1. Надгруппа б действует линейно в Еп+1, она сохраняет конус [[я, ж]]=0 и действует транзитивно на каждой из его двух пол ж^О и 21 <0, на сечении Г2 она действует с помощью проектирования х х/х\, это действие транзитивно. Группа С вкладывается в надгруппу б как подгруппа, сохраняющая координату хп+\. Соответствующее действие группы С7 на сфере О, имеет 3 орбиты. Это две открытые орбиты - полусферы яп+1>0 и жп+1 <0, и орбита меньшей размерности - экватор

Яп+1=0.

Таким образом, сфера 17 получается "склеиванием" двух пол двуполостного гиперболоида [х, х}~—1 по их границам ("бесконечностям").

Основной результат работы состоит в разложении канонических представлений группы О = 80о(1,п-1) на сфере П для обоих вариантов (А) и (В) по неприводимым представлениям группы С, связанным с конусом.

Представления группы б, связанные с конусом. Напомним некоторый материал об этих представлениях, см. например16'17'18.

16Виленкин Н.Я. Специальные функции и теория представлений групп. М.: Наука, 1965.

17Желобенко Д.П. О бесконечно дифференцируемых векторах в теории представлений // Вестник МГУ. Сер. матем., мех., 1965, № 1, 3-10.

18Молчанов В.Ф. Представления псевдоортогоналыюй группы, связанные с

Возьмем сечение 5 конуса С плоскостью х\=\. Оно состоит из точек 5=(1, в2,..., в„), + ... 4- 5^=1, так что оно есть сфера в К"-1. Пусть Д.? - оператор Лапласа-Бельтрами па б1 и ¿я - евклидова мера на 5.

Представление Та, аеС, группы С действует на Т>(Б): Эрмитова форма

{Ф, =! Ф(в) Ф) л*

инвариантна относительно пары (Т„, Тъ-п-и), т. е.

Оператор Аа на £>(£), определенный формулой Js

сплетает представления Та и Т^-п-о '•

Т2-п-Л9) А* = А* Та(д), дев.

Он мероморфно зависит от и с (простыми) полюсами в точках о е (2-п)/2 + N.

Композиция операторов Аа и А2-„-а есть скалярный оператор:

А2-П-СГ Аа — — -.—-, 87гш(<х)

где

и>(а) = 2-п-2я--п8т(ст+^)тг • (2а+п~2)Г(-а)Г{а+п-2) (1)

(как мы увидим позже, ш(сг) есть "мера Планшереля"). Представление Та и оператор Аа могут быть продолжены на пространство I?'(5') обобщенных функций на 5.

конусом // Матем. сб., 1970, том 81, № 3, 358-375.

Представление Та неприводимо для всех а, кроме а € N и (Тб2—п—N. Если Та неприводимо, то Та эквивалентно Т2_„_<т (с помощью Аа или его вычета).

Имеется три серии неприводимых унитаризуемых представлений Та и их подфакторов: (1) непрерывная серия: Та> a S (2-п)/2+Ж, скалярное произведение есть (i/>,<p)si (2) дополнительная серия: Т„, 2—п < а < 0, скалярное произведение есть const • {Аа-ф,<р)$\ (3) дискретная серия: Т^, г € N, представление Тг^ действует в фактор-пространстве V(S)/Eri где Ег состоит из ограничений на S многочленов степени ^ г, скалярное произведение индуцируется формой, аналогичной дополнительной серии.

Назовем расширенной дискретной серией совокупность представлений Trd\ rGN. дискретной серии вместе с представлениями Тг дополнительной серии с целыми г, (2-п)/2 < г < 0.

Рассмотрим подробнее вариант (А). Он значительно более труден, чем (В).

Максимально вырожденные серии представлений над-группы. Мы опираемся на19. Пусть ЛбС, и—О, 1. Представления

надгруппы G—SL(n, К) получаются при индуцировании характерами (одномерными представлениями) параболических подгрупп Р^ группы G, отвечающих разбиению п = (тг—1) + 1- Пусть Z>„(Í2) обозначает пространство бесконечно дифференцируемых функций /(и) на сфере П четности и. Представление тт^" v действует в XV (il):

{*1ЛаЖи) = v» МА.

Представление есть тг^^ о в, где в - автоморфизм g i-> Ig'~lI, I - диагональная матрица с диагональю {—1,..., —1, +1}.

Представления неприводимы, за исключением случаев

(а) Л б N, v = Л, (6) Л 'б -п - N, v = А + п.

Полуторалинейная форма

</,Л)п= [ f{u)W)du _ Ja

13Dijk G. van, Molchanov V.F. Tensor products of maximal degenerate series representations of the group SL(n,R) // J. Math. Pures App]., 1999, tome 78, No. 1, 99-119.

{Ли — евклидова мера) инвариантна относительно пар , где берутся либо верхние, либо нижние зна-

ки " ± ". Это позволяет распространить представления 7Гд и на пространство Т>'и (17) обобщенных функций на О, четности и.

Представления этих двух серий обладают сплетающим оператором он сплетает представления тгд^ и

Канонические представления #л,1м ЛеС, 1/=0,1, группы С?=80о(1, п—1) получаются при ограничении на б представлений надгруппы С=8Ь(п,К). Представление действует в пространстве по формуле

/)(«) = /(—) ИГА-",

Оператор А\порождает оператор С^х.и, который сплетает /?д„ с Д_аон определяется формулой

где

Композиция С2~\-п,иЯ\,и есть тождественный оператор:

= Е. (2)

Мы называем этот оператор преобразованием Березина. Мы называем формой Березина полуторалинейную форму, порожденную этим оператором, т. е. форму

В*,„(/,Н)= <С?л,„/,Л)п,

так что

Вл,Л/,Ь) = с(А,1/) [ [и,ь}х>» ¡(и)Щ с!и<1у. Jnxsг

Канонические представления В.х,и могут быть распространены на пространство обобщенных функций на П четности и.

Граничные представления. Каноническое представление Яд,^ порождает два представления Ь\ и Мд, связанные с границей П0 многообразий Эта граница задается уравнением [и, и] = 0. Представление Ь\ действует в обобщенных функциях, сосредоточенных на Г2о> представление Мд действует в многочленах Тейлора (струях) от а — ¡и, и].

Рассмотрим "северную" полусферу сферы П, задаваемую условием щ > 0. Введем на "полярные" координаты (а,й), где а = [и, и] = \-2uj, -1 ^ а ^ 1, 5 = (1, з2,..., з„) е 5:

В этих координатах мера du есть

du = 2-n/2 (1 +afn~3)'2 (1 -а)-1/2 da ds. (3)

Для функции / 6 Р(Г2) рассмотрим ее ряд Тейлора по степеням а в области flN:

Co + Ci о + ... + cm am + ...,

здесь cm - функции из V(S). Пусть с[/] - столбец, составленный

из коэффициентов c0,ci,c2,____Имея в виду (3), рассмотрим также

функцию

Г {и) = (1+а)(п-3)/2(1-а)-1/2/Ы>

и ее коэффициенты Тейлора обозначим через с^. Коэффициенты с*т выражаются через ст и обратно - с помощью треугольной .матрицы с единичной диагональю.

Обозначим через Ejfc(fi) пространство обобщенных функций С из V (Í2), сосредоточенных на fij и имеющих в полярных координатах (a, s) вид

С = Ы*) ¿(a) + y>i(a) <5 (а) + ••• + <Pk{s) S{k){a),

где <5(а) - дельта-функция Дирака на действительной прямой, ¡fio,..., <рк ~ функции из V(S). Положим

оо

E(íí) = U £*(«)• (4)

к=0

Каноническое представление Дд.ю рассматриваемое на Т>1(П), сохраняет каждое и фильтрацию (4). Обозначим через Ь\ ограничение представления Яд>у на £(П).

Сопоставим обобщенной функции £ столбец ((р0, <Р1, ■■■> <Рк,0,0,...) со счетным числом координат. Представление Ь\ есть верхняя треугольная матрица с диагональю Т2_п_а, 74_п_а, Т6_„_л, —

Представление М\ группы б действует по формуле

Мк(д) с [/] = с [Ял.Лз) /]•

Представление М\ не зависит от и, поскольку в определении коэффициентов Тейлора ст участвуют значения функции / только в некоторой окрестности многообразия Представление М\ нижняя треугольная матрица с диагональю Т_а~п, Т-.а-п-2> а-п-4, •••• Имеется двойственность между представлениями Ь\ и М\.

Для обобщенной функции С, € (напомним, что вирр^сПо )>

обозначим через обобщенную функцию из такую, что ее

ограничение на есть С, т. е.

См(и) = сМ + (-1ГС(-и).

Обозначим пространство обобщенных функций через Е^ (П) и обозначим = иЕ^П). Ясно, что Е^П) изоморфно Ек(П)

и изоморфно Е(П). Ограничение представления на

эквивалентно представлению Ь\.

Обобщенные функции из Е^(П) можно распространить естественным образом на некоторое пространство, более широкое, чем Т>и($1). А именно, пусть - пространство функций / класса

С°° на каждой б-орбите, четности и и имеющих разложение Тейлора порядка к:

/(и) = с0 + сга + ••• + скак + о(ак),

где Ст £ Р(5).

Преобразования Пуассона и Фурье, связанные с каноническими представлениями - это операторы, сплетающие канонические представления и представления, связанные с конусом. Они играют основную роль в построении теории.

Преобразования Пуассона Р^иа и преобразования Фурье связанные с каноническими представлениями, определяются формулами:

/)(») = / М"'" [и.и)±~*,/2 /(«) <*и,

I/ о

здесь и далее мы используем обозначение tx^l/=\t\xsgnL/1, Л€С,1/=0,1.

Преобразование Пуассона а отображает Р(5) в пространство С£°((2~) функций класса С°° на П± и четности и и сплетает представления Тг-п-ст и Преобразование Фурье ^^ отображает Т>„(П) в 73(5) и сплетает представления с представлениями Та. Преобразования Пуассона и Фурье сопряжены друг другу:

Со сплетающими операторами А„ и (преобразованием Березина) на 5 и И преобразования Пуассона и Фурье взаимодействуют следующим образом. Для первого оператора мы имеем

множители ^(а, и) являются аналогами с-функцин Хариш-Чандры:

= J{a) /¿±(гг, и),

где

./(а) = 2~а тг("-4)/2Г(о-+1) г(^-а),

, , . . .„ ( 11\ . П7Г

V) = ( 1) вш ) к - ят—,

уГ{о,р) = — этотт.

Мы имеем:

^(«т,«/) ^(2-п-а,и) = {ВтгыИ}-1.

Обозначим

г/~Л+сг\ г /-Л-п-<г+2\

Для параметров А, а общего положения имеют место следующие формулы

Як* = Л~(А,1/,<7) РГл_п,„>(7 + А-+(А,1/,(Т) Р+Л_„11/)СТ1 = Л+~(А,//,(7) РГл_П(1/1„ + А++(А,£/,<т) Р_+Л_„)1/1£Г1

Fix—п,и,a «Эл., = Л—(A.i/.ff) + Л-+(А,«/,<г)

■^-A-n,i/,(7 <?А., = Л+_(А,1/,сг) + A++(W) F+,.,.

где

А (А^сг) = А(Л, сг) • (-1)",

• Л_<Т , < 1W

sm 7Г + ( —l)^Sin 7Г А'+(л' =Л(А'"»—;L—^——

. А+ст+п-2 , . А-ст—п+2 sin---7г + ( —1) Sin---5

Л+- (А, и, а) = Л(А, v, а)--

sinA7T X+n+v-2

cos-7г

Л++(А, i/, а) = Л(А, у, а)--^-.

cos—— 7г 2

Числа A±i: образуют матрицу (зависящую от А, и, а):

м=(л+: Л++)'

а именно,

A(A,f, сг) ( COS^TT cos^Tг

Матрица М(Л, а) есть своего рода "собственное число" преобразования Березина. Отметим ее свойства:

М(—А-п, 1/, а) М(А, и, <т) = J5,

M{\,v,<j)' = M(\,i/,2-n-a),

штрих означает матричное транспонирование. Первое свойство отвечает (2), второе отражает эквивалентность представлений и

T'i-n-a-

Явное вычисление матрицы M{X,v,a) оказывается трудной аналитической задачей. Мы вычисляем ее двумя способами. Первый способ состоит в прямом вычислении ядер преобразований в некоторых: точках. Второй способ состоит в разложениии форм Березина на гиперболоидах и на парах гиперболоидов, см. ниже.

Важную роль играет разложение преобразования Пуассона с,<+>) (и) по степеням переменной а = [w, и]. Обращение этой переменной в нуль как раз определяет многообразие По-

Пусть а ф. (2-n)/2 + Z. Для /С-финитной функции ip&T>(S) ее преобразования Пуассона имеют следующие разложения по степеням а — [и, и]:

оо

т—0 оо

+(-1)" 4гА+ст-2)/2 2l-+»-2)/2i±(o.>и) £ (W!Tirnip)(s)am, (5)

т~ О

где Mtfi имеет полярные координаты (a, s), Wa,m ~ некоторые дифференциальные операторы на S (многочлены от As), Са,т — интегральные операторы:

С<7,т = Лг-п-ст Wz-n~cr,m-

Множители и а±~А+ст_2^2 ("ведущие множители")

дают полюсы преобразования Пуассона в плоскости а, зависящие от А, они располагаются в точках

а — А—2/г, сг = 2-п-А + 21, М 6 N. (б)

Преобразование Фурье а имеет полюсы в точках

а = -\-n-2k, а = Л+2+2/, к, I е N. (7)

Если две последовательности (6) или (7) не пересекаются, то полюсы преобразования Пуассона или Фурье - простые, если же эти последовательности пересекаются и полюс принадлежит их пересечению, то его порядок 5С 2.

Напишем вычеты преобразований Пуассона в простых по-

люсах /х. Оказывается, что эти вычеты являются операторами, действующими из Т>(8) в пространство Определим сначала следующий оператор на северном полушарии О.1*:

т ^

- £ (-1Г Г^Т ¿(т-Г,(а),

действующий из Т>1,(Б) в Для то ^ 1 он зависит от Л ме-

роморфно - с простыми полюсами в точках Л = тп + г + (2—п)/2, г = 0,1,...,т—1. В частности, £\,о(<р) — 3(а). Затем мы определяем операторы Р(5) ->

Пусть полюс ст=/х принадлежит только одной из серий (6), тогда он - простой и

гьМ = (т1)* (-1)" ±

Оператор сплетает представление Т<2-п-\+2к с представлением Ьу.

° ^2-п-А+2к = Ьд О £Л>Ь

Напишем вычеты преобразований Фурье в простых по-

люсах /1. Для этого определим "граничные" операторы Ъ\<т: Х>„(П) —> Т>(Б), используя коэффициенты Тейлора с*к:

т

ЬА,т(/) = £ ^-А-п-2т,г(С-г)- (8)

г=О

В частности, Ьао(/)=Со=со. Если полюс а=—Х-п—2к или а—Х+2+21 - простой, то

£д;„,-х-„-2*/ = (±1)* (-1)"^(-А-п-2Л^)Ьл.к(/),

+2«/ - -2<2-"л-2')/2(±1)' (-1)"л_л-„-21м/).

Оператор сплетает представления 11\<и и Т-х-п-2т'-

Ьа,ш В-хЛз) = Т-Х-п-2т(д) &А,ш.

он мероморфеп по А с простыми полюсами в точках \=—(п/2)—т—г—1, г=0,1,... ,т—1. Граничные операторы Ь и операторы £ сопряжены друг другу:

(¿1 „1Г»,/)п = 2(2-п)/2(-1)т т! (^Ьл,т(/))5. (9)

Преобразования Пуассона и Фурье в полюсах друг друга

имеют некоторые специальные свойства. Нам потребуются следующие линейные комбинации

о(т) _ Р+ Л-( — '\\тР~

гХ,и — *Х,1/,-Х-п-2т Т I 1/ ГХ,е,-А-п-2т'

где т (Е N. Важно то, что для Р^1 один из ведущих множителей есть ат, это - многочлен. Поэтому для Ле А < —2к~\—п/2 и т=0,1 ,... ,к разложение преобразования Р^} есть

г=0

(Напомним, что = А2~п-а-) Следовательно, мы можем применить к Рх^<р граничные операторы 6д,т. О ^ т < /г. Мы получаем: пусть к е К, пусть йеА < - 2/с—1—тг/2, тогда для т ^ к мы имеем

= (-1)" 2(Л+"+2т>/2ЛЛ+2+2т^, и для г, то ^ к, г ф т, имеем

Теперь мы можем применить обобщенные функции из к образам преобразований Пуассона, указанным выше. Используя соотношение дуальности (9), получим: пусть к е пусть 11еА < —2&—1—п/2, пусть г, т ^ к, тогда имеют место следующие "соотношения ортогональности":

Это позволяет распространить преобразование Фурье Е^} на обобщенные функции С 6 m<fc. Для КеЛ > 2к + 1-п/2 преобразования Фурье Е^ являются "обратными" отображениями к с точностью до оператора А„, а именно, имеют место следующие соотношения

= °> г,т$к, тфт.

Эти формулы показывают, что отображения определенные

первоначально как

отображения Е^П) Я'(3),

на самом деле

являются отображениями —> Т>(Б).

Преобразования Р^ появляются также при взаимодействии оператора ([и)т и преобразования Березина. Имеют место следующие формулы

множители и даются формулами:

„(„) = 2(Л+2-п-2т)/2 _(3-П)/3 Г(-А+2т) Г(-А+т+1-п/2) А'т Г(-Л+2т+1-п/2)

X М^М^Т^Г-

г (у) _ о(А/2)4-п+т—1 (п— 2)/2 Г(Л+2т+1+п/2)

л'т Г(А+п+2т) Г(А+т+1+п/2]

х

Разложение граничных представлений. Для А общего положения граничные представления Ьд и Л'/д диагонализуются с помощью операторов £д и Ьд

Пусть - образ оператора £д,/с- Это пространство содержится в ЕЕсли А+(п—4)/2 N. то представления Та, стоящие на диагонали в Ь\, попарно неэквивалентны. Следовательно, Е(П) разлагается в прямую сумму пространств Уд^, инвариантных относительно Ьх, и ограничение представления Ь\ на пространство Ух,к эквивалентно представлению Тъ-п-х+Ък-

Пусть — А—(га+4)/2 ^ N. Тогда граничные операторы Ьх,к определены для всех к € N. Обозначим через т\ отображение, которое каждой последовательности с[/] сопоставляет последовательность ьх = (Ьа.о, £>а,ь • • •) согласно формуле (8) - без /. Это отображение задается нижней треугольной матрицей с единичной диагональю. Оказывается, что тдМдтд"1 есть диагональная матрица с диагональю Т_д_п, Г_Л_п_2, Т-Х-п-4, —

Для исключительных значений Л разложение представлений ¿д и Мд значительно более сложно, там появляются жордановы клетки.

Разложение канонических представлений по представлениям, связанным с конусом, состоит из двух формул разложения: первая формула (формула обращения) восстанавливает функцию / 6 Т>1/(0,) по ее компонентам Фурье вторая формула ("фор-

мула Планшереля") разлагает форму Березина £?д,„(/, Л) по инвариантным эрмитовым формам для представлений Та. Формула обращения использует преобразования Пуассона а.

Для прозрачности изложения мы ограничиваемся тем, что формулы разложения пишем для А общего положения, а именио, для А из вертикальных полос ширины 2:

1к '• + 2& < 11е А < + /се Ж.

Для "центральной" полосы /о формула обращения получается из объединения формул обращения для квазирегулярных представлений 1]у+ и Ьтх группы £7 на гиперболоидах X и Напомним, что

представление 11у+ разлагается по непрерывной серии с кратностью

1 (это - классический результат, середина XX века, см. например,16). Представление 1/х разлагается по непрерывной серии с кратностью

2 и расширенной дискретной серии с кратностью 1, см.20.

Формула обращения для есть

оо

о-=(2-п>/2+1/>

+ Е (10)

где суммирование происходит по целым г > (2—п)/2 таким, что г=и+1 (тос!2). Преобразования Пуассона и Фурье с тильдой получаются из преобразований Пуассона и Фурье, определенных выше, делением на Г ((<7+1+1/)/2). Множитель си (а) (см. (1)), дается следующей формулой:

ыЮ=2-э (_1}^+г)/2 Г(Г±^±£)/Г(^), е=г+1.

Форма Березина К) для А 6 1о раскладывается следующим

образом

с»

ВхЛШ = I £ Ла''3(А, V, 2-п-а)х

-оо

+ £ ^ А++(А,«/,2-я-г) %>2_п_г%, (П)

где а,(3 6 {-,+}■

Таким образом, для А £ /о мы имеем следующую теорему.

Теорема 0.1 Для Аб/о каноническое представление разлагается е прямой интеграл представлений непрерывной серии с кратностью 2 и представлений расширенной дискретной серии с кратностью 1. А именно, сопоставим функции /£2>„(П) совокупность

20Молчанов В.Ф. Гармонический анализ на однополостном гиперболоиде // Докл. АН СССР, 1966, том 171, № 4, 794-797.

<1р+

о-=(2-п)/2+»р

ее компонент Фурье a=(2-n)/2+ip; F^vrf, (2-n)/2<r<0,

rGZ; F*vrf, rsN, г=г/+1. Это соответствие G-эквивариантно. Имеет место формула обращения (10) и "формула ГТланшереля" (11) для формы Березина.

Продолжим теперь формулу обращения (10) аналитически по Л из /о в Ik+г, А; € N. Некоторые полюсы по а подинтегрального выражения пересекают линию интегрирования - прямую Reer = (2 —п)/2. Это - полюсы а = А—2т и а = 2—п—Х+2т, т = 0,1,..., к, преобразований Пуассона 2_п~ст- Они дают дополнительные слагаемые в правой части. Пара полюсов (А—2т, 2-п—\+2т) дает дополнительный член, равный умноженному на 4тг вычету подинтегральной функции в точке а — А—2тп. После продолжения получим:

к

= / + Е +Е (12)

к

Е

^ гп=0

где интеграл и ряд означают то же, что и в (10) и

7ГА,„,т(/) = 47Г и(Х — 2тп) ( —1),/+т ~ 2(А+п_2от^2 X

Образ оператора п\,и,т совпадает с образом У^ оператора

Продолжим в 1к+1 формулу разложения (11) формы Березина. Сейчас полюсы сг = А—2т и сг = 2—п—А+2т, то = 0,1,..., к, подинтегральной функции - это полюсы множителей Аа'13(Х,1>,сг). После продолжения получим:

со к

ВхММ = / + Е+ Е (13)

-оо г т=0

где интеграл и ряд означают то же, что и в (11), Т(Х,1/,т) - некоторые множители, только множителем отличающиеся от

о;(А-2т)к[%.

Операторы 7Гд^>т, т</с, можно распространить с пространства £>„(Г2) на пространство потому что преобразования Фурье,

участвующие в этих операторах, уже распространены. Таким образом, операторы тгл11Лт с т ^ к определены на пространстве

Операторы пх^т, т^к, действующие в пространстве Т>1/]к{0), являются проекционными операторами, проектирующими на пространства т. е. имеют место соотношения:

^ 7ГА

7ГА,1/,т 7ГА,1/,Г = 0, ТП ф Т.

Кроме того, на этом пространстве определена форма Бере-

зина Бд,1/, и имеют место "соотношения ортогональности":

^А,«, (7ГА,«/,т (/), ТГд.^г С^)) =0, ТП ф Г.

В частности, для обобщенной функции / € получаем ее

разложение по ее проекциям на пространства У\:ГП, т < к:

к

/ = X]

7П=0

Итак, для А е /*+ь /с € М, мы имеем следующую теорему.

Теорема 0.2 Пусть А £ к е N. Тогда пространство Х>„(Г2)

нужно дополнить до пространства — 1\,(П) + В

этом пространстве представление Дд^ раскладывается в сумму двух слагаемых: первое разлагается как Ях^ в случае А 6 10, второе разлагается в сумму к+1 неприводимых представлений Т2-п-х+2т, т = 0,1,..., к. Имеет место формула обращения, см. (12), и "формула Планшереля" для формы Березина, см. (13).

Как следует из соотношений ортогональности, формула (13) есть "теорема Пифагора" для (12).

Наконец, продолжим теперь формулу обращения (10) аналитически по А из /о в к £ N. Здесь полюсы а — А+2+2т и

а = -Х—п-2т, т — О,1 подинтегральной функции являются полюсами преобразований Фурье Они дают добавочные сла-

гаемые в правой части:

к

£

т=0

где интеграл и ряд означают то же, что и в (10), и

/= / + Е +£ Пл,,.т(Я, (14)

Пл,„,„(/) = (-1Г4тга;(Л + 2 + 2т) •22-"-А-2т)/2х X Pj^(A-X-n-2mbx,m(f))-

Оператор Пд^.ш сплетает 7л+2+2т и • Обозначим через Wx,v,m образ пространства T>V(U) под действием преобразования Пд^т. Операторы Пд]1лт с т < & можно распространить на пространство поскольку операторы Ьд)ТГ1 с т ^ к определены на этом пространстве. В частности, можно применить Пд11Лт к Wx,v,r, т ^ к, и мы вправе рассматривать произведения Пд,^тПд^)Г1 где m,r ^ к. Операторы Пд¡Ui7n, m sí к, являются проекторами на W\i¡/¡m, а именно, имеют место соотношения:

Пд^тПд^т — Пд,^, Пд.^тПд^.г = 0, r^m.

Кроме того, имеют место "соотношения ортогональности":

Ва,„(Па,„,„>(/), Пд i^m(/i))=Ar(A,«/, ш)(Л_д_п_2т6д,т(/), 6jim(ft))s,

йд,ЛПд,,.т(/), üw(ft)) = 0, г ^ т,

где

N{\, v, m) = (-1)"+т 22_п тГп/2 т! • sin (а + |)тгх

Г(А+2т+2+п/2) Г(-А-2-2 rri) /\+П-У+1\ /А+г/+1\ Х Г(А+т+1+п/2) V 2 / \ 2 /

Продолжим из /о в I-k-i формулу разложения (11) формы Березина. Здесь полюсы a — А+2+2т и a — —X—n—2m, m — 0,1,..., к,

подинтегральной функции оказываются полюсами обоих преобразований Фурье, так что каждое из четырех слагаемых (а,/? £ {4-, —}) имеет полюс второго порядка. К счастью, вся сумма этих четырех слагаемых имеет полюс только первого порядка (старшие лоранов-ские коэффициенты взаимно уничтожаются) и вычет получается в обозримом виде. Мы имеем

7 к

-со г т=0

(15)

где интеграл и ряд означают то же, что и в (11). Формула (15) есть "теорема Пифагора" для (14).

Таким образом, для А £ & £ N мы имеем следующую тео-

рему.

Теорема 0.3 Пусть А € 1-к-\, к € N. Тогда представление рассматриваемое на пространстве распадается на сумму

двух слагаемых. Первое действует на подпространстве функций, для которых их коэффициенты Тейлора ст равны нулю для т ^ к, и разлагается как представление в случае А € 1о, второе разлагается в прямую сумму неприводимых представлений Тл+2+2т —2т)> т^к, действующих на сумме пространств \¥\>1/<т, т ^ к. Имеет место формула обращения, см. (14), и "формула Планшереля" для формы Березина, см. (15).

Отметим, что одно из преимуществ изучения канонических представлений сразу на всей сфере П, а не на гиперболоидах по отдельности, состоит именно в том, что подинтегральная функция в разложении формы Березина имеет полюсы только первого порядка, это позволяет написать дополнительные слагаемые при аналитическом продолжении в явном и прозрачном виде.

Формы Березина на парах гиперболоидов. Форма Березина Дх,^(/, Н) на П порождает 4 формы (назовем их тоже формами Березина) на парах (}>+,;У+), (Х,Х), (Х,У+), X). Ядра этих форм получаются из ядра с(А, и) [и, ь]х,1/ формы Березина на Л переходом на гиперболоиды с помощью условий однородности. А именно, мы имеем 4 ядра

Е\¿(х>у) = с(Х,и) (-[х,г/])А, х,у е

E++(x,y) = c(\tv) [х,у]л'", x,y G X, E^{x,y) = c(X,u) [x,y}x^, хеУ+,у€Х, E+-(x,y) = c(\u) [x,y}X'v, хеХ,у€У+.

Два последних сводятся одно к другому, поэтому возьмем одно из них и обозначим Е™*:

Е?;*(х,у) = с(А, v) [:с,у]А'", х£Х,увУ+.

Обозначим через ¡3%^, соответствующие полуторали-нейные формы. Будем рассматривать их на функциях из Т>(У+) и Т>{Х) (на функциях класса С°° на У+ и X с компактным носителем).

Если мы в ядрах Е^ в качестве одного из аргументов возьмем начальные точки х° — (О,...,0,1) € X или у0 = (1,0,...,0) € то мы получим функции от одного аргумента, назовем их функциями Березина. А именно, мы имеем

ЕЦ(у) = с(\,1/)у£, уеу+,

Сферические функции. Задача о разложении форм Березина сводится к задаче о разложении функций Березина по сферическим функциям Фо- на на X и смешанным сферическим функ-

циям на У+. (Сферические функции для гиперболоидов были вычислены, см.21.)

В определении преобразований Пуассона перейдем от точек и сферы П к точкам у,х гиперболоидов У+ и X. Тогда зависимость от А исчезнет. Мы получим преобразование Пуассона Ра\ T>(S) —> С1Х(У+), определяемое формулой

{р°<р)(у) = J {-\y,s\y ip{s)ds,

21 Молчанов В.Ф. Сферические функции на гиперболоидах // Матем. сборник, 1976, том 99, № 2, 139-161.

и преобразование Пуассона Рау. Т>(8) —» (последнее про-

странство обозначает подпространство в С°°{Х) функций четности е = 0,1), по формуле (мы заменили и на е):

Напомним, что стационарными подгруппами начальных точек у0 и х° из У+ и X, соответственно, служат подгруппы К и Н. Сферические функции определяются как преобразования Пуассона К-инвариантов и Я-инвариантов в V (Б) относительно Та.

Инвариант для К в Х> (5) относительно Та есть функция в~, тождественно равная 1. Сферическая функция Фа{у) на есть

*Лу)=/ (-МГ^-

Js

Вот ее явное выражение - через функции Лежандра:

Фа(у) = (2*Г+1 (У?-1)-7/2 ВДЫ'

где мы для краткости обозначили

7 - (п—3)/2.

Пространство инвариантов для Я в £> {Б) относительно Т„ двумерно, базис в нем состоит из двух (е = 0,1) обобщенных функций

Сферическая функция Ф а<е есть обобщенная функция {Р<т,е^2-п-<т,е){х) на X, она действует на ¡£Т>(Х) по формуле

<**,«,/>*=/ [х°,з}2-п-^ ¿5 [ [х,з]^7(х) ¿X.

и*

На множестве хп ф ±1 эта функция есть классическая функция

14-1 Г'2 [р-^(хп) + (-1

с некоторым коэффициентом.

Определим смешанную сферическую функцию на У+ как

преобразование Пуассона Р2-П-0 (отвечающее К-инварианту 9~) от Н-инварианта а именно,

Ф*Лу) = (Р2-п-« 9а,е)(у) = ! [-У,3?-п-а ¿3.

Она есть классическая функция на у, выражающаяся через функции Лежандра от мнимого аргумента:

Ф«Лу) = (2?07+1 [е1о*/2 + (—1)ее-*'"г/2] ~2 х

Х(У2П + 1)-1'2{е^-</2Р^(1Уп) +

где верхний или нижний знак " —" или "+" в показателях берется при уп> 0 или уп < 0, соответственно.

Для преобразования Пуассона Ра%£ от /("-финитной функции <р 6 Т>(Б) справедливо разложение ее по степеням Ъ = (х2 + I)-1, аналогичное (5). Для произвольной функции (,о € Р(5), не обязательно ^-финитной, такое разложение является только асимптотическим. Доказательство этого факта оказалось достаточно трудной задачей, см. об этом также в работах автора [1, 10, 12, 17] из списка в конце автореферата.

Разложения функций Березина по сферическим функциям при условии

КеА < — (16)

Л

даются следующими формулами:

Г7ЧТ11Х

/00

ы(а)А—(А, г/, а)

■ОО

/оо

ы(<г) Л++(А,1/,<Г) Ф„,„

■Оо

+ ^ Л++(А,^,г) ф^,

/оо ,

и>(а) Лт'х(А, г/, ст) Ф^

-оо

ст=(2-п)/2+гр

йр,

<?=(2-п)/2+гр

йр +

йр,

где суммирование происходит по целым г > (2 — n)/2, г = v + 1,

a+v cos —— 7Г

Лmix(X,v,<r) = (-1)"Л~+(А, и, а) = Л(А, и, а) -

cos —— 7г 2

Для этих разложений функций Березина по сферическим функциям мы применяем спектральные разложения для оператора Jle-жандра

г> -/„a , 40(2

где а € С, на следующих интервалах: интервал (1,оо), вещественная ось R и мнимая ось Ж. Для а € R и |а| < 1/2 мы используем теорему Титчмарша-Кодаиры (вариант), см., например,22. Заметим, что для R ситуация несколько отличается от ситуации, для которой сформулирована эта теорема (у нас оператор имеет особые точки внутри интервала, на котором он определен, это точки ±1), доказательство теоремы проходит - с некоторыми естественными изменениями. Затем мы продолжаем разложение аналитически по а в точку а = (п—3)/4.

Разложения форм Березина, полученные для области (16), можно было бы пытаться продолжить аналитически из этой области направо отдельно для каждого гиперболоида и пары гиперболоидов. Однако, более естественно делать это, как мы и сделали выше, в рамках разложения канонических представлений на сфере Г2, причем в более общей ситуации, а не только для функций с компактным носителем из или

Разложение формы Березина на паре гиперболоидов позволяет построить своего рода гармонический анализ на паре гиперболоидов X, Это - разложение полуторалинейной формы Лто(/,/г), где / £ Т>(Х), h € Т>(У+), ядро которой есть дельта-функция 5(\х,у\) или ее производные ([я, у]) от билинейной формы [х, у] (здесь 5(t) - дельта-функция Дирака, х G X, у £

Асимптотика преобразования Березина. Ядро у) по-

рождает оператор в L2(X,dx) с этим ядром, назовем его пре-

22Данфорд Н., Шварц Дж. Т. Линейные операторы. Спектральная теория. М.: Мир, 1966.

образованием Березина. При условии — п/2<11еА<(2—п)/2 он оказывается ограниченным оператором в Ь2(Х, ¿х).

Оператор ВА„, получающийся из Вд* некоторой нормировкой, имеет следующую асимптотику при Л —♦ — оо:

где Дд' - оператор Лапласа-Бельтрами на X. Это соотношение аналогично принципу соответствия из квантования Березина для эрмитовых симметрических пространств, роль постоянной Планка играет число — 1/(2А). Более того, мы можем написать полное асимптотическое разложение: пусть А стремится к оо вдоль луча в полуплоскости (16), отличного от вещественной отрицательной полуоси, тогда имеет место следующее асимптотическое разложение:

оо - 771 — 1

* ~ Е ^ П • к-л-п)/2>(п.)' <")

тт»=0

при т=0 произведение в ряде считается равным 1, так что весь член ряда с т—0 равен 1; разложение (17) понимается в том смысле, что разность между оператором В'х и всякой частичной суммой ряда стремится к нулю на всякой функции из Ь2(Х, (1х):

N

0.

7п=0

Аналогичные формулы справедливы для • Вариант (В) рассматривается вполне аналогично варианту (А). Он в значительной мере проще, поскольку обе открытые орбиты на П совпадают как однородные пространства. Поэтому, в частности, собственные числа преобразования Березина - это числа, а не матрицы.

Отметим явные формулы, связывающие различные базисы в пространстве обобщенных функций, сосредоточенных на границе. Это - "старый базис" ¡р5^{ип+1) и "новый базис"

где W* к - многочлены от As степени к с коэффициентами, рациональными ПО (Т.

Аналогичные формулы можно написать и для варианта (А).

СПИСОК ОСНОВНЫХ РАБОТ АВТОРА ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в журналах из действующего Перечня ВАК:

1. Артемов А.А. Преобразование Пуассона для однополостного гиперболоида // Матем. сб., 2004, том 195, № 5, 33-58. (Engl, transl.: Artemov А.А. Poisson transformation for one-sheeted hyperboloids. Sbornik: Mathematics, 2004, tome 195: 5, 643-667.)

2. Артемов А.А. Граничные представления на пара-эрмитовых пространствах ранга один // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 2007, Т. 12, вып. 1, 16-22.

3. Артемов А.А. Разложение формы Березина на сфере // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 2008, Т. 13, вып. 1, 7-8.

4. Артемов А.А. Канонические представления на сфере с действием псевдо-ортогональной группы // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2008, том 13, вып. 6, 445-473.

5. Артемов А.А. О собственных числах преобразования Березина // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 1, 325-327.

6. Артемов А.А. Канонические представления обобщенной группы Лоренца на сфере // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 4, 656-659.

7. Артемов А.А. Разложение функции Березина на пространстве Лобачевского по смешанным сферическим функциям // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2010, том 15, вып. 1, 358-361.

8. Артемов А.А. Граничное поведение преобразования Пуассона для однополостного гиперболоида // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2010, том 15, вып. 6, 1690-1698.

9. Артемов А.А. Гармонический анализ на паре гиперболоидов // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2011, том 16, вып. 1, 91-93.

10. Артемов A.A. Форма Березина и гармонический анализ на паре гиперболоидов // Доклады Академии Наук, 2011, том 439, № 1.

11. Молчанов В.Ф., Артемов A.A., Грошева Л.И. Канонические и граничные представления // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 6, ч. 3, 1367-1425.

12. Artemov A.A. Poisson transform for hyperboloids // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 1998, Т. 3, вып. 1, 21-34.

13. Artemov A.A., Molchanov V.F. The Laplace-Beltrami operator on rank one semisimple symmetric spaces in polar coordinates // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 2005, Т. 10, вып. 4, 350-356.

Статьи в реферируемых международных изданиях:

14. Artemov A.A. Asymptotic behaviour of the Poisson transform on a hyperboloid of one sheet // In: Komrakov B.P. et al. (eds), Lie Groups and Lie Algebras. Their Representations, Generalizations, and Applications. Dordrecht: Kluwer Academic Publishers, Math. Appl., Dordr. 433, 1998, 261-284.

Монографии:

15. Артемов A.A. Канонические и граничные представления на сфере с действием обобщенной группы Лоренца: монография. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2010. 235 с.

16. Некоммутативный гармонический анализ и квантование на многообразиях: монография / В.Ф.Молчанов, А.А.Артемов, Н.Б.Болотова и др.; под ред. В.Ф.Молчанова. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2010. 355 с.

Материалы международных конгрессов и конференций:

17. Артемов A.A. О некоторых многочленах, связанных с гипергеометрической функцией // Фундаментальные и прикладные исследования в системе образования: Материалы 1-ой Междунар. научно практ. конф,- Тамбов: Изд-во Тамб. гос. ун-та, 2003, 139-141.

18. Артемов A.A. Канонические и граничные представления обобщенной группы Лоренца на сфере // Современная математика и математическое образование, проблемы истории и философии матема-

тики: Материалы международ, научн. конфер. - Тамбов: Першина, 2008, 12-13.

19. Artemov A. A. Asymptotic behaviour of the Poisson transform for hyperboloids // Материалы III Европейского математического конгресса. Барселона, 2000.

20. Artemov A.A. Canonical and boundary representations on rank one para-Hermitian spaces // International Congress of Mathematicians Madrid 2006: Abstracts - European Mathematical Society, 2006, 62.

21. Artemov A.A. Canonical and boundary representations on rank one para-Hermitian symmetric spaces // Гармонический анализ на однородных пространствах и квантование. Международная научная конференция. Тамбов: Изд-во ТГУ, 2007, 1.

АРТЕМОВ АНАТОЛИЙ АНАТОЛЬЕВИЧ

КАНОНИЧЕСКИЕ И ГРАНИЧНЫЕ ПРЕДСТАВЛЕНИЯ НА СФЕРЕ С ДЕЙСТВИЕМ ОБОБЩЕННОЙ ГРУППЫ ЛОРЕНЦА

В данной работе решается важная задача некоммутативного гармонического анализа, в ней изучаются канонические и граничные представления на сфере с действием обобщенной группы Лоренца для двух вариантов надгруппы. В этом случае сфера не является однородным пространством, действие группы не транзитивно, представления не унитарны.

Основной результат работы состоит в разложении канонических и граничных представлений на сфере для обоих вариантов по неприводимым представлениям, связанным с конусом. В работе содержится и ряд других результатов, связанных со сферическими функциями, "смешанными" сферическими функциями, сплетающими операторами, преобразованиями Фурье и Пуассона, мероморфной структурой этих преобразований, асимптотикой преобразования Пуассона и преобразования Березина, гармоническим анализом на паре гиперболоидов и др.

ARTEMOV ANATOLI ANATOLIEVICH

CANONICAL AND BOUNDARY REPRESENTATIONS ON A SPHERE WITH AN ACTION OF THE GENERALIZED LORENTZ

GROUP

This work covers the problem of non-commutative harmonic analysis. Canonical and boundary representations on a sphere with the action of the generalized Lorentz group for two variants of overgroup are studied. In this case, sphere is not a homogeneous space, the action of the group is not transitive, and the representations are not unitary.

The fundamental result of the work is the decomposition of canonical and boundary representations on a sphere for both variants into irreducible representations associated with a cone. The paper presents a number of accompanying results concerning spherical functions, "mixed" spherical functions, intertwining operators, the Fourier and the Poisson transforms, meromorphic structure of these transforms, the asymptotics of the Poisson and the Berezin transforms, harmonic analysis on a pair of hyperboloids, etc.

Подписано в печать 14.04.2011 г. Формат 60x84/16. Объем 2,38 л.л. Тираж 120 экз. Заказ К« 1281. Бесплатно. 392008, Тамбов, ул. Советская, 190г. Издательский дом ТГУ имени Г.Р. Державина.

Введение

Глава I. Представления обобщенной группы Лоренца, связанные с конусом.

§ 1. Обобщенная группа Лоренца.

§ 2. Представления обобщенной группы Лоренца, связанные с конусом.

Глава II. Гармонический анализ на однополостном гиперболоиде.

§ 3. Однополостный гиперболоид.

§ 4. //-инварианты.

§ 5. Преобразование Пуассона.

§ 6. Преобразование Фурье.

§ 7. "Усреднение" по подгруппе Н.

§ 8. Собственные функции оператора Ьа

§ 9. Собственные функции //-радиальной части оператора Лапласа.

§ 10. Сферические функции.

§ 11. Спектральные разложения по собственным функциям оператора Лежандра

§ 12. Разложение квазирегулярного представления на однополостном гиперболоиде

Глава III. Гармонический анализ на пространстве Лобачевского

§ 13. Гармонический анализ на пространстве Лобачевского.

Глава IV. Форма Березина на гиперболоидах с надгруппой ЯЦп, Е)

§ 14. Форма Березина на гиперболоидах и парах гиперболоидов.

§ 15. Смешанные сферические функции.

§ 16. Разложение формы Березина на однополостном гиперболоиде.

§ 17. Разложение формы Березина на пространстве Лобачевского.

§ 18. Разложение формы Березина на паре гиперболоидов.

§ 19. Гармонический анализ на паре гиперболоидов.

Глава V. Максимально вырожденные серии представлений группы вЦге,®)

§ 20. Группа БЦп, М), ее разложения.

§ 21. Максимально вырожденные серии представлений.

§ 22. Сплетающие операторы.

Глава VI. Канонические и граничные представления на сфере с надгруппой БЦп, К)

§ 23. Канонические представления. Форма Березина.

§ 24. Граничные представления.

§ 25. Преобразования Пуассона, связанные с каноническими представлениями

§ 26. Преобразования Фурье, связанные с каноническими представлениями

§ 27. Преобразования Пуассона и Фурье в полюсах друг друга.

§ 28. Разложение граничных представлений.

§ 29. Разложение канонических представлений и формы Березина.

Глава VII. Канонические и граничные представления на сфере с надгруппой SO0(l,n).

§ 30. Представления надгруппы, связанные с конусом.

§ 31. Канонические представления.

§ 32. Граничные представления.

§ 33. Преобразования Пуассона и Фурье, связанные с каноническим представлением

§ 34. Преобразования Пуассона и Фурье в полюсах друг друга.

§ 35. Разложение канонических представлений.

Канонические представления на эрмитовых симметрических пространствах С/К были введены в работах Ф. А. Березина [15] и А. М. Вершика, И. М. Гельфанда и М. И. Граева [16] -для нужд квантования и квантовой теории поля. Эти представления действуют сдвигами в функциях на С/К и являются унитарными относительно некоторого нелокального скалярного произведения, теперь называемого формой Березина. Они являются деформациями квазирегулярного представления группы (?, действующего сдвигами в пространстве на С/К (ядро скалярного произведения в Ь2 есть дельта-функция, это - локальное скалярное произведение). Разложение квазирегулярного представления на однородном пространстве на неприводимые составляющие есть основная задача абстрактного (некоммутативного) гармонического анализа. Появление нелокального скалярного произведения делает теорию (некоммутативный гармонический анализ) значительно более богатой и интересной - как для самой математики, так и для ее приложений.

Изучение канонических представлений на эрмитовых симметрических пространствах С/К стало в последнее время привлекательной и популярной задачей для математиков из многих стран: Г. ван Дейк [39-46], С. Хилле [40] (Нидерланды), А. Унтерберже [60], М. Певзнер [46], А. Паскуале [42-43] (Франция), Т. Номура [49, 55-57], Т. Кобаяси (Япония), Г. Чжанг [61] (Швеция), Б. Орстед (Дания), Я. Петре (Финляндия) [58], Дж. Арази (Израиль), Г. Упмайер [60] (Германия), М. Энглис [47-48] (Чехия), В. Ф. Молчанов [29-31, 41, 51-53], Ю. А. Неретин [32, 54] (Россия) и другие.

Новый подход к этому понятию канонического представления предлагается В. Ф. Молчановым [2931]. Основная идея состоит в расширении этого понятия и распространении его с класса эрмитовых симметрических пространств (?/К, рассматривавшегося ранее, на другие классы симметрических полупростых пространств С/Н, используя для этого понятия надгруппы.

При этом оказывается естественным отказаться от слишком стеснительного условия унитарности, нужно позволить каноническим представлениям действовать в достаточно широких пространствах функций и даже более того - в пространствах сечений линейных расслоений, в частности, в пространствах обобщенных функций. Эти пространства не обязательно гильбертовы (или банаховы). Более естественной для такой цели является структура ядерного пространства. Кроме того, естественным является расширение рамок для изучения гармонического анализа: теория должна включать действие группы С не только на ее однородных пространствах, но и на многообразиях с нетранзитивным действием группы В качестве таких многообразий мы берем флаговые пространства надгрупп С?.

Этот подход состоит в следующем. Пусть С? - полупростая группа Ли и <5 -надгруппа для <3, это означает, что (? есть подгруппа группы С? и эта подгруппа -сферическая, т. е. выделяется из (7 некоторой инволюцией. Пусть Р - максимальная параболическая подгруппа группы (3, пусть Я\, А € С, - серия представлений группы С?, индуцированных характерами (одномерными представлениями) подгруппы Р. Представления Л\ могут зависеть еще от. некоторых дискретных параметров, сейчас мы их не пишем. Как правило, представления Дд неприводимы. Они действуют в функциях на некотором компактном многообразии (пространстве флагов для надгруппы (?).

Обозначим через Яд ограничения представлений Я\ на группу С?:

Д\ = Да в

Мы называем эти представления 11\ каноническими представлениями группы (2. Они действуют в функциях на П.

Вообще говоря, многообразие О, не является однородным пространством группы <?, эта группа имеет несколько орбит на О. Открытые С-орбиты являются полупростыми симметрическими пространствами С/Нг. Подгруппы Нг получаются как пересечения Нг = (?П д"1 Р дг, где дг - некоторые элементы из С Эти подгруппы могут оказаться неизоморфными. Многообразие О, есть замыкание объединения открытых (?-орбит.

Серия представлений Лд обладает сплетающим оператором Л\: он* сплетает представления со значениями параметра А и А* = N — А, где N - некоторое число, зависящее от П. Композиция этого оператора и инволюции, выделяющей группу С в С, порождает некоторый оператор <Эд, который играет важную роль во всей теории. Мы называем этот оператор фА преобразованием Березина. Он сплетает канонические представления с параметрами А и А*.

Наряду с указанным понятием канонического представления можно рассматривать несколько другую его версию (более раннюю): ограничение канонических представлений в первом смысле на какую-нибудь одну С-орбшу С/Н в О. Оба варианта должны быть предметом изучения. Но первый из них приводит к более естественной и прозрачной теории. Например, в первом варианте легко написать оператор, обратный к преобразованию Березина фд, это - оператор Ях-, а во втором - это трудная задача.

Граничные представления, порождаемые каноническими представлениями Д\, связаны с границами О-орбит С/Нг, эти границы состоят из £?-орбит меньшей размерности. Граничные представления распадаются на два типа: представления одного типа действуют в обобщенных функциях, сосредоточенных на объединении 5 границ, представления другого типа действуют в струях, трансверсальных к Б (в коэффициентах рядов Тейлора по степеням "расстояния" до границы). Эти два типа двойственны друг другу. Появление граничных представлений связано как раз с широкой трактовкой понятия канонического представления. Граничные представления интересны как сами по себе (вообще, изучение представлений в обобщенных функциях, сосредоточенных на подмногообразиях, - одна из самых "горячих тем" и интригующих задач в некоммутативном гармоническом анализе), так и с точки зрения разложения канонических представлений, они "склеивают" представления на отдельных орбитах Є/Ні.

Квантование в духе Березина на пара-эрмитовых симметрических пространствах О/Н тесно связано с каноническими представлениями, см. [50]. Здесь роль переполненной системы играет ядро (функция) сплетающего оператора для представлений группы С? максимально вырожденных серий. С одной стороны, преобразование Березина переводит контравариантные символы в ковариантные, с другой - его ядро (функция) дает умножение в алгебре ковариантньтх символов.

Основными задачами развиваемой теории являются следующие: а) разложить канонические представления на неприводимые составляющие (тот факт, что канонические представления не обязательно унитарны, вносит особые трудности в эту задачу и предъявляет особые требования к построению теории); б) найти дискретные составляющие канонических представлений, эквивалентные частям граничных представлений; в) разложить граничные представления (решение этой задачи тесно связано с мероморфной структурой преобразований Пуассона и Фурье, ассоциированных с каноническими представлениями); г) разложить преобразование Березина (основной объект в теории квантования) по операторам Лапласа; д) найти асимптотику преобразования Березина, когда комплексный парамегр, нумерующий канонические представления, стремится к бесконечности, это включает в себя отыскание принципа соответствия из теории квантования по Березину, заметим, что указанный параметр тесно связан с "постоянной Планка", таким образом, в теорию включается постоянная Планка, принимающая комплексные значения;

Однородные пространства О/Н, для которых ставятся сформулированные задачи, это - симметрические полупростые пространства. Такие пространства образуют обширный и крайне важный класс (как для математики, так и для приложений - в космологии, квантовой теории, теории относительности и т. д.) однородных пространств.

Подкласс римановых симметрических пространств (здесь инвариантная метрика положительно определена) более прост в изучении. При переходе от римановых пространств к другому подклассу - псевдоримановых симметрических пространств (здесь инвариантная метрика не является знакоопределенной) трудности в изучении гармонического анализа резко возрастают.

Среди всех симметрических полупростых пространств О/Н (как римановых, так и псевдо-римановых) выделяется подкласс симплектических симметрических пространств. Именно на пространствах этого класса должно строиться квантование в смысле Березина.

Помимо симплектических симметрических пространств чрезвычайно важный класс образуют гиперболические пространства - вещественные (гиперболоиды), комплексные, кватернионные и октавное: 80о(р,в)/80оСр,д-1), 8и(р,9)/3(и(р,9-1)хи(1)), йр(р, д)/3р(р, д - 1) X Зр(1), ^4,20/8рт(9).

Именно вещественные гиперболоиды служат открытыми б-орбитами на многообразии в нашей работе.

Краткое содержание диссертации

Остановимся коротко на содержании диссертации. Мы проводим изложенную выше программу для обобщенной группы Лоренца (псевдоортогональной группы) G = SO0(l,ra — 1), действующей на единичной сфере fi в пространстве М71. Мы рассматриваем два варианта действия группы G на сфере fi. Они связаны с двумя вариантами надгруппы G.

Мы будем считать, что группы действуют в пространствах и на многообразиях справа: х хд, в соответствии с этим мы будем записывать векторы в виде строк.

Группа G - это связная группа линейных преобразований пространства Мп, сохраняющих билинейную форму х, у] = -Х1У1 + Х2У2 + ••• + ХпУп

Ее орбиты в Ж71 - это однополостные гиперболоиды [ж, х] — с, с > 0, полы двуполостных гиперболоидов [ж, ж] — с, с < 0, две полы конуса [ж, х] — О, X Ф О, и начало координат х — 0.

Первый вариант - вариант (А) - состоит в том, что в качестве G мы берем специальную линейную группу SL(n, R). На пространстве М" она действует линейно: x хд . Это линейное действие на Ега дает действие и н-» ид/\ид\ на единичной сфере fi : |м|=1 (транзитивное) с помощью центрального проектирования х н-» х/\х\. Здесь через |а;| обозначается евклидова норма.

Соответствующее действие и ид/\ид\ группы G на fi имеет 5 орбит. Это - три открытые орбиты: северная полярная шапка fil: [и, и] < 0, ui > 1/\/2, южная полярная шапка fil: [и,и] < 0, щ < —1/^/2 и сферический пояс fi+: [и, и] > 0, они отвечают двум полам [ж, х] = —1, хх ^ 1, и У~: [х, х\ = —1, xi ^ —1, двуполостного гиперболоида [х,х] — — 1 и однополостному гиперболоиду

X: [;х,х] = +1, соответственно. Еще имеется две орбиты размерности п—2 (сферы): : [и,и] = 0, щ = 1/л/2, ^о : [и->и] = 0, «1 = —1/\/2, находящиеся между открытыми; они отвечают двум полам конуса [ж, х] = 0. Обозначим через !Г2 и П0 объединение полярных шапок и орбит размерности п — 2, соответственно.

Таким образом, сфера О получается "склейкой" двуполостного гиперболоида и однополостного гиперболоида по их границам ("бесконечностям").

Многообразие У+ есть пространство Лобачевского размерности п — 1. Однополостный гиперболоид X иногда называют мнимым пространством Лобачевского.

Пусть у0 = (1,0, .,0) и х° = (0, .,0,1) - "начальные" точки многообразий и X. Стационарные подгруппы этих точек в С - это соответственно подгруппы К = 50(п — 1) и Н = 5,О0(1, п — 2). Первая из них компактна, вторая - некомпактна, стало быть - риманово пространство, а X - псевдориманово пространство.

Второй вариант - вариант (В) - состоит в том, что в качестве надгруппы С? мы берем обобщенную группу Лоренца большей размерности, а именно, группу 500(1, п). Мы расширяем пространство Еп до пространства Кп+1, добавляя координату .тп+1, и рассматриваем в Мп+1 билинейную форму х, у]] = -Х1У1 + Х2У2 + . + хпуп + хп+1уп+1.

Сфера О есть сечение конуса [[ж, ж]] = 0 плоскостью х\ = 1. Надгруппа действует линейно в Мп+1, она сохраняет конус [[ж, ж]] = 0 и действует транзитивно на каждой из его двух пол хг > 0 и XI < 0, на сечении она действует с помощью проектирования х ь-> х/х1, это действие транзитивно. Группа С вкладывается в надгруппу С? как подгруппа, сохраняющая координату хп+\. Соответствующее действие группы (7 на сфере О, имеет 3 орбиты. Это две открытые орбиты - полусферы Хп+1 > 0 и Хп+1 < 0, и орбита меньшей размерности - экватор хп+1 = 0.

Таким образом, сфера £2 получается "склеиванием" двух пол двуполостного гиперболоида [х, ж] = —1 по их границам ("бесконечностям").

Основной результат работы состоит в разложении канонических представлений группы С = БОо(1, п—1) на сфере О, для обоих вариантов (А) и (В) по неприводимым представлениям группы О, связанным с конусом.

Представления группы <7, связанные с конусом, см. главу I. Напомним некоторый материал, см., например, [17], [22], [25] об этих представлениях.

Возьмем сечение й1 конуса С плоскостью хі = 1. Оно состоит из точек в = (1, 52, ., Яп), Й2 + ••• + = 1> так чт0 0Н0 есть сФеРа в К"-1- Пусть Д5 - оператор Лапласа-Бельтрами на 5" и сів - евклидова мера на Б. Представление Та, а Є С, группы Сг действует на Р(5'):

Эрмитова форма

-Ф, <p)s = J^ <p(s) ds инвариантна относительно пары (Та, Т2-п-а), т. е.

TM^^s = (ФЛ-пМ^Ыз-Оператор Аа на T>(S), определенный формулой

Л,<р)00= [ (~[s,t])2-n-a <p(t)dt, J s сплетает представления Та и Т2-п-а:

Т2-п-М Л. = Аа Тв{д\ g EG.

Он мероморфно зависит от <т с (простыми) полюсами в точках а € (2 — п)/2 + N.

Композиция операторов Аа и есть скалярный оператор:

Аа = где и (а) = 2~п2 7Гп иш(а+£)тг • (2ст+п-2) Г(-а) Г(а+тг-2) как мы увидим позже, из (а) есть "мера Планшереля"). Представление Та и оператор Аа могут быть продолжены на пространство T>'(S) обобщенных функций на 5.

Представление Та неприводимо для всех а, кроме <тбМи(тЕ2-п-М. Если Та неприводимо, то Та эквивалентно Т^-п-а (с помощью Аа или его вычета).

Имеется три серии неприводимых унитаризуемых представлений Та и их подфакторов: (1) непрерывная серия: а € (2 —п)/2 + Ж, скалярное произведение есть {ф, (fi)s; (2) дополнительная серия: Т«, 2 — п < а < 0, скалярное произведение есть const • (Асг'ф,(р)з; (3) дискретная серия: ТУ\ г е N, представление 1 г действует в фактор-пространстве V(S)/Er, где Ет состоит из ограничений на S многочленов степени ^ г, скалярное произведение индуцируется формой, аналогичной дополнительной серии.

Назовем расширенной дискретной серией совокупность представлений Trd\ г G N, дискретной серии вместе с представлениями Тг дополнительной серии с целыми г, (2 - п)/2 < г < 0.

Рассмотрим подробнее вариант (А). Он значительно более труден, чем (В). Этому варианту (А) посвящены главы IV, V, VI диссертации.

Максимально вырожденные серии представлений надгруппы, см. главу V. Мы опираемся на [41]. Пусть А Є С, и = 0,1. Представления надгруппы С? = БЬ(п, К) получаются при индуцировании характерами (одномерными представлениями) параболических подгрупп Рт группы (?, отвечающих разбиению п = (п—1) + 1. Пусть Х>„(£1) обозначает пространство бесконечно дифференцируемых функций /(и) на сфере О четности V. Представление 7Гд действует в Х>„(П):

Представление 7Гд и есть 7Гд и о в, где в - автоморфизм д I - диагональная матрица с диагональю {—1,., —1, +1}.

Представления 7Гд и неприводимы, за исключением случаев (а) А е М, и = А, (Ь) А € -п - М, р ее Л + п. Полуторалинейная форма Н)п = J /(и) Н(и) йи п и - евклидова мера) инвариантна относительно пар (тг^, тс^хп1/), где берутся либо верхние, либо нижние знаки " ±". Это позволяет распространить представления 7Гд на пространство Т>1(П) обобщенных функций на О, четности и.

Представления этих двух серий обладают сплетающим оператором он сплетает представления тг^ и 7г^д

Канонические представления (см. § 23)

Канонические представления R\¡u, А Є С, v = 0,1, группы G = SOo(1,íi — 1) получаются при ограничении на G представлений надгруппы G = SL(n, R). Представление R\>v действует в пространстве VU(Q) по формуле М"А~В.

Оператор порождает оператор Q\¡l/} который сплетает fí.\>u с он определяется формулой = с(А,ї/) J [u,vf'u f{v) dv, n где c(A, v) - множитель (23.5). Композиция Q~\-n,uQ\,i> есть тождественный оператор:

Q-\-n,»Q\,» = E. (o.i)

Мы называем этот оператор преобразованием Березина. Мы называем формой Березина полуторалинейную форму, порожденную этим оператором, т. е. форму так что

ВхМ h) = с(А, р) [ [и, v]x'u f(u) Щ du dv. Jílxíl

Канонические представления Я\>и могут быть распространены на пространство 2^(0) обобщенных функций на Г2 четности и.

Граничные представления (см. § 24)

Каноническое представление R\tV порождает два представления L\ и Мх, связанные с границей Г2о многообразий f2±. Эта граница задается уравнением [и, и] = 0. Представление Lx действует в обобщенных функциях, сосредоточенных на Г2о, представление Мх действует в многочленах Тейлора (струях) от а — [и, и].

Рассмотрим "северную" полусферу VtN сферы Q, задаваемую условием щ > 0. Введем на "полярные" координаты (а, s), где а = [и, и] = 1 - 2uj, —1 ^ а ^ 1, 8= (l,s2, .,sn) е S: Ii -а /l + а /l + а \

У — 'У—32'-']/—3")

В этих координатах мера du есть du = 2~"/2 (1 + а)(n"3)/2 (1 - а)~1/2 da ds. (0.2)

Для функции / € Х>(Г2) рассмотрим ее ряд Тейлора по степеням а в области ClN:

Со + Сх а + . + ст ат + ., здесь ст - функции из V(S). Пусть c[f] - столбец, составленный из коэффициентов с0; Ci, с2, — Имея в виду (0.2), рассмотрим также функцию r(u) = (l + fl)in-3)/2(l-a)-1/2/(tt), и ее коэффициенты Тейлора обозначим через с*т. Коэффициенты с*п выражаются через ст и обратно - с помощью треугольной матрицы с единичной диагональю.

Обозначим через пространство обобщенных функций £ из "D (О), сосредоточенных на ST2q" и имеющих в полярных координатах (а, s) вид с = <po(s) 5(а) + ipi(s) (а) + . + <pk{s) ö{k\a), где 5(а) - дельта-функция Дирака на действительной прямой, <р0,., ipk ~ функции из V(S). Положим оо

Е(П) = U (0-3) к=0

Каноническое представление RXjV, рассматриваемое на сохраняет каждое ii) и фильтрацию (0.3). Обозначим через Lx ограничение представления RXjV на

Сопоставим обобщенной функции С столбец (^(ьУъ—jVfcjOjOs---) со счетным числом координат. Представление Lx есть верхняя треугольная матрица с диагональю Т2-п-а, ^-и-л, ^б-п-л,

Представление М\ группы G действует по формуле

М\(д) с [/] = с [R\,v{g) /]■

Представление М\ не зависит от и, поскольку в определении коэффициентов Тейлора ст участвуют значения функции / только в некоторой окрестности многообразия Г^о ■ Представление М\ нижняя треугольная матрица с диагональю Тдп, Тдп-2, Тд„4, — Имеется двойственность между представлениями La и Мл

Для обобщенной функции С € ЕЛ(Г2) (напомним, что supp£ С Ц}"), обозначим через обобщенную функцию из Vv(Q) такую, что ее ограничение на Q.N есть С, т. е.

См(«) = С(и) + (-1),'С(-и).

Обозначим пространство обобщенных функций через и обозначим

SM(fi) = иЕ¡^(fi). Ясно, что изоморфно Е*(П) и Е^(^) изоморфно E(fi).

Ограничение представления R\yV на эквивалентно представлению L\.

Обобщенные функции из Е^(П) можно распространить естественным образом на некоторое пространство, более широкое, чем Vv{Q). А именно, пусть T^ifl) -пространство функций / класса С°° на каждой G-орбите, четности v и имеющих разложение Тейлора порядка к: f(u) = с0 + cía Ч-----Ь скак + o(aft), где ст 6 2?(S).

Преобразования Пуассона и Фурье, связанные с каноническими представлениями (см. §§ 25, 26)

Это - операторы, сплетающие канонические представления и представления, связанные с конусом. Они играют основную роль в построении теории.

Преобразования Пуассона Р^иа и преобразования Фурье F\tVt(T, связанные с каноническими представлениями, определяются формулами (используемые обозначения см. в конце Введения):

V S f [иМ{±-а)'2 /(«) du.

J Г2

Преобразование Пуассона P^V(T отображает V(S) в пространство С~(П±) функций класса С°° на íl± и четности v и сплетает представления Т^-п-а и R\,„-Преобразование Фурье F^ отображает Vv(ü) в V(S) и сплетает представления R\íV с представлениями Та.

Преобразования Пуассона и Фурье сопряжены друг другу:

Со сплетающими операторами Аа и (преобразованием Березина) на Б и ^ преобразования Пуассона и Фурье взаимодействуют следующим образом. Для первого оператора мы имеем

А* 2-п-а,

- некоторые множители, см. (25.5), оба они являются аналогами с-функции Хариш-Чандры; мы имеем:

2 -п-а,є) = (втго^)}"1.

Обозначим г і -А + сЛ г /-Л-тг-а + 2

Л(Л, у, а) =

Для параметров Л, а общего положения имеют место следующие формулы А (Л, //, а) + Л-+ (Л, I/, а) Р+Ап>1/><г, Р&г = Л+-(Л, ^ а) Р1хп1/а. + Л++(А, V, а) ,

Р-\-п,и,а = Л-(Л, 1Л а) ^ + Л-+(А, I/, а) Р-х-п^а = Л+-(Л, I/, а) ^ + Л++(А, I/, а) ^ где

Л—(А,//,а) - Л(А,1/,а).(-1)", А — <7 , t\u ■ А + (7 Sin-7Г + ( — 1) Sin-7Г

Л-+(А,^,а) = Л(А, и, а)--2-^^-2

Sin Л7Г Х+а+п-2 , . Á-a-n + 2

Sin-7Г + ( — 1) sm---7Г

Л+"(А,1/,а) = Л(А ,и,а)--2-^^-2-, sin Á7T

A + TI + V-2 COS---7Г

Л++(Л, г/, ÍT) = Л(А, г/, а)--^-.

COS---7Г 2

Числа Л±=ь образуют матрицу (зависящую от А, и, а)-.

-( а именно, . Л(А, и, сг) ( cos^tt cos^ v, а) = L„ Л ■ 2

7Г

A—f I ,.„ А+гс-у COS^4r^7T V —COS 2-п —COS ¿п ч

Матрица М(Х,и,сг) есть своего рода "собственное число" преобразования Березина. Отметим ее свойства:

М(-А - п, и, а) М(Х, и, о) = Е,

М(А, и, О-)' = М(А, и, 2 - 71 - сг), штрих означает матричное транспонирование. Первое свойство отвечает (0.1), второе отражает эквивалентность представлений Та и Т2пст.

Явное вычисление матрицы М(А, и, а) оказывается трудной аналитической задачей. Мы вычисляем ее двумя способами. Первый способ состоит в прямом вычислении ядер преобразований в некоторых точках. Второй способ состоит в разложениии форм Березина на гиперболоидах и на парах гиперболоидов, см. ниже.

Важную роль играет разложение преобразования Пуассона (P\v ff<p) {и) по степеням переменной а — [и, и]. Обращение этой переменной в нуль как раз определяет многообразие fio

Пусть а £ (2 — n)/2 + Z. Для К-финитной функции ip G V(S) ее преобразования Пуассона имеют следующие разложения по степеням а — [и, и]: оо = (-1)Ч"Л-В-')/2 2-ст/2 £ (CW) (s)am + m=0 оо (-1 Y,(W„,mV){s)am, (0.4) m=0 где и 6 £2 имеет полярные координаты (a, s), Wa>m - некоторые дифференциальные операторы на S (многочлены от Д5), см. (5.45), и, см. (5.48),

Со",m = -¿4-2-n-<T W2-n-cr,m

Множители a¿"An~cr^2 и а±х+<7~'2^2 ("ведущие множители") дают полюсы преобразования Пуассона в плоскости а, зависящие от Л, они располагаются в точках а = X — 2к, а = 2- п- Х + 21, к,1 £ N. (0.5)

Преобразование Фурье F^ имеет полюсы в точках а = -Л - п - 2к, а — X + 2 + 2l: kje N. (0.6)

Если две последовательности (0.5) или (0.6) не пересекаются, то полюсы преобразования Пуассона или Фурье - простые, если же эти последовательности пересекаются и полюс принадлежит их пересечению, то его порядок ^ 2.

Напишем вычеты P\iV¡fl преобразований Пуассона в простых полюсах /J. Оказывается, что эти вычеты являются операторами, действующими из V(S) в пространство E^(íí). Определим сначала следующий оператор на северном полушарии Q,N: m |

ЬМ = £ (-1Г Т^лТ ¿(m-r)(«)> n V ' действующий из Т>и(3) в Для т ^ 1 он зависит от Л мероморфно - с простыми полюсами в точках Л = га+г+(2-га)/2, г = 0,1, .,т-1. В частности, £\,о(<р) = 5(а). Затем мы определяем операторы Х>(5) -> Е^(^):

Пусть полюс а = ¡х принадлежит только одной из серий (0.5), тогда он - простой и

Х-М = (Т1)* (-1)" I ¿±(А - 2Л,„)

Р\,и,2—п—\+21 = (-1)" I

Оператор сплетает представление Т2пл+2к с представлением

Напишем вычеты преобразований Фурье в простых полюсах ¡л. Для этого определим "граничные" операторы Ь\,т\ Т>и(Г2) —> Х>(5), используя коэффициенты Тейлора с*к: т

ЬА,т(/) = Е ^Л-„-2т,Г(4г). (0.7) г=0

В частности, &д,о(/) = = с0. Если полюс сг = —Л — п — 2к или а = А + 2 + 21 -простой, то

Оператор 6л,т сплетает представления П.\,и И Т-Х-п-2тп

Ь\,т = Т-\-п-2т(9) Ь\,т, 9 £ он мероморфен по Л с простыми полюсами в точках Л = —(га/2) — гга — г — 1, г = 0,1,., т — 1. Граничные операторы Ь и операторы £ сопряжены друг другу:

ЙЦг», />п = 2<2-*)/2(-1 Г ш! 6д,т(/))5. (0.8)

Преобразования Пуассона и Фурье в полюсах друг друга (см. § 27) имеют некоторые специальные свойства. Нам потребуются следующие линейные комбинации рЫ р+ 4- С—1 )тР~

Л,1» — А,1/,—Л—71—2т ~ V ^ А,1/,—А—п—2т' где теМ. Важно то, что для Р^ один из ведущих множителей есть ат, это - многочлен. Поэтому для ИеЛ < -2к - 1 - п/2 и т = 0,1,.,А: разложение преобразования Р^ есть оо (-1Г2^+2™)/2 ат £ (САп2т,^)(5) аг + о(а*). г—О

Напомним, что Са>о = А2-п-<г• Следовательно, мы можем применить к Р^ф граничные операторы Ьх,т, 0 ^ т ^ к. Мы получаем: пусть к 6 М, пусть Г1е Л < —2к — 1 — п/2, тогда для т ^ к мы имеем МГ 2(х+п+2т»2Ах+2+2т<р, и для г,т ^ к, г ф т, имеем

Теперь мы можем применить обобщенные функции из к образам преобразований Пуассона, указанным выше. Используя соотношение дуальности (0.8), получим: пусть к е 14, пусть ИеЛ < —2к — 1 — п/2, пусть г,т ^ к, тогда имеют место следующие "соотношения ортогональности":

1 = (-1Г+т 2<А+"+2™>/2 т! <ЛЛ+2+2т^Ь, 0, г ф т.

Это позволяет распространить преобразование Фурье Р^ на обобщенные функции

С € т^к. Для ЫеЛ > 2к + 1 — п/2 преобразования Фурье ^^ являются обратными" отображениями к £л,т с точностью до оператора Дг, а именно, имеют место следующие соотношения (-1)1/+т т! 2(2-п-Л+2т5/2 А2-п-х+2т Ф, = 0, г,т ^ к, г Ф т.

Эти формулы показывают, что отображения определенные первоначально как отображения (£)) —Т>'(8), на самом деле являются отображениями

Преобразования Р^ появляются также при взаимодействии оператора и преобразования Березина. Имеют место следующие формулы где К^ и - некоторые множители, см. теорему 27.4.

Разложение граничных представлений (см. § 28)

Для Л общего положения граничные представления Ь\ и М\ диагонализуются с помощью операторов и Ьх,к

Пусть У^к ~ образ оператора Это пространство содержится в Если

А + (п — 4)/2 ^ М, то представления Та, стоящие на диагонали в Ь\, попарно неэквивалентны. Следовательно, £(Г2) разлагается в прямую сумму пространств У\,к, к 6 14, инвариантных относительно Ь\, и ограничение представления Ь\ на пространство УА)/с эквивалентно представлению Т2-п-х+2к

Пусть —А — (п + 4)/2 ^ N. Тогда граничные операторы Ь\,к определены для всех к £ N. Обозначим через тд отображение, которое каждой последовательности с[/] сопоставляет последовательность ЬХ = (6д>0, бдд,.) согласно формуле (0.7) - без /. Это отображение задается нижней треугольной матрицей с единичной диагональю. Оказывается, что гл Мд тх1 есть диагональная матрица с диагональю Т^х-п, Т-х-п-2, Т-Х-п-Л, —

Для исключительных значений А разложение представлений Ьх и Мд значительно более сложно, там появляются жордановы клетки.

Разложение канонических представлений (см. § 29) по представлениям, связанным с конусом, состоит из двух формул разложения: первая формула (формула обращения) восстанавливает функцию / Е Т>„(0.) по ее компонентам Фурье а/, вторая формула ("формула Планшереля") разлагает форму Березина по инвариантным эрмитовым формам для представлений

Та. Формула обращения использует преобразования Пуассона Рх>и>а

Для прозрачности изложения мы ограничиваемся тем, что формулы разложения пишем для А общего положения, а именно, для А из вертикальных полос ширины 2: п — 2 2 — п

Ь : —5--V 2к < Яе А < —---Ь 2к, к £ Ъ. £

Для "центральной" полосы /о формула обращения получается из объединения формул обращения для квазирегулярных представлений 11у+ и 11х группы б? на гиперболоидах X и Напомним, что представление 11у+ разлагается по непрерывной серии с кратностью 1 (это - классический результат, середина XX века, см. например, [17]). Представление 11% разлагается по непрерывной серии с кратностью 2 и расширенной дискретной серии с кратностью 1 (В. Ф. Молчанов, 1966, см. [23]).

Формула обращения для Ях,У есть с1р + а={2-п)/2+гр оо -00 где суммирование происходит по целым г > (2 — п)/2 таким, что г = и + 1 (mod2). Множители ш(а) и даются формулами (12.2) и (12.3). Преобразования Пуассона и Фурье с тильдой получаются из преобразований Пуассона и Фурье, определенных выше, делением на Г ((сг + 1 + и)/2).

Форма Березина #л,і/(/, Л) для Л Є /о раскладывается следующим образом

В:

ОО X сг=(2—п)/2+гр dp + £ ^ Л++(Л, „, 2 - п - г) (0.10) где Є {-,+}.

Таким образом, для А Є /0 мы имеем следующую теорему (см. теорему 29.1).

Теорема 0.1 Для А 6 /о каноническое представление разлагается в прямой интеграл представлений непрерывной серии с кратностью 2 и представлений расширенной дискретной серии с кратностью 1. А именно, сопоставим функции / е Т>и(0) совокупность ее компонент Фурье а = (2 - п)/2 + гр;

2 - п)/2 < г < 0, г £ Ъ; г 6 Н, г = и + 1. Это соответствие (?эквивариантно. Имеет место формула обращения (0.9) и "формула Планшереля" (0.10) для формы Березина.

Продолжим теперь формулу обращения (0.9) аналитически по А из 10 в Ik+i, к £ N. Некоторые полюсы по а подинтегрального выражения пересекают линию интегрирования - прямую Rea = (2 — п)/2. Это - полюсы а — А — 2то и а = 2 — n — Х + 2т, т = 0,1,., к, преобразований Пуассона P^v2na. Они дают дополнительные слагаемые в правой части. Пара полюсов (А — 2то, 2 — п — А + 2то) дает дополнительный член, равный умноженному на Аж вычету подинтегральной функции в точке а = А — 2то. После продолжения получим: оо ^

Е +Е *w/)» (°-п)

00 г т=0 где интеграл и ряд означают то же, что и в (0.9) и

V,m(/) = 4тго;(А-2то)(-1)^^12(л+"-2-)/2х

Образ оператора 7Гд^>т совпадает с образом оператора

Продолжим в Ik+i формулу разложения (0.10) формы Березина. Сейчас полюсы ст = А-2ти<х = 2- гг-А + 2 то, то = 0,1,., подинтегральной функции - это полюсы множителей а). После продолжения получим: оо fe Е + Е T(X,u,m)(A^2ínF^f, F™h)s, (0.12)

Г 771=0 где интеграл и ряд означают то же, что и в (0.10), Т(А, и, т) - некоторые множители, только множителем отличающиеся от о;(Л — 2т)К^]п.

Операторы 7Гл,і/,т? пг ^ к, можно распространить с пространства Т>и{Гі) на пространство Е^(Гі), потому что преобразования Фурье, участвующие в этих операторах, уже распространены. Таким образом, операторы /кх,и,ш с т ^ к определены на пространстве

Операторы 7Гліі/]ТО, т < к, действующие в пространстве являются проекционными операторами, проектирующими на пространства У\>т, т. е. имеют место соотношения: т 7ГА,у,га = ^А,і/,Ш)

ТА,«/,™ ^А,и,г ~ 0, тфг.

Кроме того, на этом пространстве определена форма Березина В\,и, и имеют место "соотношения ортогональности":

А,^(7ГАЛт(/).ЯА1І/)Г(Л)) = т Ф ТВ частности, для обобщенной функции / Є получаем ее разложение по ее проекциям на пространства т ^ к: к т=0

Итак, для Л є Ік+і, к Є М, мы имеем следующую теорему (см. теорему 29.3).

Теорема 0.2 Пусть А Є 1, к Є N. Тогда пространство Т>и(£1) иуоісно дополнить до пространства = + В этом пространстве представление

ЯА,„ раскладывается в сумму двух слагаемых: первое разлагается как в случае А Є 10) второе разлагается в сумму к + 1 неприводимых представлений Т2-п-х+2т> т = 0,1,., к. Имеет место формула обращения, см. (0.11), и "формула Планшереля" для формы Березина, см. (0.12).

Как следует из соотношений ортогональности, формула (0.12) есть "теорема Пифагора" для (0.11).

Наконец, продолжим теперь формулу обращения (0.9) аналитически но Л из /о в 1-к-и к Є N. Здесь полюсы 0- = А + 2 + 2тисг = -А - п - 2т, т = 0,1,., к, подинтегралъной функции являются полюсами преобразований Фурье Они дают добавочные слагаемые в правой части: оо ^

Е +Е (°-13) г тп—0 20 где интеграл и ряд означают то же, что и в (0.9), и

ПЛ,,,т(/) = (-1)" 4тг ш(Х + 2 + 2т) ■ 22-п~х~2тУ2 х

Оператор Пх,и,т сплетает Т\+2+2т и и- Обозначим через Ш\ит образ пространства под действием преобразования Пдіглт. Операторы Пд„т с т ^ к можно распространить на пространство (А), поскольку операторы Ьх,т с то ^ к определены на этом пространстве. В частности, можно применить Пд(„)ТП, к \УХ,{ г ^ к, и мы вправе рассматривать произведения Пді1/ітПд>І/іГ, где т,г ^ к. Операторы Пд,і/,ш, т^к, являются проекторами на а именно, имеют место соотношения:

Па^тпПа^го = Пд,„,т, Пл^Щ,^ - 0, г ф т.

Кроме того, имеют место "соотношения ортогональности":

ВЛ),(ПлЛт(/),ПХ)І/іт(Л)) = N (А, V, т) (-<4А-п-2т&А,т(/), ^(Пл,,,т(/),Пх^(/г)) = 0, гфш, где 7У(Л, д/, то) - некоторые множители, см. (29.10).

Продолжим из /о в формулу разложения (0.10) формы Березина. Здесь полюсы а = А + 2 + 2т и <т = —Л — п — 2т, т = 0,1,., к, подинтегральной функции оказываются полюсами обоих преобразований Фурье, так что каждое из четырех слагаемых (а, /З Є {+,—}) имеет полюс второго порядка. К счастью, вся сумма этих четырех слагаемых имеет полюс только первого порядка (старшие лорановские коэффициенты взаимно уничтожаются) и вычет получается в обозримом виде. Мы имеем к Е (0-14) г гп—0 где интеграл и ряд означают то же, что и в (0.10). Формула (0.14) есть "теорема Пифагора" для (0.13).

Таким образом, для А Є 1-к-ъ к Є N мы имеем следующую теорему (см. теорему 29.6).

Теорема 0.3 Пусть А Є І-к-ь А; Є N. Тогда представление рассматриваемое на пространстве распадается на сумму двух слагаемых. Первое действует на подпространстве функций, для которых их коэффициенты Тейлора ст равны нулю для т ^ к, и разлагается как представление Я\>и в случае А Є /о, второе разлагается в прямую сумму неприводимых представлений Тх+2+2т{~ Т-х-п-2т), т ^ к, действующих на сумме пространств т ^ к. Имеет место формула обращения, см. (0.13); и "формула Планшереля" для формы Березина, см. (0.14).

Отметим, что одно из преимуществ изучения канонических представлений сразу на всей сфере О,, а не на гиперболоидах по отдельности, состоит именно в

ВхА1,ь)=[ том, что подинтегральная функция в разложении формы Березина имеет полюсы только первого порядка, это позволяет написать дополнительные слагаемые при аналитическом продолжении в явном и прозрачном виде.

Формы Березина на парах гиперболоидов (см. § 14)

Форма Березина на Г2 порождает 4 формы (назовем их тоже формами

Березина) на парах (Х,Х), {Х,У+), -Ядра этих форм получаются из ядра с(А, и) [и, VIх'1' формы Березина на £2 переходом на гиперболоиды с помощью условий однородности. А именно, мы имеем 4 ядра

Е\,й(х, У) = С(А> ( - [®> 2/]) . У Є У+,

Е++(х, у) = с(А, и) [х, у}х>", х, у Є X, Е${х, у) = с(А, и) [х, у]х'", хєУ+,уЄХ, Е+~{х,у) = с(А, и) [х,у]х*, хЄХ,уЄ У+.

Две последние сводятся одна к другой, поэтому возьмем одну из них и обозначим

А?

Е™(х, у) = с(А, и) у]*", х Є Х,у Є У+.

Обозначим через ВВ™* соответствующие полуторалинейные формы.

Будем рассматривать их на функциях из Т>(У+) и Т>(Х) (на функциях класса С°° на и А' с компактным носителем).

Если мы в ядрах Е^ в качестве одного из аргументов возьмем начальные точки хй = (0, .,0,1) Є X или у0 = (1,0, .,0) Є то мы получим функции от одного аргумента, назовем их функциями Березина. А именно, мы имеем

Еї~(у) = с{\,и) ух, у£У+,

ХЄХ,

Л&х(У) = С(\1')УУ, УЄУ+.

Сферические функции (см. §§ 10, 13, 15)

Задача о разложении форм Березина сводится к задаче о разложении функций Березина по сферическим функциям на Ф<т,і/ на X и смешанным сферическим функциям Фа1/ на У+. (Сферические функции для гиперболоидов были вычислены в [26].)

В определении преобразований Пуассона перейдем от точек и сферы к точкам у,х гиперболоидов и X. Тогда зависимость от А исчезнет. Мы получим преобразование Пуассона Ра\ Т>{3) —С°°(У+), определяемое формулой и преобразование Пуассона Ра<е: Т>(в) —>■ С™(Х) (последнее пространство обозначает подпространство в С°°(Х) функций четности е — 0,1), по формуле (мы заменили и на е):

Р^ф) (х) = ! [х, а]'* Ц>{8) ¿8.

Напомним, что стационарными подгруппами начальных точек у° и ж0 из и X, соответственно, служат подгруппы К и Н. Сферические функции определяются как преобразования Пуассона К-инвариантов и //-инвариантов в V (5) относительно Та.

Инвариант для К в Т>' (¿?) относительно Та есть функция 0~, тождественно равная 1. Сферическая функция Фст(?/) на У+ есть [Рав~)(у)\

Вот ее явное выражение - через функции Лежандра:

9.(у) = (27г)7+1 (у2, - Р^Ы, где мы для краткости обозначили п-3

Пространство инвариантов для Н в Т> (51) относительно Та двумерно, базис в нем состоит из двух (е = 0,1) обобщенных функций

Сферическая функция Ф^е есть обобщенная функция (Р^в^-п-ст,е){х) на X, она действует на / 6 Т2(Х) по формуле

Ф^,/)дг= / [хй,8]2-п-^ <18 [ [х,8]**№<Ь

Б •/X

На множестве хп ф ±1 эта функция есть классическая функция

Х1 - 1П/2 с некоторым коэффициентом.

Определим смешанную сферическую функцию Фа,е{у) иа как преобразование Пуассона Р2ге(Т (отвечающее /{'-инварианту в~) от Я-инварианта 0а>£, а именно,

Ф„М = (р2„, в^){у) = [ 8^ [~У,з\2-П-° ¿8. Б

Она есть классическая функция на У, выражающаяся через функции Лежандра от мнимого аргумента: ф^у) = (27Г)7+1 \е1™'2 + (-1 )£е-г>7г/2]1х у2п + 1)~7/2{е^/2Р-+7т(гуп) + ЫТе^Р^-гуп)}, х где верхний или нижний знак "—" или "+" в показателях берется при уп > 0 или уп < 0, соответственно.

Для преобразования Пуассона от ^-финитной функции (р е Т>(Б) справедливо разложение ее по степеням Ь = {х\ + I)-1, аналогичное (0.4). Для произвольной функции (р 6 Х>(5'), не обязательно ^"-финитной, такое разложение является только асимптотическим. Доказательство этого факта (доказательство теремы 5.5) оказалось достаточно трудной задачей, см. об этом также в [1, 33-35].

Разложения функций Березина (см. §§ 16-19) по сферическим функциям при условии

ReA < ~- (0.15)

00 dp, a=(2-n)/2+ip dp + о={2-п)/2+гр даются следующими формулами: оо ш(а) А (А, v, а)

00

00 w(a) А++(А, и, а) Ф^ оо Y1 urd) Ач+(А,^,г)

00 ы(а)А'Л(А|1/,а)Ф„ .dp, оо iт=(2-п)/2+гр где суммирование происходит по целым г > (2 — га)/2, г = и + 1, а + и

COS —--7Г (—1)"Л+(А, г/, сг) = Л(А, v, а) -j^-.

COS---7Г 2

Для этих разложений функций Березина по сферическим функциям мы применяем спектральные разложения для оператора Лежандра /9 d2 „ d 4а2 где а 6 С, на следующих интервалах: интервал (1,оо), вещественная ось R и мнимая ось Ж. Для a G К. и |а| < 1/2 мы используем теорему Титчмарша-Кодаиры (вариант), см., например, [21]. Заметим, что для R ситуация несколько отличается от ситуации, для которой сформулирована эта теорема (у нас оператор имеет особые точки внутри интервала, на котором он определен, это точки ±1), доказательство теоремы проходит - с некоторыми естественными изменениями. Затем мы продолжаем разложение аналитически по а в точку а = (га — 3)/4.

Разложения форм Березина, полученные для области (0.15), можно было бы пытаться продолжить аналитически из этой области направо отдельно для каждого гиперболоида и пары гиперболоидов. Однако, более естественно делать это, как мы и сделали выше, в рамках разложения канонических представлений на сфере П, причем в более общей ситуации, а не только для функций с компактным носителем из или

Разложение формы Березина на паре гиперболоидов позволяет построить своего рода гармонический анализ на паре гиперболоидов X, Это - разложение полуторалинейной формы Лт(1, Н), где / € Т>(Х), к е Т>(У+), ядро которой есть дельта-функция 5([ж,?/]) или ее производные ([ж, у]) от билинейной формы [х,у] (здесь 5(1) - дельта-функция Дирака, х Е X, у Е 5>+).

Асимптотика преобразования Березина (см. §§ 16, 17)

Ядро у) порождает оператор В^ в Ь2(Х,йх) с этим ядром, назовем его преобразованием Березина. При условии —п/2 ^ ЯеА < (2 — п)/2 он оказывается ограниченным оператором в Ь2(Х,йх).

Оператор Вх , получающийся из некоторой нормировкой, имеет следующую асимптотику при Л —оо: где Ад- - оператор Лапласа-Бельтрами на X. Это соотношение аналогично принципу соответствия из квантования Березина для эрмитовых симметрических пространств, роль постоянной Планка играет число — 1/(2А). Более того, мы можем написать полное асимптотическое разложение (см. теорему 16.6): пусть А стремится к оо вдоль луча в полуплоскости (0.15), отличного от вещественной отрицательной полуоси, тогда имеет место следующее асимптотическое разложение: оо т— 1 ~ Е ^ П [Д* - *(2г + П - 2)] • -/2>(т1. (0.16) т—0 г=0 при т = 0 произведение в ряде считается равным 1, так что весь член ряда с т = 0 равен 1; разложение (0.16) понимается в том смысле, что разность между оператором В'х и всякой частичной суммой ряда стремится к нулю на всякой функции из Ь2(Х,йху.

Аналогичные формулы справедливы для

Вариант (В) (глава VII) рассматривается вполне аналогично варианту (А). Он в значительной мере проще, поскольку обе открытые орбиты на О совпадают как однородные пространства. Поэтому, в частности, собственные числа преобразования Березина - это числа, а не матрицы.

Отметим явные формулы, связывающие различные базисы в пространстве обобщенных функций, сосредоточенных на границе, см. § 33. Это - "старый базис" и "новый базис" к■ Аналогичные формулы можно написать и для варианта (А).

Сформулируем основные результаты работы.

Как уже было сказано выше, основной результат работы состоит в разложении канонических представлений группы Є = 8О0(1,п — 1) на сфере £1 для обоих вариантов (А) и (В) по неприводимым представлениям а Є С, группы Є, связанным с конусом, - результат под номером 1 в списке, следующем ниже. Этот результат получен с помощью некоторых конструкций, методов и вычислений, составляющих результаты с номерами 2-15. Многие из них представляют и самостоятельный интерес.

1. Разложение канонических представлений А Є С, и — 0,1, обобщенной группы Лоренца (? = 80о(1,п — 1) на неприводимые составляющие - с действием группы О на единичной сфере Г2 в пространстве Кп, порожденным надгрупной С, для двух вариантов надгруппы: (А) Є = БЬ(гг, М), (В) С = 8О0(1,п).

2. Разложение граничных представлений, порожденных каноническими представлениями, группы С? для обоих вариантов (А) и (В).

3. Определение (интегральное выражение) операторов, сплетающих канонические представления и представления Тст, связанные с конусом (преобразования Пуассона р\,и,а и преобразования Фурье Р}^).

4. Исследование мероморфной структуры преобразований Пуассона и Фурье как функций от параметра а представлений, связанных с конусом, при фиксированных значениях параметров А, и канонических представлений (нахождение полюсов, вычетов и т. д.).

5. Описание операторов, сплетающих граничные представления и представления, связанные с конусом ("граничных" операторов и ЬдіШ), они появляются как вычеты преобразований Пуассона и Фурье.

6. Вычисление композиций преобразований Пуассона и Фурье и преобразования Березина (оператора, сплетающего канонические представления). Это - вычисление своего рода "собственных чисел" преобразования Березина (в случае (А) - это матрица второго порядка).

7. Вычисление композиций преобразования Березина и граничных операторов.

8. Описание частей граничных представлений, входящих в разложение канонических представлений: построение операторов, сплетающих канонические представления и неприводимые составляющие граничных представлений (операторы

7Гд,іи ПАлто), описание их свойств (соотношения проектирования, соотношения ортогональности).

9. Нахождение асимптотики преобразования Пуассона на границе. Здесь получено разложение в ряд по степеням "расстояния до границы" преобразования Пуассона от /^-финитных функций, а также асимптотическое разложение для произвольных, не обязательно /і'-финитпьіх, функций.

10. Разложение форм Березина на гиперболоидах и парах гиперболоидов. В частности, это дает другое, независимое, вычисление "собственных чисел" преобразования Березина.

11. Явная формула для полного асимптотического разложения преобразования Березина в терминах оператора Лапласа-Бельтрами на однополостном гиперболоиде при А —^ —оо. Первые два члена асимптотики дают аналог принципа соответствия из квантования.

12. Определение и вычисление в явном виде "смешанных" сферических функций. С их помощью делается разложение формы Березина на паре гиперболоидов.

13. Построение гармонического анализа на паре гиперболоидов.

14. Разложение функции Березина для пары гиперболоидов по смешанным сферическим функциям. Это делается на основе спектрального разложения оператора Лежандра на мнимой оси и с помощью аналитического продолжения по размерности пространства.

15. Явное выражение друг через друга различных базисов в пространстве обобщенных функций, сосредоточенных на границе.

Результаты диссертации могут найти применение в других областях функционального анализа и теоретической физике.

Основные результаты диссертации опубликованы в работах: [1]-[11], [30]—[31], [33]-[38], из совместных работ в диссертации использованы только результаты автора.

Нумерация формул и теорем (лемм) в работе единая. Первый символ означает номер параграфа, второй - номер формулы или теоремы.

Благодарности

Автор выражает глубокую благодарность профессору В. Ф. Молчанову за внимание к работе, заинтересованное и плодотворное обсуждение по существу исследования.

Приведем некоторые обозначения, используемые в работе. N = {0, 1, 2, . }, Z, К, С - множества целых, вещественных, комплексных чисел, соответственно, Ж* - мультипликативная группа вещественных чисел (М* = Е\ {0}). Знак сравнения = всегда обозначает сравнение по модулю 2. Мы используем следующее обозначение для характера (гомоморфизма в мультипликативную группу комплексных чисел) группы Ж*: где £ £ М*, /х € С, е 6 Ъ. Этот характер зависит только от класса вычетов числа е по модулю 2, так что обычно мы берем £ € {0,1}.

Для многообразия М через Т>(М) обозначается пространство комплекснозначных бесконечно дифференцируемых функций на М с компактным носителем, снабженное обычной топологией. Через &(М) обозначается пространство обобщенных функций на М - антилинейных непрерывных функционалов на Т>(М).

Для группы Ли (? через С?е обозначается связная компонента единицы. Если группа Ли обозначается заглавной латинской буквой, то ее алгебра Ли обозначается соответствующей строчной готической буквой.

Для алгебры Ли 0 мы обозначаем через Епу(д) ее универсальную обертывающую алгебру.

Дифференцируемое представление Т группы Ли С? порождает представление алгебры Ли д (дифференциал представления Т) и, следовательно, представление алгебры Епу(д). Для этих порожденных представлений мы сохраняем тот же самый символ (в данном случае Г), который обозначает представление группы. Пусть полуторалинейная форма на Т>(М) Р(х)7Щ<1х (0.17)

Зм

1х - некоторая (^-инвариантная мера на М) инвариантна относительно пары представлений (Т, <5) группы Ли (?, действующих в Т>(М), т. е.

Т(д)Ъ 3(д)/)м = & 1)м, или, что все равно,

Т(<7Ж/)М Н^агЧЯм. (0.18)

Тогда мы можем распространить представление Т на пространство Т>'(М) обобщенных функций на М - с помощью формулы (0.18), в которой /)м обозначает значение функционала Г из Т>'(М) на основной функции / из Т>(М). Для полученного представления в обобщенных функциях мы сохраняем тот же символ (в данном случае Т). Это в самом деле есть расширение первоначального представления Т: пространство Т>(М) вкладывается в Т>'{М), если мы сопоставим функции Г из Т>(М) функционал / (.Р,/}м из Т)'(М) с помощью формулы (0.17), а формула (0.18) и дает требуемое расширение.

Аналогично, пусть А - оператор в Т>(М) и А* - сопряженный ему, т. е. такой, что для всех .Р и / из Т>(М) имеет место

Пм = (Р, А*Лм; (0-19) тогда мы можем распространить А на Т>'(М) с помощью формулы (0.19). Мы используем следующие обозначения для "обобщенных степеней": аН = а (о + 1). (а + тп — 1), а^ = а (а — 1). (а — ш + 1) мы предпочитаем обозначение асимволу Похгаммера (а)т).

Глава І. Представления обобщенной группы Лоренца, связанные с конусом

1. Артемов А.А. Преобразование Пуассона для однополостного гиперболоида // Матем. сб., 2004, том 195, № 5, 33-58. (Engl, transl.: Artemov А.А. Poisson transformation for one-sheeted hyperboloids. Sbornik: Mathematics, 2004, tome 195: 5, 643-667.)

2. Артемов А.А. О некоторых многочленах, связанных с гипергеометрической функцией // Фундаментальные и прикладные исследования в системе образования: Материалы 1-ой Междунар. научно практ. конф.- Тамбов: Изд-во Тамб. гос. ун-та, 2003, 139-141.

3. Артемов А.А. Граничные представления на пара-эрмитовых пространствах ранга один // Вестник Тамбовского университета. Сер. естеств. и технич. науки,2007, Т. 12, вып. 1, 16-22.

4. Артемов А.А. Разложение формы Березина на сфере // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 2008, Т. 13, вып. 1, 7-8.

5. Артемов А.А. Канонические и граничные представления обобщенной группы Лоренца на сфере // Современная математика и математическое образование, проблемы истории и философии математики: Материалы международ, научн. конфер. Тамбов: Першина, 2008, 12-13.

6. Артемов А.А. Канонические представления на сфере с действием псевдоортогональной группы // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки,2008, том 13, вып. 6, 445-473.

7. Артемов А.А. О собственных числах преобразования Березина // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 1, 325-327.

8. Артемов А.А. Канонические представления обобщенной группы Лоренца на сфере // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 4, 656-659.

9. Артемов А.А. Разложение функции Березина на пространстве Лобачевского по смешанным сферическим функциям // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2010, том 15, вып. 1, 358-361.

10. Артемов А.А. Граничное поведение преобразования Пуассона для однополостного гиперболоида // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2010, том 15, вып. 6, 1690-1698.

11. Артемов А.А. Канонические и граничные представления на сфере с действием обобщенной группы Лоренца: монография. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2010. 235 с.

12. Бейтмен Г., Эрдейи А. Высшие трансцендентные функции. Гипергеометрическая функция, функции Лежандра. М.: Наука, 1965.

13. Бейтмен Г., Эрдейи А. Высшие трансцендентные функции. Функции Бесселя, функции параболического цилиндра, ортогональные многочлены. М.: Наука, 1966.

14. Бейтмен Г., Эрдейи А. Таблицы интегральных преобразований. Том II, М.: Наука, 1970.

15. Березин Ф.А. Квантование в комплексных симметрических пространствах // Изв. Акад. Наук СССР, сер. матем., 1975, том 39, № 2, 363-402.

16. Вершик A.M., Гельфанд И.М., Граев M.И. Представления группы SL(2,R), где R кольцо функций // Успехи матем. наук, 1973, том 28, № 5, 83-128.

17. Виленкин Н.Я. Специальные функции и теория представлений групп. М.: Наука, 1965.

18. Гельфанд И.М., Шилов Г.Е. Обобщенные функции и действия над ними. М.: Физматгиз, 1958.

19. Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений. М.: Физматгиз, 1963, 1100 с.

20. Грошева Л.И. Канонические и граничные представления на пространстве Лобачевского // Вестник Тамбовского ун-та, 2004, том 9, вып. 3, 306-311.

21. Данфорд Н., Шварц Дж. Т. Линейные операторы. Спектральная теория. М.: Мир, 1966.

22. Желобенко Д.П. О бесконечно дифференцируемых векторах в теории представлений // Вестник МГУ. Сер. матем., мех., 1965, № 1, 3-10.

23. Молчанов В.Ф. Гармонический анализ на однополостном гиперболоиде // Докл. АН СССР, 1966, том 171, № 4, 794-797.

24. Молчанов В.Ф. Аналог формулы Планшереля для гиперболоидов // Докл. АН СССР, 1968, том 183, № 2, 288-291.

25. Молчанов В.Ф. Представления псевдоортогональной группы, связанные с конусом // Матем. сб., 1970, том 81, № 3, 358-375.

26. Молчанов В.Ф. Сферические функции на гиперболоидах // Матем. сборник, 1976, том 99, № 2, 139-161.

27. Молчанов В.Ф. Формула Планшереля для гиперболоидов // Тр. Мат. ин-та им. В.А. Стеклова, 1980, том 147, 65-85.

28. Молчанов В.Ф. Гармонический анализ на однородных пространствах // Итоги науки и техн. Сер. Совр. пробл. матем. Фундам. напр. / ВИНИТИ. 1990, том 59, 5144.

29. Молчанов В.Ф. Канонические представления на двуполостных гиперболоидах // Записки научных семинаров ПОМИ, 2006, том 331, 91-124.

30. Молчанов В.Ф., Артемов A.A., Грошева Л.И. Канонические и граничные представления // Вестник Тамбовского унив. Сер.: Естеств. и техн. науки, 2009, том 14, вып. 6, ч. 3, 1367-1425.

31. Некоммутативный гармонический анализ и квантование на многообразиях: монография / В.Ф.Молчанов, А.А.Артемов, Н.Б.Болотова и др.; под ред-В.Ф.Молчанова. Тамбов: Издат. дом ТГУ им. Г.Р. Державина, 2010. 355 с.

32. Неретин Ю.А., Ольшанский Г.И. Граничные значения голоморфных функций, особые унитарные представления групп 0(p,q) и их пределы при q —> оо // Записки научн. семин. ПОМИ РАН, С.-Петербург, 1995, том 223, 9-91.

33. Artemov A.A. Poisson transform for hyperboloids // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 1998, Т. 3, вып. 1, 21-34.

34. Artemov A.A. Asymptotic behaviour of the Poisson transform for hyperboloids // Материалы III Европейского математического конгресса. Барселона, 2000.

35. Artemov А.А., Molchanov V.F. The Laplace-Beltrami operator on rank one semisimple symmetric spaces in polar coordinates // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 2005, Т. 10, вып. 4, 350-356.

36. Artemov А.А. Canonical and boundary representations on rank one para-Hermitian spaces // International Congress of Mathematicians Madrid 2006: Abstracts -European Mathematical Society, 2006, 62.

37. Artemov A.A. Canonical and boundary representations on rank one para-Hermitian symmetric spaces // Гармонический анализ на однородных пространствах и квантование. Международная научная конференция. Тамбов: Изд-во ТГУ, 2007, 1.

38. Dijk G. van. Canonical representations // Вестник Тамбовского университета. Сер. естеств. и технич. науки, 1997, Т. 2, выи. 4, 350-366.

39. Dijk G. van, Hille S. Canonical representations related to hyperbolic spaces //J. Funct. Anal., 1997, vol. 147, 109-139.

40. Dijk G. van, Molchanov V.F. Tensor products of maximal degenerate series representations of the group SL(n,R) // J. Math. Pures Appl., 1999, tome 78, No. 1, 99-119.

41. Dijk G. van, Pasquale A. Canonical representations of Sp(l,n) accociated with representations of Sp(l) // Commun. Math. Phys., 1999, vol. 202, 651-667.

42. Dijk G. van, Pasquale A. Harmonic analysis on vector bundles over Sp(l,n)/Sp{l) x Sp(n) // L'Enseignement Math., 1999, tome 45, 219-252.

43. Dijk G. van. Canonical representations associated to hyperbolic spaces II // Indag. Mathem., N.S., 1999, vol. 10, No. 3, 357-368.

44. Dijk G. van, Sharshov Yu.A. The Plancherel formula for line bundles on complex hyperbolic spaces // J. Math. Pures Appl., 2000, vol. 79, No. 5, 451-473.

45. Dijk G. van, Pevzner M. Berezin kernels of tube domains // J. Func. Anal., 2001, vol. 181, 189-208.

46. Englis M. Berezin transform and Laplace-Beltrami operator // St. Peter. Math. J., 1996, vol. 7, 633-647.

47. Englis M. Invariant operators and the Berezin transform on Cartan domains // Math. Nachr., 1998, vol. 195, 61-75.

48. Fujita E., Nomura T. Spectral decompositions of Berezin transformations on Cn related to the natural U(n)~ action //J. Math. Kyoto Univ., 1996, vol. 36, 877-888.

49. Molchanov V.F. Quantization on para-Hermitian symmetric spaces // Amer. Math. Soc. Transl., Ser. 2, 1996, vol. 175 (Adv. in Math. Sci.-31), 81-95.

50. Molchanov V.F., Grosheva L.I. Canonical and boundary representations on the Lobachevsky plane // Acta Appl. Math., 2003, vol. 79, Nos. 1&2, 59-77.

51. Molchanov V.F. Canonical and boundary representations on a hyperboloid of one sheet // Acta Appl. Math., 2004, vol. 81, Nos. 1-3, 191-204.

52. Molchanov V.F. Canonical representations on the two-sheeted hyperboloid // Indag. Math., 2005, vol. 16, Nos. 3-4, 609-630.

53. Neretin Yu.A. Boundary values of holomorphic functions and spectra of some unitary representations // Вестник Тамбовского ун-та. Серия: Естеств. и техн. науки, 1997, том 2, вып. 4, 386-397.

54. Nomura Т. Berezin transforms and group representations //J- Lie Theory, 1998, vol. 8, 433-440.

55. Nomura T. Berezin transforms and Laplace-Beltrami operators on homogeneous Siegel domains // Diff. Geom. and its Appl., 2001, vol. 15, 91-106.

56. Nomura T. A symmetry characterization for homogeneous siegel domains related to Berezin transforms // Geometry and Analysis on Lie Groups, Banach Center Publ., 2002, vol. 55, 323-334.

57. Peetre J. The Berezin transform and Ha-plitz operators //J. Operator Theory, 1990, vol. 24, 165-186.

58. Tengstrand A. Distributions invariant under an orthogonal group of arbitrary signature // Math. Scand., 1960, vol. 8, 201-218.

59. Unterberger A., Upmeier H. The Berezin transform and invariant differential operators // Comm. Math. Phys., 1994, vol 164, No. 3, 563-597.

60. Zhang G. Berezin transform on line bundles over bounded symmetric domains // J. Lie Theory, 2000, vol. 10, 111-126. •